|
马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。
您需要 登录 才可以下载或查看,没有帐号?立即注册
x
java比较简单,没有C++的烦琐,但学习时最好有C++为基础.与JSP和SQL起应用,功能强大.
把程序打成jar包放到Linux上
转到目次下实行命令hadoopjarmapreducer.jar/home/clq/export/java/count.jarhdfs://ubuntu:9000/out06/count/
下面一个是当地文件,一个是上传hdfs地位
乐成后呈现:打印出来,你所要打印的字符。- packagecom.clq.hdfs;
- importjava.io.BufferedInputStream;
- importjava.io.FileInputStream;
- importjava.io.IOException;
- importjava.io.InputStream;
- importjava.net.URI;
- importorg.apache.hadoop.conf.Configuration;
- importorg.apache.hadoop.fs.FSDataOutputStream;
- importorg.apache.hadoop.fs.FileSystem;
- importorg.apache.hadoop.fs.Path;
- importorg.apache.hadoop.io.IOUtils;
- importorg.apache.hadoop.util.Progressable;
- publicclassFileCopyWithProgress{
- //********************************
- //把当地的一个文件拷贝到hdfs上
- //********************************
- publicstaticvoidmain(String[]args)throwsIOException{
- StringlocalSrc=args[0];
- Stringdst=args[1];
- InputStreamin=newBufferedInputStream(newFileInputStream(localSrc));
- Configurationconf=newConfiguration();
- FileSystemfs=FileSystem.get(URI.create(dst),conf);
- FSDataOutputStreamout=fs.create(newPath(dst),newProgressable(){
- @Override
- publicvoidprogress(){
- System.out.print(".");
- }
- });
- IOUtils.copyBytes(in,out,conf,true);
- }
- }
复制代码 检察本栏目更多出色内容:http://www.bianceng.cn/Programming/Java/
大概呈现非常:
Exceptioninthread"main"org.apache.hadoop.ipc.RemoteException:java.io.IOException:Cannotcreate/out06;alreadyexistsasadirectory
atorg.apache.hadoop.hdfs.server.namenode.FSNamesystem.startFileInternal(FSNamesystem.java:1569)
atorg.apache.hadoop.hdfs.server.namenode.FSNamesystem.startFile(FSNamesystem.java:1527)
atorg.apache.hadoop.hdfs.server.namenode.NameNode.create(NameNode.java:710)
atorg.apache.hadoop.hdfs.server.namenode.NameNode.create(NameNode.java:689)
atsun.reflect.GeneratedMethodAccessor7.invoke(UnknownSource)
atsun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
atjava.lang.reflect.Method.invoke(Method.java:606)
atorg.apache.hadoop.ipc.RPC$Server.call(RPC.java:587)
atorg.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1432)
atorg.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1428)
atjava.security.AccessController.doPrivileged(NativeMethod)
atjavax.security.auth.Subject.doAs(Subject.java:415)
申明你这个路径在hdfs上已存在,换一个便可。
C#是不行的,比如说美国的航天飞船里就有java开发的程序以上是我的愚见,其实不管那种语言,你学好了,都能找到好的工作, |
|