仓酷云

 找回密码
 立即注册
搜索
热搜: 活动 交友 discuz
查看: 532|回复: 9
打印 上一主题 下一主题

[学习教程] 发布一篇用于简化MapReduce编程的Java库Apache Crunch简介

[复制链接]
透明 该用户已被删除
跳转到指定楼层
楼主
发表于 2015-1-18 11:02:29 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式

马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
java比较简单,没有C++的烦琐,但学习时最好有C++为基础.与JSP和SQL起应用,功能强大.
ApacheCrunch(孵化器项目)是基于Google的FlumeJava库编写的Java库,用于创立MapReduce流水线。与其他用来创立MapReduce功课的高层工具(如ApacheHive、ApachePig和Cascading等)相似,Crunch供应了用于完成如毗连数据、实行聚合和排序纪录等罕见义务的形式库。而与其他工具分歧的是,Crunch其实不强迫一切输出遵守统一数据范例。相反,Crunch利用了一种定制的范例体系,十分天真,可以间接处置庞大数据范例,如工夫序列、HDF5文件、ApacheHBase表和序列化对象(像protocolbuffer或Avro纪录)等。
Crunch其实不想制止开辟者以MapReduce体例思索,而是实验使之简化。只管MapReduce有诸多长处,但对良多成绩而言,并不是准确的笼统级别:年夜部分成心思的盘算都是由多个MapReduce功课构成的,情形常常是如许——出于功能思索,我们必要将逻辑上自力的操纵(如数据过滤、数据投影和数据变更)组合为一个物理上的MapReduce功课。
实质上,Crunch计划为MapReduce之上的一个薄层,但愿在不就义MapReduce力气(大概说不影响开辟者利用MapReduceAPI)的条件下,更简单在准确的笼统级别办理手头成绩。
只管Crunch会让人想起汗青久长的CascadingAPI,可是它们各自的数据模子有很年夜分歧:依照知识复杂总结一下,能够以为把成绩看作数据流的人会偏幸Crunch和Pig,而思索SQL作风毗连的人会偏幸Cascading和Hive。
Crunch的理念
PCollection和PTable<K,V>是Crunch的中心笼统,前者代表一个散布式、不成变的对象汇合,后者是Pcollection的一个子接口,个中包括了处置键值对的分外办法。这两个中心类撑持以下四个基础操纵:
parallelDo:将用户界说函数使用于给定PCollection,前往一个新的PCollection作为了局。groupByKey:将一个PTable中的元素依照键值排序并分组(同等于MapReduce功课中的shuffle阶段)
combineValues:实行一个联系关系操纵来聚合来自groupByKey操纵的值。
union:将两个或多个Pcollection看作一个假造的PCollection。
Crunch的一切高阶操纵(joins、cogroups和setoperations等)都是经由过程这些基础原语完成的。Crunch的功课企图器(jobplanner)吸收流水线开辟者界说的操纵图,将操纵分化为一系列相干的MapReduce功课,然后在Hadoop集群上实行。Crunch也撑持内存实行引擎,可用于当地数据下流水线的测试与调试。
有些成绩能够从可以操纵定制数据范例的年夜量用户界说函数受害,而Crunch就是为这类成绩计划的。Crunch中的用户界说函数计划为轻量级的,为满意使用程序的必要,仍旧供应了完全的会见底层MapReduceAPI的功效。Crunch开辟者也能够利用Crunch原语来界说API,为客户供应触及一系列庞大MapReduce功课的初级ETL、呆板进修和迷信盘算功效。
Crunch起步
能够从Crunch的网站:http://incubator.apache.org/crunch/download.html下载最新版本的源代码或二进制文件,大概利用在MavenCentral发布的dependencies。
<p>
C#跟java类似,但是在跨平台方面理论上可以跨平台,实际上应用不大,执行性能优于java,跟C++基本一致,但是启动速度还是慢.代码安全,但容易性能陷阱.
因胸联盟 该用户已被删除
沙发
发表于 2015-1-18 17:00:30 | 只看该作者
不过,每次的执行编译后的字节码需要消耗一定的时间,这同时也在一定程度上降低了 Java 程序的运行效率。
若天明 该用户已被删除
板凳
发表于 2015-1-22 15:06:07 | 只看该作者
Pet Store.(宠物店)是SUN公司为了演示其J2EE编程规范而推出的开放源码的程序,应该很具有权威性,想学J2EE和EJB的朋友不要 错过了。
蒙在股里 该用户已被删除
地板
发表于 2015-1-26 16:54:09 | 只看该作者
一般学编程语言都是从C语开始学的,我也不例外,但还是可能不学过程语言而直接学面向对象语言的,你是刚接触语言,还是从C开始学比较好,基础会很深点,如果你直接学习JAVA也能上手,一般大家在学语言的时候都记一些语言的关键词,常有的包和接口等。再去做逻辑代码的编写,以后的学习过程都是从逻辑代码编写中提升的,所以这方面都是经验积累的。你要开始学习就从
乐观 该用户已被删除
5#
发表于 2015-1-26 17:02:32 | 只看该作者
自从Sun推出Java以来,就力图使之无所不包,所以Java发展到现在,按应用来分主要分为三大块:J2SE,J2ME和J2EE,这也就是Sun ONE(Open Net Environment)体系。J2SE就是Java2的标准版,主要用于桌面应用软件的编程;J2ME主要应用于嵌入是系统开发,如手机和PDA的编程;J2EE是Java2的企业版,主要用于分布式的网络程序的开发,如电子商务网站和ERP系统。
小妖女 该用户已被删除
6#
发表于 2015-2-4 16:40:14 | 只看该作者
当然你也可以参加一些开源项目,一方面可以提高自己,另一方面也是为中国软件事业做贡献嘛!开发者在互联网上用CVS合作开发,用QQ,MSN,E-mail讨论联系,天南海北的程序员分散在各地却同时开发同一个软件,是不是很有意思呢?
海妖 该用户已被删除
7#
发表于 2015-2-10 04:07:04 | 只看该作者
象、泛型编程的特性,广泛应用于企业级Web应用开发和移动应用开发。
老尸 该用户已被删除
8#
发表于 2015-3-10 05:01:50 | 只看该作者
任职于太阳微系统的詹姆斯·高斯林等人于1990年代初开发Java语言的雏形,最初被命名为Oak,目标设置在家用电器等小型系统的程序语言
若相依 该用户已被删除
9#
发表于 2015-3-17 04:38:26 | 只看该作者
Java 不同于一般的编译执行计算机语言和解释执行计算机语言。它首先将源代码编译成二进制字节码(bytecode),然后依赖各种不同平台上的虚拟机来解释执行字节码。从而实现了“一次编译、到处执行”的跨平台特性。
深爱那片海 该用户已被删除
10#
发表于 2015-3-23 19:25:02 | 只看该作者
你现在最缺的是实际的工作经验,而不是书本上那些凭空想出来的程序。
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|手机版|仓酷云 鄂ICP备14007578号-2

GMT+8, 2024-12-22 14:12

Powered by Discuz! X3.2

© 2001-2013 Comsenz Inc.

快速回复 返回顶部 返回列表