欢迎来到天天文库
浏览记录
ID:39010659
大小:1.63 MB
页数:8页
时间:2019-06-23
《Spark的架构设计剖析x》由会员上传分享,免费在线阅读,更多相关内容在教育资源-天天文库。
1、Spark的架构设计王老师,Spark亚太研究院院长和首席专家。目前中国唯一的移动互联网和云计算大数据集大成者,在完成了对Spark源码的彻底研究的同时不断在实际环境中使用Spark的各种特性的基础之上,编写了世界上第一本系统性的Spark书籍并开设了世界上第一个系统性的Spark课程。QQ交流群:297931500微信公众号:spark-china本期内容:1Spark的Job案例2Spark架构设计解析Spark架构设计剖析WordCountwithsortalgorithmsc.textFile(“hdfs://...”).flatMap(_.spl
2、it(“”)).map(_,1).reduceByKey(_+_).map(x=>(x._2,x._1)).sortByKey(false).map(x=>(x._2,x_1)).saveAsTextFile(“hdfs://…")官方的例子中的collect方法Spark事件流Spark组件RDDGraphOptimizationsScheduling
此文档下载收益归作者所有