利用scala语言开发spark应用程序

《利用scala语言开发spark应用程序》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、利用Scala语言开发Spark应用程序park内核是由Scala语言开发的，因此使用Scala语言开发Spark应用程序是自然而然的事情。如果你对Scala语言还不太熟悉，可以阅读网络教程AScalaTutorialforJavaProgrammers或者相关Scala书籍进行学习。AD：Spark内核是由Scala语言开发的，因此使用Scala语言开发Spark应用程序是自然而然的事情。如果你对Scala语言还不太熟悉，可以阅读网络教程AScalaTutorialforJavaProgrammers或者相关Sc

2、ala书籍进行学习。本文将介绍3个ScalaSpark编程实例，分别是WordCount、TopK和SparkJoin，分别代表了Spark的三种典型应用。1.WordCount编程实例WordCount是一个最简单的分布式应用实例，主要功能是统计输入目录中所有单词出现的总次数，编写步骤如下：步骤1：创建一个SparkContext对象，该对象有四个参数：Sparkmaster位置、应用程序名称，Spark安装目录和jar存放位置，对于SparkOnYARN而言，最重要的是前两个参数，第一个参数指定为yarn-st

3、andalone，第二个参数是自定义的字符串，举例如下：valsc=newSparkContext(args(0),WordCount,System.getenv(SPARK_HOME),Seq(System.getenv(SPARK_TEST_JAR)))步骤2：读取输入数据。我们要从HDFS上读取文本数据，可以使用SparkConvaltextFile=sc.textFile(args(1))当然，Spark允许你采用任何HadoopInputFormat，比如二进制输入格式SequenceFileInputF

4、ormat，此时你可以使用SparkContext中的hadoopRDD函数，举例如下：valinputFormatClass=classOf[SequenceFileInputFormat[Text,Text]]varhadoopRdd=sc.hadoopRDD(conf,inputFormatClass,classOf[Text],classOf[Text])或者直接创建一个HadoopRDD对象：varhadoopRdd=newHadoopRDD(sc,conf,classOf[SequenceFileInp

5、utFormat[Text,Text,classOf[Text],classOf[Text])步骤3：通过RDD转换算子操作和转换RDD，对于WordCount而言，首先需要从输入数据中每行字符串中解析出单词，水草玛瑙mnwg.net然后将相同单词放到一个桶中，最后统计每个桶中每个单词出现的频率，举例如下：valresult=hadoopRdd.flatMap{case(key,value)=value.toString().split(\s+}.map(word=(word,1)).reduceByKey(_+

6、_)其中，flatMap函数可以将一条记录转换成多条记录（一对多关系），map函数将一条记录转换为另一条记录（一对一关系），高山茶eupai.netreduceByKey函数将key相同的数据划分到一个桶中，并以key为单位分组进行计算，这些函数的具体含义可参考：SparkTransformation。步骤4：将产生的RDD数据集保存到HDFS上。可以使用SparkContext中的saveAsTextFile哈数将数据集保存到HDFS目录下，默认采用Hadoop提供的TextOutputFormat，每条记录以（

7、key,value）的形式打印输出，你也可以采用saveAsSequenceFile函数将数据保存为SequenceFile格式等，举例如下：result.saveAsSequenceFile(args(2))当然，一般我们写Spark程序时，需要包含以下两个头文件：importorg.apache.spark._importSparkContext._WordCount完整程序已在ApacheSpark学习：利用Eclipse构建Spark集成开发环境一文中进行了介绍，在次不赘述。需要注意的是，指定输入输出文件时

8、，需要指定hdfs的URI，比如输入目录是hdfs:hadoop-testtmpinput，输出目录是hdfs:hadoop-testtmpoutput，其中，hdfs:hadoop-test是由Hadoop配置文件core-site.xml中参数fs.default.name指定的，具体替换成你的配置即可。2.TopK编程实例TopK程序的任务是对一堆文本