基于idea使用spark api开发spark程序

《基于idea使用spark api开发spark程序》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、基于IDEA使用SparkAPI开发Spark程序清明假期折腾了两天，总结了两种方式使用IDE进行spark程序，记录一下：第一种方法比较简单，两种方式都是采用SBT进行编译的。注意：本地不需要安装Scala程序，否则在编译程序时有版本兼容性问题。一、基于Non-SBT方式创建一个ScalaIDEA工程我们使用Non-SBT的方式，点击“Next”命名工程，其他按照默认点击“Finish”完成工程的创建修改项目的属性首先修改Modules选项在src下创建两个文件夹，并把其属性改为source下面修改Libraries将Spark开发需要的jar包导进来加入后：导入包完成后，在工程的sca

2、la下面创建一个package创建一个Object对象构建SparkDriver代码该程序是对搜狗日志的处理代码接下来进行打包，使用ProjectStructure的Artifacts使用Frommoduleswithdependencies选择MainClass点击“OK”把名称改为FirstSparkAppJar因为每台机器上都安装了Scala和Spark，所以可以把Scala和Spark相关的jar文件都删掉接下来进行Build选择“BuildArtifacts”第一次选择Build，以后同一个工程要选择Rebuild，然后等待编译完成下面使用spark-submit运行程序最后任务

3、运行完成二、基于SBT方式开发工具下载Spark开发需要以下开发编译工具：1、ScalaIDE：本文以IntelliJIDEA为例进行开发，下载地址：https://www.jetbrains.com/idea/download/2、SBT（SimpleBuildTool）编译工具下载：http://www.scala-sbt.org/download.html下载安装后，在DOS下执行sbt命令下载其所需要的jar包：默认jar包（.idea-build、.ivy2、.sbt）下载到C盘用户目录下（注意：使用命令sbt进行下载时要确保网速，最好使用代理下载）开发工具配置1、Intelli

4、JIDEA开发配置：（1）下载Scala插件：选择Configure下的Plugins进入下图选择InstallJetBrainsplugin，搜索Scala进行下载。（2）创建基于SBT的Scala工程：（3）设置工程名称以及Scala和SBT版本：注意：最好将Download两个选项取消，否则会覆盖之前用户目录下的SBTjar包，造成编译不通过等错误SBT和Scala的版本号在C盘用户目录下可以看出：C:Users用户.sbtbootscala-2.10.4org.scala-sbtsbt.13.8这里可以一次性设置正确，也可以后续修改配置文件（build.sbt修改

5、scala版本，build.properties修改sbt版本）进行修改同步。工程路径不要使用中文，否则即使编译成功打成jar包也无法执行。（4）基于SBT的Scala程序对工程的结构要求比较苛刻，需要建立如下目录结构：（5）添加Spark插件：注意：同时该插件需要添加到lib目录下（操作系统复制即可）准备工作完成，下面进行Spark程序开发编写代码下面以类wordcount程序为例：编写Spark程序：请不要使用InteiiJIDEA进行编译（汉字导致后面编译不过去）编译和执行（1）使用SBT进行编译和打包：DOS下进入工程目录下，使用sbt命令进行编译和打包：默认打的jar在工程目录t

6、esttargetscala-2.10下（2）将jar包上传到服务器执行：使用命令：spark-submit--classtest--masteryarntest_2.10-0.1-SNAPSHOT.jar100更多的参数详见官方文档有兴趣朋友可以了解更多java教程http://java.itcast.cn/java/video.shtml