Spark笔记
Spark基础
第一节：什么是Spark？Spark的特点和结构
1、什么是Spark？
Spark是一个针对大规模数据处理的快速通用引擎。
类似MapReduce，都进行数据的处理
2、Spark的特点：
（1）基于Scala语言、Spark基于内存的计算
（2）快：基于内存
（3）易用：支持Scala、Java、Python
（4）通用：Spark Core、Spark SQL、Spark Streaming
MLlib、Graphx
（5）兼容性：完全兼容Hadoop
3、Spark体系结构：主从结构
（1）主节点：Master
（2）从节点：Worker
第二节：搭建Spark的伪分布模式环境
1、解压：tar -zxvf spark-2.1.0-bin-hadoop2.4.tgz -C ~/training/
2、配置参数文件: conf/spark-env.sh
# --------------------------------系统准备 #修改hosts和主机名 # 修改/etc/hosts 以及/etc/sysconfig/network 文件, 分别设置不同的HOSTNAME vim /etc/hosts 192.168.112.10 node-4 192.168.112.11 node-5 192.168.112.12 node-6 vim /etc/sysconfig/network HOSTNAME=node-4 hostname node-4 # 修改当前系统进程主机名 ### 每台都要 关闭下列防火墙 service iptables stop setenforce 0 chkconfig iptables off # chkconfig iptables --list 查看 ssh-keygen #创建.ssh目录 ssh-copy-id -i ~/.ssh/id_rsa.pub node-5 #复制公钥到每台目标主机 ssh-copy-id -i ~/.ssh/id_rsa.pub node-6 #复制公钥到每台目标主机 ssh root@node-5 ##或者 ssh root@node-6 都能成功,不用密码,则互信成功. ############################ 基于yarn的集群上, 搭一个spark 分布式环境。 # 前提: JDK, Hadoop安装并启动. 下载scala-2.12.5.tgz并解压 # 下载spark https://www.apache.org/dyn/closer.lua/spark/spark-2.2.1/spark-2.2.1-bin-hadoop2.7.tgz # 解压 重命名目录 进入conf目录 cp spark-env.sh.template spark-env.sh vim spark-env.sh #添加如下内容: export SCALA_HOME=/usr/local/src/scala-2.12.5 export JAVA_HOME=/usr/local/src/jdk1.8.0_161 export HADOOP_HOME=/usr/local/src/hadoop-2.7.5 export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop SPARK_MASTER_IP=master SPARK_LOCAL_DIRS=/usr/local/src/spark-2.2.1 SPARK_DRIVER_MEMORY=1G #正常生产环境，应该将内存调大 vim slaves node-5 node-6 # 分发到各个从节点上 scp -r scala-2.12.5 node-5:/usr/local/src/ scp -r scala-2.12.5 node-6:/usr/local/src/ scp -r spark-2.2.1 node-5:/usr/local/src/ scp -r spark-2.2.1 node-6:/usr/local/src/ ############################ standalone 模式。 # 安装JDK # conf cp spark-env.sh.template spark-env.sh vim spark-env.sh #添加如下内容: export JAVA_HOME=/usr/local/src/jdk1.8.0_161 SPARK_MASTER_HOST=node-4 SPARK_MASTER_PORT=7077 vim slaves # 指定从节点 node-5 node-6 # --------------------- 忘记sudo vim时，:w !sudo tee % # 远程拷贝 # for i in {5..6}; do echo $i; done # 测试循环 for i in {5..6); do scp -r /bigdata/spark-2.2.1/ node-$i/bigdata/; done # 依次复制到别的节点 #-----------------------------------------------------------------------------# #-------------------------------HA 配置:---------------------------------------# # spark-env.sh 中如下修改: # SPARK_MASTER_HOST=node-4 注释掉 # SPARK_MASTER_PORT=7077 注释掉 # 指定spark进程关联的zookeeper. export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=node-1:2181,node-2:2181,node-3:2181 -Dspark.deploy.zookeeper.dir=/spark" # 还可以指定硬件资源 export SPARK_WORKER_CORES=2 export SPARK_WORKER_MEMORY=1g # 保存退出 并将配置文件复制到其它节点。 # # 先启动好zookeeper # 启动Master及Worker 。最后手动启动备份的Master节点 sbin/start-master.sh # 检验备份节点jps进程，以及状态 http://node-3:8080 #-----------------------------------------------------------------------------# #-----------------------------------------------------------------------------#
启动后的验证及简单示例：
############################## 启动后: 通过jps 看到一个master, 两个worker cd spark-2.2.1/sbin ./start-all.sh # web UI 监控页面 http://node-4:8080 ##### 验证：本地2个进程模拟 ./bin/run-example SparkPi 10 --master local[2] ###### 验证：spark standalone 可以在http://node-4:8080监控 #参数100是这个示例的执行轮数 ./bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://node-4:7077 examples/jars/spark-examples_2.11-2.2.1.jar 100 # 提交 指定类 Main()方法 通过反射来执行 官方示例 指定Master在哪 指定jar包位置 采样次数 # 参数需要在jar包之前指定 # spark执行过程中，Master产生进程：SparkSubmit Worker产生进程：CoarseGrainedExecutorBackend bin/spark-submit \ --master spark://node-4:7077 \ --class org.apache.spark.examples.SparkPi \ --executor-memory 512mb \ --total-executor-cores 4 \ examples/jars/spark-examples_2.11-2.2.1.jar 100 # 指定每个executor内存大小, 以及一共用多少核 # --master spark://node-4:7077,node-5:7077 如果是HA可以指定多个Master ####### 验证：spark on yarn 需要在yarn上监控 http://node-4:8088 # --master yarn-cluster 是固定写法 ./bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn-cluster examples/jars/spark-examples_2.11-2.2.1.jar 10 # 计算结果不在终端显示，显示在yarn上, 打开http://node-4:8088 点击Tracking UI下的ApplicationMaster, 再点击Tracking URL: History 再点击 Logs ， stdout可以看到结果. #####------------------------------------------- client方式 spark-2.2.1/bin/pyspark # 以python shell的方式开发spark , 进入>>> 后,直接使用python交互 # Using Python version 2.7.14 (default, Apr 9 2018 20:37:18) # SparkSession available as 'spark'. #####------------------------------------------- spark shell spark-2.2.1/bin/spark-shell # 以本地模式启动shell的方式, 进入 scala> 后使用scala语言 bin/spark-shell --master spark://master:7077 # 指定了Master地址就会提交到集群。开始时sparksubmit（客户端）要连接Master， # 并申请计算资源（内存和核数），Master进行资源调度（让那些Worker启动Executor），在准备工作时，这些进程都已经创建好了 # 用spark Shell完成WordCount计算 # 启动HDFS(上传数据到hdfs)，sc是spark core（RDD）的执行入口 sc.textFile("/home/test/1.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect # 本地文件 # 如果报错文件找不到，可以将文件放在Master所在机器上。 sc.textFile("/home/test/2.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).sortBy(_._2,false).collect # 加上了以数量降序 sc.textFile("hdfs://node-4:9000/data/input/1.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect # hdfs文件 # 如果连接HDFS的nameservice则需要复制配置文件到spark中
Spark最好的开发语言是Scala 点此下载：Scala语言规范
更多精彩
