学无止境

# 前言 Apache Zeppelin 是一款基于 web 的 notebook（类似于 ipython 的 notebook），支持交互式地数据分析。原生就支持 Spark、Scala、SQL、shell、markdown 等。 对于 Zeppelin 而言，并不依赖 Hadoop 集群环境，我们可以部署到单独的节点上进行使用～ # 版本选择 zeppelin 每个版本分别对应两种版本：netinst 和 all。 主要区别是：netinst 是 net -install 的简写，就是 Interpreters 自己通过网络安装，具体安装教程可以查阅官方文档。 而 all 版本则是...

# 什么是 RDD RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是 Spark 中最基本的数据（计算）抽象。代码中是一个抽象类，它代表一个不可变、可分区、里面的元素可并行计算的集合。 # RDD 的属性 一组分区（Partition），即数据集的基本组成单位 一个计算每个分区的函数 RDD 之间的依赖关系 一个 Partitioner，即 RDD 的分片函数 一个列表，存储存取每个 Partition 的优先位置（preferred location） # RDD 的特点 RDD 表示只读的分区的数据集，对 RDD 进行改动，只能通过 RDD...

# 编程模型 在 Spark 中，RDD 被表示为对象，通过对象上的方法调用来对 RDD 进行转换。经过一系列的 transformations 定义 RDD 之后，就可以调用 actions 触发 RDD 的计算，action 可以是向应用程序返回结果（count, collect 等），或者是向存储系统保存数据（saveAsTextFile 等）。在 Spark 中，只有遇到 action，才会执行 RDD 的计算 (即延迟计算)，这样在运行时可以通过管道的方式传输多个转换。 # RDD 的转换算子 整体上可分为 Value 类型和 Key-Value 类型 # Value 类型 #...

# Value 类型 # sample(withReplacement, fraction, seed) 作用：以指定的随机种子随机抽样出数量为 fraction 的数据，withReplacement 表示是抽出的数据是否放回，true 为有放回的抽样，false 为无放回的抽样，seed 用于指定随机数生成器种子 需求：创建一个 RDD（1-10），从中选择放回和不放回抽样 代码 package com.yaindream.bigdata.sparkimport org.apache.spark.{SparkConf,...

# 什么是 Spark # 定义 Spark 是一种基于内存的快速、通用、可扩展的大数据分析引擎 # 历史 2009 年诞生于加州大学伯克利分校 AMPLab，项目采用 Scala 编写 2010 年开源 2013 年 6 月成为 Apache 孵化项目 2014 年 2 月成为 Apache 顶级项目 # Spark 内置模块 # Spark Core 实现了 Spark 的基本功能，包含任务调度、内存管理、错误恢复、与存储系统交互等模块。Spark Core 中还包含了对弹性分布式数据集 (Resilient Distributed DataSet，简称 RDD) 的 API...

# Spark 下载地址 官网地址 http://spark.apache.org/ 文档查看地址 https://spark.apache.org/docs/2.1.1/ 下载地址 https://spark.apache.org/downloads.html 我使用的 spark 版本是 2.1.1，如果想和我使用一样的版本，可以从这个百度云链接获取 https://pan.baidu.com/s/1ZDMKSeGofCfQZFo95DGvVw 提取码：bu90 # Spark 的重要角色 # Driver 驱动器 Spark 的驱动器是执行开发程序中的 main...

# 准备工作 查看 HBase 的 MapReduce 任务执行时的 ClassPath [root@hadoop02 hbase-1.3.1]# hbase mapredcpSLF4J: Class path contains multiple SLF4J bindings.SLF4J: Found binding in [jar:file:/opt/module/hbase-1.3.1/lib/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class]SLF4J: Found binding in...

# 前言 目标：实现将 HDFS 中的数据写入到 HBase 表中 构建 Mapper 用于读取 HDFS 中的文件数据 package com.yaindream.mr1;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;import java.io.IOException;/** * Created with IntelliJ IDEA. * User: WangYu * Date: 2020/6/15 *...

# 前言 目标：将 HBase 的 fruit 表中的数据，通过 MR 筛选处理，导入到 HBase 中的 fruit2 表中 构建 Mapper 类，用于读取 fruit 表中的数据 package com.yaindream.mr2;import org.apache.hadoop.hbase.Cell;import org.apache.hadoop.hbase.CellUtil;import org.apache.hadoop.hbase.client.Put;import org.apache.hadoop.hbase.client.Result;import...

真的是太坑了 这些天在学习大数据相关的框架，为了有更好的体验，所以就用学生身份租了三台服务器体验完全分布式环境 但是我的阿里云服务器却频繁的遭到黑客攻击，我真的吐血了，为啥要攻击我这个菜鸟啊，我只是想学习啊呜呜呜呜 真的吐血 每次被攻击，服务器都是直接崩掉。远程连接也是直接崩掉，连都连不上，咋办，重启。阿里云控制台也是一堆警告爆红，能看到详细信息却不能一键修复。想要修复得要购买企业版的服务，一个月几百我真的，打扰了，我玩不起了，退了。 真欺负我网络安全知识懂得不多 这个仇我记下了...