学无止境

# 前言 GeoMesa 是一个运行在分布式计算系统上，支持大规模时空矢量数据查询和分析的开源工具。 # 下载 从 GitHub 上下载最新的发行版本，上传至服务器，并解压到相关目录 # 配置环境变量 注意把路径替换成自己的路径 export HADOOP_HOME=/path/to/hadoop export HBASE_HOME=/path/to/hbase export GEOMESA_HBASE_HOME=/opt/geomesa export...

# GDELT 介绍 GDELT 是国外一个大数据存储项目，它提供了自 1979 年至今的全球广播、印刷和网络新闻媒体报道的事件，并按时间和位置索引。其数据量十分庞大，类别也很丰富。本篇使用使用 2020 年 6 月 15 日的数据进行试验。 # 下载数据 wget http://data.gdeltproject.org/gdeltv2/20200615000000.export.CSV.zip # 将数据解压并上传到 HDFS 中 [root@hadoop02 home]# hadoop fs -put 20200615000000.export.CSV...

# 前言 Apache Zeppelin 是一款基于 web 的 notebook（类似于 ipython 的 notebook），支持交互式地数据分析。原生就支持 Spark、Scala、SQL、shell、markdown 等。 对于 Zeppelin 而言，并不依赖 Hadoop 集群环境，我们可以部署到单独的节点上进行使用～ # 版本选择 zeppelin 每个版本分别对应两种版本：netinst 和 all。 主要区别是：netinst 是 net -install 的简写，就是 Interpreters 自己通过网络安装，具体安装教程可以查阅官方文档。 而 all 版本则是...

# 什么是 RDD RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是 Spark 中最基本的数据（计算）抽象。代码中是一个抽象类，它代表一个不可变、可分区、里面的元素可并行计算的集合。 # RDD 的属性 一组分区（Partition），即数据集的基本组成单位 一个计算每个分区的函数 RDD 之间的依赖关系 一个 Partitioner，即 RDD 的分片函数 一个列表，存储存取每个 Partition 的优先位置（preferred location） # RDD 的特点 RDD 表示只读的分区的数据集，对 RDD 进行改动，只能通过 RDD...

# 编程模型 在 Spark 中，RDD 被表示为对象，通过对象上的方法调用来对 RDD 进行转换。经过一系列的 transformations 定义 RDD 之后，就可以调用 actions 触发 RDD 的计算，action 可以是向应用程序返回结果（count, collect 等），或者是向存储系统保存数据（saveAsTextFile 等）。在 Spark 中，只有遇到 action，才会执行 RDD 的计算 (即延迟计算)，这样在运行时可以通过管道的方式传输多个转换。 # RDD 的转换算子 整体上可分为 Value 类型和 Key-Value 类型 # Value 类型 #...

# Value 类型 # sample(withReplacement, fraction, seed) 作用：以指定的随机种子随机抽样出数量为 fraction 的数据，withReplacement 表示是抽出的数据是否放回，true 为有放回的抽样，false 为无放回的抽样，seed 用于指定随机数生成器种子 需求：创建一个 RDD（1-10），从中选择放回和不放回抽样 代码 package com.yaindream.bigdata.sparkimport org.apache.spark.{SparkConf,...

# 什么是 Spark # 定义 Spark 是一种基于内存的快速、通用、可扩展的大数据分析引擎 # 历史 2009 年诞生于加州大学伯克利分校 AMPLab，项目采用 Scala 编写 2010 年开源 2013 年 6 月成为 Apache 孵化项目 2014 年 2 月成为 Apache 顶级项目 # Spark 内置模块 # Spark Core 实现了 Spark 的基本功能，包含任务调度、内存管理、错误恢复、与存储系统交互等模块。Spark Core 中还包含了对弹性分布式数据集 (Resilient Distributed DataSet，简称 RDD) 的 API...

# Spark 下载地址 官网地址 http://spark.apache.org/ 文档查看地址 https://spark.apache.org/docs/2.1.1/ 下载地址 https://spark.apache.org/downloads.html 我使用的 spark 版本是 2.1.1，如果想和我使用一样的版本，可以从这个百度云链接获取 https://pan.baidu.com/s/1ZDMKSeGofCfQZFo95DGvVw 提取码：bu90 # Spark 的重要角色 # Driver 驱动器 Spark 的驱动器是执行开发程序中的 main...

# 准备工作 查看 HBase 的 MapReduce 任务执行时的 ClassPath [root@hadoop02 hbase-1.3.1]# hbase mapredcpSLF4J: Class path contains multiple SLF4J bindings.SLF4J: Found binding in [jar:file:/opt/module/hbase-1.3.1/lib/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class]SLF4J: Found binding in...

# 前言 目标：实现将 HDFS 中的数据写入到 HBase 表中 构建 Mapper 用于读取 HDFS 中的文件数据 package com.yaindream.mr1;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;import java.io.IOException;/** * Created with IntelliJ IDEA. * User: WangYu * Date: 2020/6/15 *...