学无止境

# 前言 目标：实现将 HDFS 中的数据写入到 HBase 表中 构建 Mapper 用于读取 HDFS 中的文件数据 package com.yaindream.mr1;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;import java.io.IOException;/** * Created with IntelliJ IDEA. * User: WangYu * Date: 2020/6/15 *...

# 前言 目标：将 HBase 的 fruit 表中的数据，通过 MR 筛选处理，导入到 HBase 中的 fruit2 表中 构建 Mapper 类，用于读取 fruit 表中的数据 package com.yaindream.mr2;import org.apache.hadoop.hbase.Cell;import org.apache.hadoop.hbase.CellUtil;import org.apache.hadoop.hbase.client.Put;import org.apache.hadoop.hbase.client.Result;import...

真的是太坑了 这些天在学习大数据相关的框架，为了有更好的体验，所以就用学生身份租了三台服务器体验完全分布式环境 但是我的阿里云服务器却频繁的遭到黑客攻击，我真的吐血了，为啥要攻击我这个菜鸟啊，我只是想学习啊呜呜呜呜 真的吐血 每次被攻击，服务器都是直接崩掉。远程连接也是直接崩掉，连都连不上，咋办，重启。阿里云控制台也是一堆警告爆红，能看到详细信息却不能一键修复。想要修复得要购买企业版的服务，一个月几百我真的，打扰了，我玩不起了，退了。 真欺负我网络安全知识懂得不多 这个仇我记下了...

# 创建 Admin 对象 private static Connection connection = null;private static Admin admin = null;static { try { // 获取配置文件信息 Configuration configuration = HBaseConfiguration.create(); configuration.set("hbase.zookeeper.quorum", "hadoop02,hadoop03,hadoop04"); // 创建连接对象...

# 创建 connection 对象 private static Connection connection = null;private static Admin admin = null;static { try { // 获取配置文件信息 Configuration configuration = HBaseConfiguration.create(); configuration.set("hbase.zookeeper.quorum", "hadoop02,hadoop03,hadoop04"); //...

# 基本操作 进入 HBase 客户端命令行 [root@hadoop02 hbase-1.3.1]# bin/hbase shell 查看帮助命令 hbase(main):001:0> help 查看当前数据库中有哪些表 hbase(main):002:0> list # 表的操作 创建表 hbase(main):003:0> create 'student','info' 插入数据到表 hbase(main):008:0> put...

# 环境 在之前完成 Hadoop 完全分布式安装和部署的服务器上继续完成 HBase 的安装和部署，不了解的朋友可看： Hadoop - 完全分布式运行模式（一） Zookeeper - 分布式安装部署 # Zookeeper 正常部署 首先保证 Zookeeper 集群正常部署并启动之： [root@hadoop02 zookeeper-3.4.10]# zkServer.sh start[root@hadoop03 zookeeper-3.4.10]# zkServer.sh start[root@hadoop04 zookeeper-3.4.10]# zkServer.sh...

# 基本命令 命令基本语法 功能描述 help 显示所有操作命令 ls path [watch] 使用 ls 命令来查看当前 znode 中所包含的内容 ls2 path [watch] 查看当前节点数据并能看到更新次数等数据 create 普通创建 <br>-s 包含序列 < br>-e 临时节点（重启或超时就消失） get path [watch] 获得节点的值 set 设置节点的具体值 stat 查看节点状态 delete 删除节点 rmr 递归删除节点 #...

# 前言 Zookeeper 是一个开源的分布式的，为分布式应用提供协调服务的 Apache 项目。 Zookeeper 从设计模式的角度来理解：是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接收观察者的注册，一旦这些数据的状态发生变化，Zookeeper 就将负责通知已经在 Zookeeper 上注册的那些观察者做出相应的反应。 # 特点 Zookooper：一个领导者（Leader），多个跟随者（Follower）组成的集群。 集群中只要有半数以上的节点存活，Zookeeper 集群就能正常服务。 全局数据一致：每个 Server...

# 环境 CentOS / 7.3 x86_64 (64bit) Java 1.8.0_144 # 安装步骤 下载地址：官网首页。这里我用的是 3.4.10 使用 scp 命令或其他软件将安装包拷贝服务器上 解压到指定目录[root@hadoop02 software]# tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/ # 修改配置 将 /opt/module/zookeeper-3.4.10/conf 这个路径下的 zoo_sample.cfg 修改为 zoo.cfg[root@hadoop02 conf]# mv...