学无止境

# 环境 在之前完成 Hadoop 完全分布式安装和部署的服务器上继续完成 HBase 的安装和部署，不了解的朋友可看： Hadoop - 完全分布式运行模式（一） Zookeeper - 分布式安装部署 # Zookeeper 正常部署 首先保证 Zookeeper 集群正常部署并启动之： [root@hadoop02 zookeeper-3.4.10]# zkServer.sh start[root@hadoop03 zookeeper-3.4.10]# zkServer.sh start[root@hadoop04 zookeeper-3.4.10]# zkServer.sh...

# 基本命令 命令基本语法 功能描述 help 显示所有操作命令 ls path [watch] 使用 ls 命令来查看当前 znode 中所包含的内容 ls2 path [watch] 查看当前节点数据并能看到更新次数等数据 create 普通创建 <br>-s 包含序列 < br>-e 临时节点（重启或超时就消失） get path [watch] 获得节点的值 set 设置节点的具体值 stat 查看节点状态 delete 删除节点 rmr 递归删除节点 #...

# 前言 Zookeeper 是一个开源的分布式的，为分布式应用提供协调服务的 Apache 项目。 Zookeeper 从设计模式的角度来理解：是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接收观察者的注册，一旦这些数据的状态发生变化，Zookeeper 就将负责通知已经在 Zookeeper 上注册的那些观察者做出相应的反应。 # 特点 Zookooper：一个领导者（Leader），多个跟随者（Follower）组成的集群。 集群中只要有半数以上的节点存活，Zookeeper 集群就能正常服务。 全局数据一致：每个 Server...

# 环境 CentOS / 7.3 x86_64 (64bit) Java 1.8.0_144 # 安装步骤 下载地址：官网首页。这里我用的是 3.4.10 使用 scp 命令或其他软件将安装包拷贝服务器上 解压到指定目录[root@hadoop02 software]# tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/ # 修改配置 将 /opt/module/zookeeper-3.4.10/conf 这个路径下的 zoo_sample.cfg 修改为 zoo.cfg[root@hadoop02 conf]# mv...

# 集群规划 在之前部署过分布式 Hadoop 的服务器上继续部署 Zookeeper。完全分布式部署 Hadoop 详情可看 Hadoop - 完全分布式运行模式（一）。 在 hadoop02、hadoop03、hadoop04 三个节点上分布式部署 Zookeeper。 # 安装和部署 解压 Zookeeper 安装包到 /opt/module/ 目录下[root@hadoop02 software]# tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/ 同步 /opt/module/zookeeper-3.4.10 目录内容到...

# 前言 之前对多输出回归任务进行了初步尝试，点击查看详情，但最终的训练效果并不是特别的理想。最近在查阅了一些资料后，对网络结构进行了第二次尝试，将最后一层激活函数换成了 Sigmoid ，将损失函数换成了 smoothloss ，结果有了很大的改进。相关代码见同级目录。

# 环境准备 目前能以学生优惠购买的云服务器有： 腾讯云一台 阿里云一台 华为云一台 百度云一台 学生身份能免费领取的云服务器有： 阿里云抗疫特惠云服务器一台 因为腾讯云和华为云的服务器有其他用途，所以剩余的三台用来实现 Hadoop 完全分布式运行模式，勉强够用。 云服务器环境如下： CentOS / 7.3 x86_64 (64bit) Java 1.8.0_144 Hadoop 2.7.2 # 编写集群分发脚本 想要实现通过一个脚本将指定文件循环复制到所有节点的相同目录下。 在 /root 目录下创建 bin 目录，并在 bin 目录下创建文件...

# 集群基本测试 上传小文件到集群 [root@hadoop02 hadoop-2.7.2]# hdfs dfs -put wcinput/wc.input / 上传大文件到集群 [root@hadoop02 hadoop-2.7.2]# hdfs dfs -put /opt/software/hadoop-2.7.2.tar.gz / 查看文件存放的位置 [root@hadoop02 subdir0]#...

# 前言 昨天总结了如何启动 YAIN 并运行 MapReduce 程序。这一篇主要总结如何配置历史服务器和日志的聚集。 # 配置历史服务器 为了查看程序的历史运行情况，需要配置一下历史服务器。具体配置步骤如下 配置： etc/hadoop/mapred-site.xml 。在文件里增加如下配置<!-- 历史服务器端地址 --><property> <name>mapreduce.jobhistory.address</name>...

# 前言 如果你想在本地的电脑上通过 ssh 命令连接云服务器，每次又懒得输入命令和服务器密码，希望能直接执行一个 shell 命令即可，那么本文可能会对你有些帮助 # 客户端生成公钥和私钥 在客户端运行命令 ssh-keygen -t rsarsa 是一种常用的加密算法，还有一种加密算法是 dsa。 当在客户端执行这条命令时，会在 home 目录下的 .ssh...