学无止境

# 集群规划 在之前部署过分布式 Hadoop 的服务器上继续部署 Zookeeper。完全分布式部署 Hadoop 详情可看 Hadoop - 完全分布式运行模式（一）。 在 hadoop02、hadoop03、hadoop04 三个节点上分布式部署 Zookeeper。 # 安装和部署 解压 Zookeeper 安装包到 /opt/module/ 目录下[root@hadoop02 software]# tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/ 同步 /opt/module/zookeeper-3.4.10 目录内容到...

# 前言 之前对多输出回归任务进行了初步尝试，点击查看详情，但最终的训练效果并不是特别的理想。最近在查阅了一些资料后，对网络结构进行了第二次尝试，将最后一层激活函数换成了 Sigmoid ，将损失函数换成了 smoothloss ，结果有了很大的改进。相关代码见同级目录。

# 环境准备 目前能以学生优惠购买的云服务器有： 腾讯云一台 阿里云一台 华为云一台 百度云一台 学生身份能免费领取的云服务器有： 阿里云抗疫特惠云服务器一台 因为腾讯云和华为云的服务器有其他用途，所以剩余的三台用来实现 Hadoop 完全分布式运行模式，勉强够用。 云服务器环境如下： CentOS / 7.3 x86_64 (64bit) Java 1.8.0_144 Hadoop 2.7.2 # 编写集群分发脚本 想要实现通过一个脚本将指定文件循环复制到所有节点的相同目录下。 在 /root 目录下创建 bin 目录，并在 bin 目录下创建文件...

# 集群基本测试 上传小文件到集群 [root@hadoop02 hadoop-2.7.2]# hdfs dfs -put wcinput/wc.input / 上传大文件到集群 [root@hadoop02 hadoop-2.7.2]# hdfs dfs -put /opt/software/hadoop-2.7.2.tar.gz / 查看文件存放的位置 [root@hadoop02 subdir0]#...

# 前言 昨天总结了如何启动 YAIN 并运行 MapReduce 程序。这一篇主要总结如何配置历史服务器和日志的聚集。 # 配置历史服务器 为了查看程序的历史运行情况，需要配置一下历史服务器。具体配置步骤如下 配置： etc/hadoop/mapred-site.xml 。在文件里增加如下配置<!-- 历史服务器端地址 --><property> <name>mapreduce.jobhistory.address</name>...

# 前言 如果你想在本地的电脑上通过 ssh 命令连接云服务器，每次又懒得输入命令和服务器密码，希望能直接执行一个 shell 命令即可，那么本文可能会对你有些帮助 # 客户端生成公钥和私钥 在客户端运行命令 ssh-keygen -t rsarsa 是一种常用的加密算法，还有一种加密算法是 dsa。 当在客户端执行这条命令时，会在 home 目录下的 .ssh...

# 环境 CentOS / 7.3 x86_64 (64bit) Java 1.8.0_144 # 安装 Hadoop 下载地址 https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/ 使用 scp 命令或其他传输工具将 hadoop-2.7.2.tar.gz 上传至服务器的 /opt/software 目录下 进入到 Hadoop 安装包目录下cd /opt/software/ 解压安装文件到 /opt/module 目录下（没有这个目录可以事先创建）[root@hadoop02 software]# tar -zxvf...

# 配置集群 配置： etc/hadoop/hadoop-env.sh 。修改 JAVA_HOME 路径 export JAVA_HOME=/opt/module/jdk1.8.0_144 配置： etc/hadoop/core-site.xml <!-- 指定 HDFS 中 NameNode 的地址 --><property> <name>fs.defaultFS</name>...

# 前言 上一篇总结了启动 HDFS 并运行 MapReduce 程序。这一篇主要记录启动 YARN 并运行 MapReduce 程序 # 配置集群 配置： etc/hadoop/yarn-env.sh 。配置 JAVA_HOME 路径export JAVA_HOME=/opt/module/jdk1.8.0_144 配置： etc/hadoop/yarn-site.xml<!-- Reducer 获取数据的方式 --><property>...

# 前言 dropout 常常用于抑制过拟合，pytorch 也提供了很方便的函数。但是经常不知道 dropout 的参数 p 是什么意思。在 TensorFlow 中 p 叫做 keep_prob ，就一直以为 pytorch 中的 p 应该就是保留节点数的比例，但是实验结果发现反了，实际上表示的是不保留节点数的比例。 >>> import torch>>> a = torch.randn(10, 1)>>> atensor([[ 1.0824], [-0.6219], [-0.3044], [-0.3553], [-0.8303],...