926 字 1 分钟

# 集群基本测试 上传小文件到集群 [root@hadoop02 hadoop-2.7.2]# hdfs dfs -put wcinput/wc.input / 上传大文件到集群 [root@hadoop02 hadoop-2.7.2]# hdfs dfs -put /opt/software/hadoop-2.7.2.tar.gz / 查看文件存放的位置 [root@hadoop02 subdir0]#...
2.4k 字 2 分钟

# 前言 昨天总结了如何启动 YAIN 并运行 MapReduce 程序。这一篇主要总结如何配置历史服务器和日志的聚集。 # 配置历史服务器 为了查看程序的历史运行情况，需要配置一下历史服务器。具体配置步骤如下 配置： etc/hadoop/mapred-site.xml 。在文件里增加如下配置<!-- 历史服务器端地址 --><property> <name>mapreduce.jobhistory.address</name>...
766 字 1 分钟

# 前言 如果你想在本地的电脑上通过 ssh 命令连接云服务器，每次又懒得输入命令和服务器密码，希望能直接执行一个 shell 命令即可，那么本文可能会对你有些帮助 # 客户端生成公钥和私钥 在客户端运行命令 ssh-keygen -t rsarsa 是一种常用的加密算法，还有一种加密算法是 dsa。 当在客户端执行这条命令时，会在 home 目录下的 .ssh...
2.6k 字 2 分钟

# 配置集群 配置： etc/hadoop/hadoop-env.sh 。修改 JAVA_HOME 路径 export JAVA_HOME=/opt/module/jdk1.8.0_144 配置： etc/hadoop/core-site.xml <!-- 指定 HDFS 中 NameNode 的地址 --><property> <name>fs.defaultFS</name>...
1.6k 字 1 分钟

# 环境 CentOS / 7.3 x86_64 (64bit) Java 1.8.0_144 # 安装 Hadoop 下载地址 https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/ 使用 scp 命令或其他传输工具将 hadoop-2.7.2.tar.gz 上传至服务器的 /opt/software 目录下 进入到 Hadoop 安装包目录下cd /opt/software/ 解压安装文件到 /opt/module 目录下（没有这个目录可以事先创建）[root@hadoop02 software]# tar -zxvf...
1.4k 字 1 分钟

# 前言 上一篇总结了启动 HDFS 并运行 MapReduce 程序。这一篇主要记录启动 YARN 并运行 MapReduce 程序 # 配置集群 配置： etc/hadoop/yarn-env.sh 。配置 JAVA_HOME 路径export JAVA_HOME=/opt/module/jdk1.8.0_144 配置： etc/hadoop/yarn-site.xml<!-- Reducer 获取数据的方式 --><property>...
655 字 1 分钟

# 前言 dropout 常常用于抑制过拟合，pytorch 也提供了很方便的函数。但是经常不知道 dropout 的参数 p 是什么意思。在 TensorFlow 中 p 叫做 keep_prob ，就一直以为 pytorch 中的 p 应该就是保留节点数的比例，但是实验结果发现反了，实际上表示的是不保留节点数的比例。 >>> import torch>>> a = torch.randn(10, 1)>>> atensor([[ 1.0824], [-0.6219], [-0.3044], [-0.3553], [-0.8303],...
5.7k 字 5 分钟

# 注意以下几点 创建自己的类 MyDataset，继承自 torch.utils.data.Dataset，以便可以读取我们自己的数据集 在 Resnet50 的基础上，更改最后一层全连接层，添加 RelU 激活函数，Dropout，输出纬度更改为 [batchsz, 3]，并将 dim=1 进行 Softmax 操作。 如果使用 GPU 设备，注意 model, loss_func, 和数据都要转移到 GPU 上，可以使用 cuda () 函数或 to (device)。 pytorch 的 dropout 的参数和 tf 的参数刚好相反 使用如下方式保存和加载模型： #...
1.7k 字 2 分钟

# 需求 如图所示，想通过 Pytorch 加载自己的数据集，每一张图片后面有三个标签。该如何实现呢？看下面 # 代码 from PIL import Imageimport torchfrom torchvision import transformsimport numpy as npfrom matplotlib import pyplot as plt# 创建自己的类：MyDataset, 这个类是继承的 torch.utils.data.Datasetclass MyDataset(torch.utils.data.Dataset): def __init__(self,...
798 字 1 分钟

# bifurcate 描述 把集合里面的元素分成两组。如果 filter 中的一个元素为真值时，在集合中与之相对应的元素就划分到第一组，否则就属于第二组。 提示 使用 Array.prototype.reduce() 和 Array.prototype.push() 把集合中的元素添加到对应的分组中。 filter 需和集合中的元素保持一一对应。 代码const bifurcate = (arr, filter) => arr.reduce( (acc, val, i) => { acc[filter[i] ? 0 : 1].push(val);...