2.4k 字 2 分钟

# 前言 昨天总结了如何启动 YAIN 并运行 MapReduce 程序。这一篇主要总结如何配置历史服务器和日志的聚集。 # 配置历史服务器 为了查看程序的历史运行情况，需要配置一下历史服务器。具体配置步骤如下 配置： etc/hadoop/mapred-site.xml 。在文件里增加如下配置<!-- 历史服务器端地址 --><property> <name>mapreduce.jobhistory.address</name>...
766 字 1 分钟

# 前言 如果你想在本地的电脑上通过 ssh 命令连接云服务器，每次又懒得输入命令和服务器密码，希望能直接执行一个 shell 命令即可，那么本文可能会对你有些帮助 # 客户端生成公钥和私钥 在客户端运行命令 ssh-keygen -t rsarsa 是一种常用的加密算法，还有一种加密算法是 dsa。 当在客户端执行这条命令时，会在 home 目录下的 .ssh...
1.6k 字 1 分钟

# 环境 CentOS / 7.3 x86_64 (64bit) Java 1.8.0_144 # 安装 Hadoop 下载地址 https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/ 使用 scp 命令或其他传输工具将 hadoop-2.7.2.tar.gz 上传至服务器的 /opt/software 目录下 进入到 Hadoop 安装包目录下cd /opt/software/ 解压安装文件到 /opt/module 目录下（没有这个目录可以事先创建）[root@hadoop02 software]# tar -zxvf...
2.6k 字 2 分钟

# 配置集群 配置： etc/hadoop/hadoop-env.sh 。修改 JAVA_HOME 路径 export JAVA_HOME=/opt/module/jdk1.8.0_144 配置： etc/hadoop/core-site.xml <!-- 指定 HDFS 中 NameNode 的地址 --><property> <name>fs.defaultFS</name>...
1.4k 字 1 分钟

# 前言 上一篇总结了启动 HDFS 并运行 MapReduce 程序。这一篇主要记录启动 YARN 并运行 MapReduce 程序 # 配置集群 配置： etc/hadoop/yarn-env.sh 。配置 JAVA_HOME 路径export JAVA_HOME=/opt/module/jdk1.8.0_144 配置： etc/hadoop/yarn-site.xml<!-- Reducer 获取数据的方式 --><property>...
655 字 1 分钟

# 前言 dropout 常常用于抑制过拟合，pytorch 也提供了很方便的函数。但是经常不知道 dropout 的参数 p 是什么意思。在 TensorFlow 中 p 叫做 keep_prob ，就一直以为 pytorch 中的 p 应该就是保留节点数的比例，但是实验结果发现反了，实际上表示的是不保留节点数的比例。 >>> import torch>>> a = torch.randn(10, 1)>>> atensor([[ 1.0824], [-0.6219], [-0.3044], [-0.3553], [-0.8303],...
5.7k 字 5 分钟

# 注意以下几点 创建自己的类 MyDataset，继承自 torch.utils.data.Dataset，以便可以读取我们自己的数据集 在 Resnet50 的基础上，更改最后一层全连接层，添加 RelU 激活函数，Dropout，输出纬度更改为 [batchsz, 3]，并将 dim=1 进行 Softmax 操作。 如果使用 GPU 设备，注意 model, loss_func, 和数据都要转移到 GPU 上，可以使用 cuda () 函数或 to (device)。 pytorch 的 dropout 的参数和 tf 的参数刚好相反 使用如下方式保存和加载模型： #...
1.7k 字 2 分钟

# 需求 如图所示，想通过 Pytorch 加载自己的数据集，每一张图片后面有三个标签。该如何实现呢？看下面 # 代码 from PIL import Imageimport torchfrom torchvision import transformsimport numpy as npfrom matplotlib import pyplot as plt# 创建自己的类：MyDataset, 这个类是继承的 torch.utils.data.Datasetclass MyDataset(torch.utils.data.Dataset): def __init__(self,...
798 字 1 分钟

# bifurcate 描述 把集合里面的元素分成两组。如果 filter 中的一个元素为真值时，在集合中与之相对应的元素就划分到第一组，否则就属于第二组。 提示 使用 Array.prototype.reduce() 和 Array.prototype.push() 把集合中的元素添加到对应的分组中。 filter 需和集合中的元素保持一一对应。 代码const bifurcate = (arr, filter) => arr.reduce( (acc, val, i) => { acc[filter[i] ? 0 : 1].push(val);...
561 字 1 分钟

# 缓存及优点 浏览器的缓存可以临时存储一些文件，因此当页面切换或者再次加载相同页面时就不需要去重新下载这些文件。服务端可以设置头部告诉浏览器在一定时间内存储这些文件。这样不仅可以大幅度加快网站的速度还可以节省你的带宽。 # 缓存带来的问题 然而当开发者对站点进行修改时就可能会带来一些问题：某些用户可能仍在访问那些修改之前的文件。这样就会导致那些用户使用以前的功能或者访问一个坏了的站点（当服务端渲染的页面元素被删除、移动或重命名后，那些被缓存的 CSS 和 JavaScript 文件对这些元素的操作就会出现错误） #...