Hadoop

2019-10-10Poseidon阅读(738)评论(0)赞(0)

问题 1：缺少 winutils.exe 和 hadoop.dll 解决办法： 下载地址：https://github.com/srccodes/hadoop-common-2.2.0-bin 解压后将 hadoop-common-2.2....

2019-10-10Poseidon阅读(695)评论(0)赞(0)

下面模仿 wordcount，写一个 MapReduce (1) WCMapper (2) WCReducer (3) WCReducer 原文链接 ：https://www.cnblogs.com/binarylei/p/10460865...

2019-10-10Poseidon阅读(669)评论(0)赞(0)

(1) LoginServiceInterface 接口 (2) RPCServer 将打包后的 hadoop-api-1.0.0.jar 上传到 Linux，启动 RPC 服务，执行hadoop jar hadoop-api-1.0.0....

2019-10-10Poseidon阅读(671)评论(0)赞(0)

一、HDFS 操作 Configuration 配置文件默认读取 resources 目录下的 core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml 文件。可以将 Hadoop ...

2019-10-10Poseidon阅读(683)评论(0)赞(0)

(1) 网络配置 配置主机名： 配置 IP/主机名 的映射关系 修改完成后需要重启一下，重启后在终端中才会看到机器名的变化。 配置好后需要在各个节点上执行如下命令，测试是否相互 ping 得通，如果 ping 不通，后面就无法顺利配置成功 ...

2019-10-10Poseidon阅读(759)评论(0)赞(0)

1.1 Hadoop 依赖的组件 JDK ：从 Oracle 官网下载，设置环境变量(JAVA_HOME、PATH 和 CLASSPATH)。 SSH(安全外壳标议) ：推荐安装 Openssh。 Hadoop 需要通过 SSH 来启动 S...

2019-10-10Poseidon阅读(698)评论(0)赞(0)

如图所示，Hadoop 的生态圈其实就是一群动物在狂欢。我们来看看一些主要的框架。 （1）HBase HBase（Hadoop Database）是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用 HBase 技术可在廉价 PC ...

2019-10-10Poseidon阅读(741)评论(0)赞(0)

在上一节中我们看到，当 MapReduce 发展到 2.x 时就不使用 JobTracker 来作为自己的资源管理框架，而选择使用 YARN。这里需要说明的是，如果使用 JobTracker 来作为 Hadoop 集群的资源管理框架的话，那...

2019-10-09Poseidon阅读(712)评论(0)赞(0)

MapReduce 是 Google 提出的一个软件架构，用于大规模数据集（大于1TB）的并行运算。概念“Map（映射）”和“Reduce（归纳）”以及它们的主要思想，都是从函数式编程语言借来的，还有从矢量编程语言借来的特性。 当前的软件实...

2019-10-09Poseidon阅读(638)评论(0)赞(0)

Hadoop 的存储系统是 HDFS(Hadoop Distributed File System)分布式文件系统，对外部客户端而言，HDFS 就像一个传统的分级文件系统，可以进行创建、删除、移动或重命名文件或文件夹等操作，与 Linux ...