欢迎回家
我们一直在改变

大数据 第4页

Hive的基本概念

Poseidon阅读(57)评论(0)赞(0)

这篇文章是基于hive-1.0.0版本介绍的,这个版本的Hive是运行在MapReduce上的,新的版本可以运行在Tez上,会有一些不同。 Hive是对数据仓库进行管理和分析数据的工具。但是大家不要被“数据仓库”这个词所吓倒,数据仓库是很复...

Hadoop 运行(Windows)

Poseidon阅读(89)评论(0)赞(0)

问题 1:缺少 winutils.exe 和 hadoop.dll 解决办法: 下载地址:https://github.com/srccodes/hadoop-common-2.2.0-bin 解压后将 hadoop-common-2.2....

Hadoop Java API-MapReduce

Poseidon阅读(81)评论(0)赞(0)

下面模仿 wordcount,写一个 MapReduce (1) WCMapper (2) WCReducer (3) WCReducer 原文链接 :https://www.cnblogs.com/binarylei/p/10460865...

Hadoop Java API — RPC 调用

Poseidon阅读(75)评论(0)赞(0)

(1) LoginServiceInterface 接口 (2) RPCServer 将打包后的 hadoop-api-1.0.0.jar 上传到 Linux,启动 RPC 服务,执行hadoop jar hadoop-api-1.0.0....

Hadoop Java API — HDFS

Poseidon阅读(69)评论(0)赞(0)

一、HDFS 操作 Configuration 配置文件默认读取 resources 目录下的 core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml 文件。可以将 Hadoop ...

Hadoop 的集群配置

Poseidon阅读(77)评论(0)赞(0)

(1) 网络配置 配置主机名: 配置 IP/主机名 的映射关系 修改完成后需要重启一下,重启后在终端中才会看到机器名的变化。 配置好后需要在各个节点上执行如下命令,测试是否相互 ping 得通,如果 ping 不通,后面就无法顺利配置成功 ...

Hadoop 的安装配置

Poseidon阅读(78)评论(0)赞(0)

1.1 Hadoop 依赖的组件 JDK :从 Oracle 官网下载,设置环境变量(JAVA_HOME、PATH 和 CLASSPATH)。 SSH(安全外壳标议) :推荐安装 Openssh。 Hadoop 需要通过 SSH 来启动 S...

Hadoop 生态系统

Poseidon阅读(67)评论(0)赞(0)

如图所示,Hadoop 的生态圈其实就是一群动物在狂欢。我们来看看一些主要的框架。 (1)HBase HBase(Hadoop Database)是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用 HBase 技术可在廉价 PC ...

Hadoop 的资源管理 — YARN

Poseidon阅读(100)评论(0)赞(0)

在上一节中我们看到,当 MapReduce 发展到 2.x 时就不使用 JobTracker 来作为自己的资源管理框架,而选择使用 YARN。这里需要说明的是,如果使用 JobTracker 来作为 Hadoop 集群的资源管理框架的话,那...

Hadoop 的计算 — MapReduce

Poseidon阅读(89)评论(0)赞(0)

MapReduce 是 Google 提出的一个软件架构,用于大规模数据集(大于1TB)的并行运算。概念“Map(映射)”和“Reduce(归纳)”以及它们的主要思想,都是从函数式编程语言借来的,还有从矢量编程语言借来的特性。 当前的软件实...

91CODING 小白轻松上手,大牛稳健进步

关于我们免责声明