欢迎回家
我们一直在改变

大数据 第4页

Hive的基本数据类型

Poseidon阅读(26)评论(0)赞(0)

Hive支持关系型数据中大多数基本数据类型,同时Hive中也有特有的三种复杂类型。 下面的表列出了Hive中的常用基本数据类型: 数据类型 长度 备注 Tinyint 1字节的有符号整数 -128~127 SmallInt 1个字节的有符号...

Hive的基本概念

Poseidon阅读(31)评论(0)赞(0)

这篇文章是基于hive-1.0.0版本介绍的,这个版本的Hive是运行在MapReduce上的,新的版本可以运行在Tez上,会有一些不同。 Hive是对数据仓库进行管理和分析数据的工具。但是大家不要被“数据仓库”这个词所吓倒,数据仓库是很复...

Hadoop 运行(Windows)

Poseidon阅读(50)评论(0)赞(0)

问题 1:缺少 winutils.exe 和 hadoop.dll 解决办法: 下载地址:https://github.com/srccodes/hadoop-common-2.2.0-bin 解压后将 hadoop-common-2.2....

Hadoop Java API-MapReduce

Poseidon阅读(42)评论(0)赞(0)

下面模仿 wordcount,写一个 MapReduce (1) WCMapper (2) WCReducer (3) WCReducer 原文链接 :https://www.cnblogs.com/binarylei/p/10460865...

Hadoop Java API — RPC 调用

Poseidon阅读(41)评论(0)赞(0)

(1) LoginServiceInterface 接口 (2) RPCServer 将打包后的 hadoop-api-1.0.0.jar 上传到 Linux,启动 RPC 服务,执行hadoop jar hadoop-api-1.0.0....

Hadoop Java API — HDFS

Poseidon阅读(33)评论(0)赞(0)

一、HDFS 操作 Configuration 配置文件默认读取 resources 目录下的 core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml 文件。可以将 Hadoop ...

Hadoop 的集群配置

Poseidon阅读(41)评论(0)赞(0)

(1) 网络配置 配置主机名: 配置 IP/主机名 的映射关系 修改完成后需要重启一下,重启后在终端中才会看到机器名的变化。 配置好后需要在各个节点上执行如下命令,测试是否相互 ping 得通,如果 ping 不通,后面就无法顺利配置成功 ...

Hadoop 的安装配置

Poseidon阅读(42)评论(0)赞(0)

1.1 Hadoop 依赖的组件 JDK :从 Oracle 官网下载,设置环境变量(JAVA_HOME、PATH 和 CLASSPATH)。 SSH(安全外壳标议) :推荐安装 Openssh。 Hadoop 需要通过 SSH 来启动 S...

Hadoop 生态系统

Poseidon阅读(34)评论(0)赞(0)

如图所示,Hadoop 的生态圈其实就是一群动物在狂欢。我们来看看一些主要的框架。 (1)HBase HBase(Hadoop Database)是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用 HBase 技术可在廉价 PC ...

Hadoop 的资源管理 — YARN

Poseidon阅读(47)评论(0)赞(0)

在上一节中我们看到,当 MapReduce 发展到 2.x 时就不使用 JobTracker 来作为自己的资源管理框架,而选择使用 YARN。这里需要说明的是,如果使用 JobTracker 来作为 Hadoop 集群的资源管理框架的话,那...

91CODING 小白轻松上手,大牛稳健进步

关于我们免责声明