91coding

2019-10-14Poseidon阅读(805)评论(0)赞(0)

Hadoop启动开销大，如果每次只做小数量的输入输出，利用率将会很低。所以用好Hadoop的首要任务是增大每次任务所搭载的数据量。Hadoop的核心能力是parition和sort，因而这也是优化的根本。 Hive优化时，把hive Sql...

2019-10-14Poseidon阅读(905)评论(0)赞(0)

Hive语句最终是要转换为MapReduce程序放到Hadoop上去执行的，如果想深入了解Hive，并能够很好地优化Hive语句，了解MapReduce的执行过程至关重要，因为只有知道了MapReduce程序是怎么执行的，才能了解Hive语...

2019-10-14Poseidon阅读(842)评论(0)赞(0)

Hive内置函数 Hive中自带了大量的内置函数，详细可参看如下资源： 官方文档： https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF#LanguageMa...

2019-10-14Poseidon阅读(731)评论(0)赞(0)

Order By select * from user_leads order by user_id Hive中的Order By达到的效果和SQL Server中是一样的，会对查询结果进行全局排序，但是Hive语句最终要转换为MapRed...

2019-10-14Poseidon阅读(897)评论(0)赞(0)

Hive Join的限制 只支持等值连接 Hive支持类似SQL Server的大部分Join操作，但是注意只支持等值连接，并不支持不等连接。原因是Hive语句最终是要转换为MapReduce程序来执行的，但是MapReduce程序很难实现...

2019-10-14Poseidon阅读(1003)评论(0)赞(0)

Select 查询 指定列表 select * from user_leads; select leads_id,user_id,create_time from user_leads; select e.leads_id from use...

2019-10-14Poseidon阅读(783)评论(0)赞(0)

向Hive中加载数据 加载到普通表 可以将本地文本文件内容批量加载到Hive表中，要求文本文件中的格式和Hive表的定义一致，包括：字段个数、字段顺序、列分隔符都要一致。 这里的user_info表的表定义是以\t作为列分隔符，所以准备好数...

2019-10-13Martin阅读(822)评论(0)赞(0)

什么是线程   官方解释：线程是操作系统能够进行运算调度的最小单位，包含于进程之中，是进程中的实际运作单位。也就是说线程是代码运行的载体，我们所编写的代码都是在线程上跑的，以一个最简单的 hellowWorld 为例： 结果为： 在程序运行...

2019-10-13Martin阅读(874)评论(0)赞(0)

一、注解(annotations)列表 @SpringBootApplication包含了三个注解: @ComponentScan（扫描到Configuration类并把它加入程序上下文） @Configuration @EnableAut...

2019-10-13Martin阅读(948)评论(0)赞(0)

redis服务器是一个事件驱动程序。 需要处理两类事件： 文件事件：redis是通过套接字与客户端或者其他服务器连接的，而文件事件就是服务器对套接字操作的抽象。 时间事件：服务器对一些定时操作的抽象。 文件事件 redis基于reactor...