-
-
去学习 腾讯课堂提供服务
你将获得掌握某些知识点学会某些技巧（或思路）
教学服务
1v1专属答疑服务BAT专家面试辅导
讲师介绍
黄埔课堂架构师10年软件开发经验，曾在我国联通、Motorola等先后做Javaweb开发、手机开发、大数据开发，有丰富的大数据和GO语言实战经验。 培训过的课程有：《大数据hadoop开发》、《大数据spark开发》、《Go语言重写大数据日志收集器》 企业内训：中石化（上海，齐鲁，北京），济南联通研究院。
课程详情
hive底层原理用MR，速度比较慢，公司hadoop集群主要集中于晚上到凌晨，平日工作时间负载不是很高。但在工作时间内，公司业务人员有实时查询的需求，现在主要借助于hive提供业务人员的查询。hive是基于MR类的SQL查询工具，他会输入的查询SQL解析为MapReduce，能极大的降低使用大数据门槛，让一般的业务人员可以直接准对大数据进行查询，但是有一个利弊，它的查询基于MR，会让人等待比较着急，等待的时间可能是几个小时或者一天。 spark基于内存提高改良的hive，sql，现在factbook在hive上面开发一套利器，准对hive可以通过sql语句快速查询，presto。2、Facebook为何开发PrestoFacebook的2011的数据仓库存储在少量大型hadoop/hdfs集群，Hive是FaceBook在几年前专门为Hadoop打造的一款数据仓库工具，在以前，facebook的科学家和分析师一直靠hive进行数据分析.但hive使用MR作为底层计算框架，是专为批处理设计的，但是随着数据的不断增多，使用hive进行一个简单的数据查询可能要花费分钟或者几个小时，显然不能满足查询需求，FaceBooke也调研了其他比hive更快的工具，但是他们需要在功能有限的条件下做简单操作，以至于无法操作Facebook庞大的数据要求。
2012年开始研究自己的框架--presto，每日可以超过1pb查询，而且速度比较快，faceBook声称Presto的性能比hive要好上10倍或者100倍，presto和hive都是facebook开发的Presto是什么
Presto是一个开源的分布式SQL查询引擎，适用于交互式查询，数据量支持GB到PB字节。
Presto的设计和编写完全是为了解决Facebook这样规模的商业数据仓库交互式分析和处理速度的问题Presto可以做什么Presto支持在线数据查询，包括Hive kafka Cassandra关系数据库以及专门数据存储，一条Presto查询可以将多个数据源进行合并，可以跨越整个组织进行分析。
Presto以分析师的需求作为目标，他们期望相应速度小于1秒到几分钟，Presto要么在使用速度的快的昂贵的商业方案，提高内存，要么是消耗大量的硬件进行快速查询。（128G 64G）架构图本套课程教给如何在企业环境中使用Presto技术。
- Facebook数据查询引擎Presto学习 108
- 去学习 去腾讯课堂学习
声明：本文由代码号课堂注册/游客用户【符彬政】供稿发布，最终权属和售后归腾讯课堂所有。本站不对用户发布的Facebook数据查询引擎Presto学习信息内容原创度和真实性等负责。如内容侵犯您的版权或其他权益，请留言并加以说明。站长审查之后若情况属实会及时为您删除。本文作者：符彬政» /dmh/6000.html
