无论国内还是国外的大公司对于数据都有着无穷无尽的渴望,都会想尽一切办法收集一切数据,因为通过信息的不对称性可以不断变现,而大量的信息是可以通过数据分析得到的。数据的来源途径非常的多,数据的格式也越来越多越来越复杂,随着时间的推移数据量也越来越大。因此在数据的存储和基于数据之上的计算上传统数据库很快趋于瓶颈。而Hadoop正是为了解决了这样的问题而诞生的。Hadoop生态系统正在从互联网领域快速扩展到传统行业,Hadoop正在迅速成为(或者说已经成为)数据中心里大规模数据处理方面的业界事实标准。

 

 Hadoop是一套开源的、目前能够让数万台普通、廉价的服务器组成一个稳定的、强大的集群,使其能够对pb级别的大数据进行存储、计算。具有高可靠,高拓展性,高效性,高容错性,低成本等优势。已经具有了强大稳定的生态系统。Hadoop生态系统正在从互联网领域快速扩展到传统行业,Hadoop正在迅速成为(或者说已经成为)数据中心里大规模数据处理方面的业界事实标准。

Hive
灵活的存储引擎
高效的执行引擎
良好的可扩展性
强大的容错机制
多样化的可视化

Storm
Twitter开源的分布式实时大数据处理框架,被业界称为实时版Hadoop。 随着越来越多的场景对Hadoop的MapReduce高延迟无法容忍,比如网站统计、推荐系统、预警系统、金融系统(高频交易、股票)等等, 大数据实时处理解决方案(流计算)的应用日趋广泛,目前已是分布式技术领域最新爆发点,而Storm更是流计算技术中的佼佼者和主流。

Hbase
实现海量数据的实时查询,高并发的读写操作。具有分布式,易扩展,高性价比,运维成本低特点。可以支持海量数据,单张表的数据量不上T,都不好意思出来打招呼。甚至可以拿很烂的SATA盘来作为存储,由于依赖底层的HDFS。新装的机器可以不用做硬RAID。HBase可以在任何时候随时宕掉1,2台机器,就当什么都没发生。

活动活动地点和时间

    2015年10月31日, 星期六, 14:00-17:00

    北京朝阳区景华南街5号远洋光华中心C座21层

讲座亮点

CUUG作为国内最专业的甲骨文公司官方授权WDP认证培训中心,联合甲骨文公司举行过数十次大型的技术沙龙,得到甲骨文公司的大力支持和IT行业的一致好评。CUUG是国内最早在甲骨文公司总部举行技术沙龙的机构(没有之一)。 来自甲骨文公司和CUUG最有影响力且最资深的专家将亲临本次盛会,并带来精彩的演讲和最新技术应用趋势。


每次甲骨文总部技术沙龙现场座无虚席

主题内容

1:介绍大数据行业的情况。
2:以前我们遇到什么问题?解决不了--------》hadoop给出了解决方式
3:hadoop为什么能够解决?(hadoop1)
4:第一代hadoop能解决以后在生产中又遇到了什么问题?新的hadoop又从架构上做了哪些改进?
5:怎么使用hadoop(hive pig),发现确实实时查询的数据库?
6:hadoop为什么要有数据库?怎么就能解决oracle解决不了的东西,架构是什么?(hbase 对应项目联通流量查询)
7:我们还可以用hadoop做什么?实时流----为什么能实现实时?(配合简单介绍kafka)(大屏项目,淘宝购物节项目)
8:新出来的spark简单介绍,数据挖掘(Mahout)的介绍。
9:为什么我们选择hadoop这种解决方案。