大数据体系包括数据采集存储管理分析和应用等一系列环节，这些环节共同构成了处理海量数据的全面框架首先，数据采集是大数据体系的起点，它涉及从各种来源获取数据的过程这些来源可能包括社交媒体传感器日志文件交易数据等采集技术的关键在于能够高效地收集并整合这些多样化高速增长的数据其次。

互联网时代各种存储框架层出不穷，眼花缭乱，比如传统的关系型数据库OracleMySQL新兴的NoSQLHBaseCassandraRedis全文检索框架ESSolr等如何为自己的业务选取合适的存储方案，相信大家都思考过这个问题，本文简单聊聊我对MysqlHBaseES的理解，希望能和大家一起探讨进步，有不对的地方。

大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十数百或甚至数千的电脑分配工作大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据适用于大数据的技术，包括大规模并行处理MPP数据库数据挖掘分布式文件系统分布式数据库云计算平台。

理解大数据平台的技术知识，作为数据产品经理的角色，我们需要从多个层面入手大数据平台本质上是对海量数据的综合研究设计，包括采集存储计算应用管理与运维，构建出合理高效的大数据架构Hadoop作为大数据存储与计算的基石，许多开源框架都依赖或兼容它了解Hadoop的核心组件与原理，掌握SQL处理分析。

实时计算相关技术包括数据实时采集阶段数据实时计算阶段和实时查询服务阶段，常用技术有Facebook的ScribeLinkedIn的KafkaCloudera的Flume淘宝开源的TimeTunnelHadoop的Chukwa以及Yahoo的S4Twitter的StormFacebook的Puma等实时大数据处理框架Lambda架构将大数据系统分为批处理层实时处理层和服务层，实现。

Zookeeper是很多大数据框架的基础，是集群的管理者12Hbase Hbase是一个Nosql数据库，是高可靠面向列的可伸缩的分布式的数据库13Kafka kafka是一个消息中间件，作为一个中间缓冲层14Flume Flume常见的就是采集应用产生的日志文件中的数据，一般有两个流程一个是Flume采集数据存储到。

1 DiscoDisco，最初由诺基亚开发，是一种分布式计算框架与Hadoop相似，它也基于MapReduce技术DiscoDisco包含了一个分布式文件系统，以及支持数十亿个键和值的数据库该框架支持的操作系统包括Linux和OSX2 HPCC，作为一种Hadoop之外的替代方案，承诺提供快速的数据处理速度和强大的可扩展性除了免费。

以大数据开发来说，其中涉及到的主要是大数据应用开发，要求一定的编程能力，在学习阶段，主要需要学习掌握大数据技术框架，包括hadoophiveoozieflumehbasekafkascalaspark等等以大数据分析来说，有主攻业务运营方面的数据分析师，也有主攻机器学习深度学习等的数据挖掘师，具体到其中的各个职位。