商院案例大数据安全隐患与体系建设 着互联网云计算物联网等网络技术快速发展和智能终端智慧城市广泛应用及大范围建设，全球数据量呈现爆炸式增长，驱动着整个互联网世界迈入大数据时代 为应对大数据时代的挑战，推广大数据基础分析技术研发与应用安全技术，以及推进大数据技术创新管理能力和业务能力加强大数据安全。

大数据产品和服务体系涵盖数据集成，数据存储，数据同享层数据集成指的其实是ETL，指的是用户从数据源抽取出所需的数据，经过数据清洗，终究依照预先定义好的数据仓库模型，将数据加载到数据仓库中去而这儿的Kettle仅仅ETL的其中一种数据存储指的便是数据仓库的建设了，简略来说能够分为事务数据层。

大数据技术的体系庞大且复杂，基础的技术包含数据的采集数据预处理分布式存储数据库数据仓库机器学习并行计算可视化等1数据采集与预处理FlumeNG实时日志收集系统，支持在日志系统中定制各类数据发送方，用于收集数据Zookeeper是一个分布式的，开放源码的分布式应用程序协调服务，提供数据同步。

大数据Big Data是指“无法用现有的软件工具提取存储搜索共享分析和处理的海量的复杂的数据集合”业界通常用4个V即VolumeVarietyValueVelocity来概括大数据的特征一是数据体量巨大Volume截至目前，人类生产的所有印刷材料的数据量是200PB1PB=210TB，而历史上全人类说过的所有。

大数据技术包括数据收集数据存取基础架构数据处理统计分析数据挖掘模型预测结果呈现1数据收集在大数据的生命周期中，数据采集处于第一个环节根据MapReduce产生数据的应用系统分类，大数据的采集主要有4种来源管理信息系统Web信息系统物理信息系统科学实验系统2数据存取大数据。