国家采集的数据主要以管理类结构化和结果性的数据为主，重点关注宏观层面教育发展整体状况到大数据时代，教育数据的全面采集和深度挖掘分析变得越来越重要教育数据采集的重心将向非结构化过程性的数据转变三教育数据的结构模型 整体来说，教育大数据可以分为四层，由内到外分别是基础层状态层；大数据概念的结构 第一层面是理论，理论是认知的必经途径，也是被广泛认同和传播的基线第二层面是技术，技术是大数据价值体现的手段和前进的基石第三层面是实践，实践是大数据的最终价值体现大数据概念的用途 大数据可分成大数据技术大数据工程大数据科学和大数据应用等领域目前人们谈论最多的是；根据大数据平台架构中流入和流出的过程，可以把其分为三层原始数据层数据仓库数据应用层1原始数据层，也叫ODSOperational Data Store层，一般由基础日志数据业务线上库和其他来源数据获得数据仓库的数据来自对ODS层的数据经过ETL抽取Extra，转化Transfer，装载Load处理2数据仓库的；在微观层，大数据治理的概念包括以下三个层面数据获取与采集层这一层面涉及到从各种来源收集和获取数据的过程包括确定需要采集的数据类型和来源，建立数据采集系统和流程，并确保数据的准确性完整性和及时性在这个层面上，关注点是如何有效地获取和整合数据数据质量与管理层这一层面着重关注。

教育大数据六层架构是1 数据源层包括传统的数据库，数据仓库，分布式数据库，NOSQL数据库，半结构化数据，无结构化数据，爬虫，日志系统等，是大数据平台的数据产生机构2 数据整理层包括数据清洗数据转换数据加工数据关联数据标注数据预处理数据加载数据抽取等工作，该层的作用是将；大数据计算系统可以概括为三个基本层次数据应用系统数据处理系统和数据存储系统 计算的整体架构HDFS Hadoop分布式文件系统1设计思路分而治之，将大文件以分布式的方式存储在大量的服务器中，以分而治之的方式方便海量数据的计算和分析2首先，它是一个文件系统，用于存储文件，并通过统一；大数据分析分为三个层次，即描述分析预测分析和规范分析描述分析是探索历史数据并描述发生了什么分析已经发生的行为，预测分析用于预测未来的概率和趋势分析可能发生的行为，规范分析根据期望的结果特定场景资源以及对过去和当前事件的了解对未来的决策给出建议分析应该发生的行为例如；大数据技术的体系庞大且复杂，基础的技术包含数据的采集数据预处理分布式存储数据库数据仓库机器学习并行计算可视化等1数据采集与预处理FlumeNG实时日志收集系统，支持在日志系统中定制各类数据发送方，用于收集数据Zookeeper是一个分布式的，开放源码的分布式应用程序协调服务，提供数据同步；零最后的是一四二五零，按照顺序组合起来就可以找到，我想说的是，除非你想做或者了解这方面的内容，如果只是凑热闹的话，就不要来了大数据采集一般分为大数据智能感知层主要包括数据传感体系网络通信体系传感适配体系智能识别体系及软硬件资源接入系统，实现对结构化半结构化非结构化的海量；1物理层物理层是指硬件设备层，包括服务器存储设备网络设备等虽然物理层在大数据系统中起着重要作用，但它被视为基础设施层，而不是大数据生态系统的一部分2操作系统层操作系统层是指运行在物理层之上的软件层，负责管理硬件资源和提供基本的系统功能虽然操作系统在大数据系统中是必需。

大数据技术架构的分析层提供基于统计学的数据大数据的四层堆栈式技术架构1基础层 第一层作为整个大数据技术架构基础的最底层，也是基础层要实现大数据规模的应用，企业需要一个高度自动化的可横向扩展的存储和计算平台这个基础设施需要从以前的存储孤岛发展为具有共享能力的高容量存储池容量性；大数据计算体系可归纳三个基本层次数据应用系统，数据处理系统，数据存储系统计算的总体架构 HDFS Hadoop 分布式文件系统 1设计思想分而治之，将大文件大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析 2首先，它是一个文件系统，用于存储文件；数据技术的体系包括以下几个方面数据采集与存储大数据技术的首要任务是采集和存储大量的数据这包括从各种来源获取数据，如传感器日志文件社交媒体互联网等同时，需要选择适当的数据存储技术，如分布式文件系统数据湖NoSQL数据库等，以容纳和管理海量的数据数据处理与分析大数据技术需要处理；三存储技术 大数据可以抽象地分为大数据存储和大数据分析，这两者的关系是大数据存储的目的是支撑大数据分析大数据三个层面 第一层面是理论，理论是认知的必经途径，也是被广泛认同和传播的基线在这里从大数据的特征定义理解行业对大数据的整体描绘和定性从对大数据价值的探讨来深入解析大数据的珍贵所在。

大数据技术是指大数据的应用技术，涵盖各类大数据平台大数据指数体系等大数据应用技术大数据是指无法在一定时间范围内用常规软件工具进行捕捉管理和处理的数据集合是需要新处理模式才能具有更强的决策力洞察发现力和流程优化能力的海量高增长率和多样化的信息资产随着云时代的来临，大数据也吸引了；其生态系统从10版的三层架构演变为现在的四层架构底层存储层 现在互联网数据量达到PB级，传统的存储方式已无法满足高效的IO性能和成本要求，Hadoop的分布式数据存储和管理技术解决了这一难题HDFS现已成为大数据磁盘存储的事实标准，其上层正在涌现越来越多的文件格式封装如Parquent以适应BI类数据；工行大数据服务云包括的四层是1数据源层采集各类结构化非结构化数据2数据接入层支持各类数据采集，包括但不限于批量数据接入实时数据接入增量数据接入等3数据存储层采用分布式存储，支持PB级别的数据处理能力，并且可以采用多级分层存储方式，将数据根据访问频率和重要性进行分类存储。