2采ETL采集去重脱敏转换关联去除异常值 前后端将采集到的数据给到数据部门，数据部门通过ETL工具将数据从来源端经过抽取extract转换transform加载load至目的端的过程，目的是将散落和零乱的数据集中存储起来3存大数据高性能存储及管理 这么多的业务数据存在哪里这需要有一。

大数据处理的四个主要流程1数据收集收集大数据，包括结构化数据和非结构化数据，收集的数据可以来自外部源，或者是内部的数据源2数据存储将收集的数据存储在可靠的数据仓库中，以便更好的管理数据3数据处理对收集的数据进行清洗结构化和标准化，以便从中获得有用的信息4数据分析利用。

处理大数据的四个环节收集原始数据种类多样，格式位置存储时效性等迥异数据收集从异构数据源中收集数据并转换成相应的格式方便处理存储收集好的数据需要根据成本格式查询业务逻辑等需求，存放在合适的存储中，方便进一步的分析变形原始数据需要变形与增强之后才适合分析，比如网页日志。

2大数据的采集是指利用多个数据库来接收发自客户端WebApp或者传感器形式等的数据，并且用户可以通过这些数据库来进行简单的查询和处理工作3以便从中获得有用的信息数据分析利用大数据分析工具对数据进行挖掘，以便发现有用的信息和规律4大数据处理之四发掘主要是在现有数据上面进行根据。

大数据处理流程顺序一般是采集导入和预处理统计和分析，以及挖掘。

1数据采集 大数据处理的第一步是从各种来源中抽取数据这可能包括传感器数据库文件网络等这些来源可能是物理的设备，如传感器，或者是虚拟的，如网络数据这些数据可能以各种不同的格式和类型存在，因此采集过程可能需要一些转换和标准化2数据预处理 在数据采集后，通常需要进行一些预处理。

大数据处理过程一般包括以下步骤一数据收集 大数据处理的第一步是从各种数据源中收集数据这些数据源可能包括传感器社交媒体平台数据库日志文件等收集到的数据需要进行验证和清洗，以确保数据的准确性和一致性二数据存储 大数据需要被有效地存储和管理，以便后续的处理和分析传统的关系型。