当数据量非常大的时候，一个索引文件已经不能满足大数据量的搜索，所以要分成多台机器一起搜索，如图所示，将索引分成了多个shard也即分片，分不到不同的机器上，进行并行的搜索 所以说大数据平台，什么叫做大数据，说白了就是一台机器干不。

此外，NineData还采用了先进的核心技术，如智能分片表级行级并发动态攒批等这些技术能够有效地提高数据迁移的速度和效率，缩短迁移时间，提高迁移的稳定性和可靠性总之，NineData针对MySQL大数据量迁移任务进行了全面的。

通过把数据表分片到多台计算机上后，重排序是很快的另一方面，处理二进制对 象，Hadoop需要重复往返于命名节点，目的是查找和处理数据这适合用Python脚本来实现五我的数据超过了5TB 你应该考虑使用Hadoop，而无需做过。

点评压缩时间和压缩率之间的取舍本质上是 cpu 资源和存储资源的取舍是否需要支持分片也不是绝对的，如果单个文件大小均小于 splitSize，则没必要支持分片点评一阶段考虑尽可能支持分片单个文件大于 splitSize 时。