0x00 起因是需要往MongoDB的Shard分片集群导入两个T(十亿文档)级别的数据。其中遇到了各种很严重的性能问题,在这里做一下记录。 0x01 索引 在导入数据时,尽量不提前建立索引,仅建立必须的shard_key。 0x02 批量写入 在进行大批量导入时,尽量使用insert_many进行批量写入。若写入顺序不重要的话,可以设置ordered=False来提高速度。 0x03 SHARD_FILTER问题 若从一个Shard集群读取数据,并且读取的规则为Secondary Preferred,在查询时会缺…