0x00 起因是需要往MongoDB的Shard分片集群导入两个T（十亿文档）级别的数据。其中遇到了各种很严重的性能问题，在这里做一下记录。 0x01 索引 在导入数据时，尽量不提前建立索引，仅建立必须的shard_key。 0x02 批量写入 在进行大批量导入时，尽量使用insert_many进行批量写入。若写入顺序不重要的话，可以设置ordered=False来提高速度。 0x03 SHARD_FILTER问题 若从一个Shard集群读取数据，并且读取的规则为Secondary Preferred，在查询时会缺…
最近评论
rantrism 发布于 3 年前（12月08日）
Bahai 发布于 4 年前（09月10日）
零奇 发布于 4 年前（01月23日）
woodenrobot 发布于 6 年前（01月16日）
Silver 发布于 7 年前（05月01日）