概述 首先，我们要了解什么是Celery的Prefetch和Acknowledged。 顾名思义，Prefetch指的是一个Celery Worker节点，能够提前获取一些还还未被其他节点执行的任务，这样可以提高Worker节点的运行效率。 而Acknowledged则是一个任务执行完后，只有确认返回发送了Acknowledged确认信息后，该任务才算完成。 Prefetch Limit 在这里，Celery给我们提供了一个节点级别的变量，worker_prefetch_multiplier，用以控制一个工作节点所…
RabbitMQ RabbitMQ的消息流主要由两个部分组成：Exchange和Queue。 Exchange Exchange其实可以类比为一个交换机？其根据Exchange的类型和一些规则，来将消息分发到特定的Queue队列中。 RabbitMQ支持以下几种Exchange类型： Direct Exchange 将每个Message（消息）的routing_key与其下的Queue进行匹配，若一致则将Message下发到对应的Queue Default Exchange 由RabbitMQ预定义的一个Excha…
简述 在当前的项目中，由于项目需求，需要实现一个将一个大任务拆分成无数个子任务的功能。 而在这个功能实现的时候，由于拆分的子任务数量太大，导致内存占用一直攀升直至Out of Memory。 为了解决这个问题，我曾经怀疑过由RabbitMQ的HeartBeat带来的内存泄露问题，但是在经过了tracemalloc内存分析之后，发觉这个问题的原因其实是Celery默认开启的一个小功能（坑）。 产生原因 在Celery文档中，有一个参数Task.apply_async.add_to_parent，这个参数的主要作用是：…
