如何在低延迟的线程池上调度工作？

# 如何在延迟敏感的情况下在线程池中安排工作？ - The Old New Thing 来源：https://devblogs.microsoft.com/oldnewthing/20260612-00?p=112417 有位客户有一个回调函数，用于上报硬件设备产生的数据。回调函数的规则是必须快速返回，以免因设备自身缓冲区过小而错过下一批数据：如果在回调中花费太多时间，缓冲区就会溢出，数据就会丢失。为了避免阻塞接收线程，客户将工作项排队到线程池中，以处理刚刚接收到的数据。然而，他们发现有时工作项并不会立即执行，而是存在 100ms 的延迟。但他们的程序需要在 20ms 内处理完数据。有没有办法为线程池工作项设置一个截止时间，让系统确保它在一定时间内运行？ 正如我之前提到的，[线程池是为吞吐量而非低延迟设计的](https://devblogs.microsoft.com/oldnewthing/20170623-00/?p=96455)。没有为工作项设置截止时间的选项。线程池调度工作项缓慢的一个原因是，线程池中还有其他不相关的工作项，这些任务与你的数据处理任务竞争线程池的注意力。此外，其中一些任务可能长时间运行，导致线程池线程长时间无法使用。 你可以通过创建自己的自定义线程池来消除这些冲突工作项的影响：调用 `CreateThreadpool` 并将你的工作排队到该线程池（通过在工作项环境中设置该线程池）。这样，就不会有其他工作项在你的线程池工作队列中插队，因为这些冲突工作项会进入进程默认线程池，而不是你的私有线程池。 但请注意，即使你的工作项不再与其他工作项争夺私有线程池的注意力，那些其他工作项仍然在进程默认线程池上运行，因此它们仍然会与你的工作项竞争 CPU。但至少你的工作项会被调度。 我猜测批处理数据的顺序很重要，因此你应该将私有线程池的最大线程数设置为 1，这样只有处理完前一批数据后才会开始处理下一批。这实际上是将工作项串行化，但如果你打算按顺序处理批次，这正是你想要的。 对于这种单一用途的线程池，你可以提前准备好所有内容，这样在回调函数中只需对预先创建的可重用工作项调用 `SubmitThreadpoolWork` 即可。 `` `` // 一次性准备 pool = CreateThreadpool(); if (!pool) ⟦ 错误处理 ⟧ TP_CALLBACK_ENVIRON env; InitializeThreadpoolEnvironment(&env); SetThreadpoolCallbackPool(&env, pool); work = CreateThreadpoolWork(ProcessData, nullptr, &env); if (!work) ⟦ 错误处理 ⟧ void Callback() { ⟦ 将数据添加到数据队列 ⟧ SubmitThreadpoolWork(work); // 请求另一个回调 } `` `` 如果你退一步来看，可能会意识到我们只是创建了一个工作线程，只不过将所有簿记工作委托给了线程池。此外，这位客户是用 C# 编写的代码，而 BCL 本身并不支持自定义线程池。所以如果最终只是需要一个工作线程，也许我们直接创建一个工作线程就好。下面是一个非常简单的示例。 `` `` Queue queue = new Queue(); Data WaitForWork() { while (true) { lock (queue) { if (queue.Count > 0) return queue.Dequeue(); Monitor.Wait(queue); } } } void WorkerThread() { Data data; while ((data = WaitForWork()) != null) { ⟦ 处理数据 #x27e7; ⟧ } } void QueueWork(Data data) { lock (queue) { queue.Enqueue(data); Monitor.Pulse(queue); } } void EndWork() { QueueWork(null); } `` `` 工作线程等待队列中出现元素，一旦有元素，就将其出队并执行你想要的任何处理。如果入队的值为 `null`，则表示不再需要工作线程，它就会退出。在 C++ 中，你可以用 `std::queue` 和条件变量实现类似的功能。 ### 分类 ### 话题 ## 作者 Raymond Chen Raymond 参与 Windows 的发展已有 30 多年。2003 年，他创办了一个名为 The Old New Thing 的网站，其受欢迎程度远超他最疯狂的想象——这一发展至今仍让他感到不安。该网站后来出版了一本书，巧合的是书名也是 *The Old New Thing*（Addison Wesley，2007 年）。他偶尔会出现在 Windows Dev Docs 的 Twitter 账号上，讲述一些不包含任何有用信息的故事。