复合 LLM 应用 ( compound LLM applications ) 是一种联结大言语模子（LLM）与外部器具、API、或其他 LLM 的高效多阶段责任流应用开云体育(中国)官方网站。
⽬前，处事这些应⽤任务需要⾯对运⾏时⻓省略情、⼯作流结构省略情等问题，这对现存集群任务转换算法提议了极大挑战，并严重影响任务运⾏终端。
为了措置上述问题，上海交通大学朱怡飞辅导团队集结江行智能提议转换框架 LLMSched，通过引入三类新节点来推广传统任务表征次序终了复合 LLM 应用任务的灵验表征，借助贝叶斯蚁集识别可裁减省略情味的要津节点，并以信息熵揣度节点的熵减进度。
面前论文已被 IEEE ICDCS ’ 25 接受。
实验终端败露，LLMSched 联结探索 - 欺诈计策来均衡转换省略情味与现时转换收益，最终终了高效转换复合 LLM 应用，相较现存转换器平均任务完成时辰裁减 14~79%。
LLMSched：DAG 模子重构 + 熵减转换
团队通过对现存复合 LLM 应用的联想分析与实验，总结出复合 LLM 应用以下两点省略情味：
时长省略情味：单任务耗时波动高达 300 秒（图 1a）。该省略情味主要开头于 LLM 的自回来生成特质。
结构省略情味：任务体式数与开动结构立地波动（图 1b/c）。该省略情味主要开头于 LLM 在复合 LLM 应用中阐扬的决策与缠绵功能。
复合 LLM 应用这两种省略情味极大截止了传统转换的性能发达。如下图实例所示，传统最短任务优先 ( Shortest Job First ) 转换因误判耗时导致终端低下 ( 任务平均完成时辰 6.5s ) ，而省略情味感知的转换器通过提前推论高熵减阶段（TA-1）裁减省略情味，从而达到更灵验转换 ( 任务平均完成时辰 5s ) 。
DAG 模子重构：转换的基石
为了支吾复合 LLM 应用中存在的结构省略情味，联系团队提议全新有向无环图（DAG）建模框架，如下图所示。该框架引入了三种节点，惯例节点（Regular Stage），LLM 节点（LLM Stage）与动态假造节点（Dynamic Stage）。其中，惯例节点对应外部器具、api 等的调用，LLM 节点对应 LLM 推理任务，动态假造节点对应由 LLM 缠绵生成的子 DAG。
重构后的 DAG 模子能将现存的复合 LLM 应用表征为领有固定拓扑结构的转换单位，为之后的转换联想修复了基础。
贝叶斯分析器 + 熵减揣度机制：让系统越算越"澄莹"
团队在联系过程心仪志到复合 LLM 应用的部分节点存在权臣的关联性。这种关联性使得在推论完成某些前置节点后，后续节点的省略情味简略灵验裁减，具体发达如下：
1、缠绵式任务中 LLM 缠绵节点后的责任流完满由该节点决定。完成该 LLM 缠绵节点后，所缠绵的子责任流的未知拓扑结构可被完满揭示。
2、极端一部分的节点在开动时长上存在较高的关联性（下图所示）。在完成前置节点后，后续节点的时长省略情味进一步裁减。具体表面前后续节点的开动时长的要求漫步更为紧凑、可预计。
为此，团队为每个应用在对应数据集上蚁集了大量的开动时长数据，并在数据上基于重构的 DAG 模子磨砺贝叶斯蚁集（BN）来获取节点的开动时长漫步与节点之间的关联性。当 BN 中的一个节点存在一条或多条出边时，该节点便与其他的节点存在关联，转换该节点便不错裁减其他节点的省略情味。
考虑到试验情况中，不同的节点简略裁减的省略情味进度大不交流，团队引入信息论中信息熵的想法，使用互信息揣度，如下图所示。由于信息熵与互信息均通过变量的漫步进行狡计，因此之前通过 BN 取得漫步便不错告成用于狡计转换每个节点的熵减，无需寥落的测量。
为了将上述的熵减想想用于优化任务的平均完成时辰，团队使用 ε -greedy 算法联结最短剩余时辰优先与最大熵减优先两种计策，提议了一个高效的转换算法。该算法鉴戒了探索 - 欺诈的想想，好意思妙地在裁减任务省略情味与裁减任务完成时辰两个潜在的突破规画中达到了均衡。在转换过程中，转换算法会蚁集任务完成的时长信息，欺诈贝叶斯蚁集动态更新每个任务的开动时长，从而获取更精准的任务时长测度。该算法的复杂度仅为
，简略对动态的负载作念出快速的转换决策。
实验终端：平均任务完成时辰最低降至 79%
团队录取了六种代表性的复合 LLM 应用，并基于此构建了 4 种不同应用构成的负载，如下图所示。团队在一台搭载 H800 GPU 的 ubuntu 机器上使用 vLLM 框架与 LLaMA-7B 模子进行了实验。
实验终端标明，LLMSched 相较于现存的转换器最多可裁减 79% 的平均任务完成时辰。
为了进一步揣度 LLMSched 的可拓展性与合乎性，团队构建了一个绵薄的 LLM 推理模拟器，并在上头进行了多组不同任务数目的实验。如下图所示，团队展示了不同任务数目的仿真终端。
实验终端标明，LLMSched 在职意一组实验确立上均取得卓著的得益，同期跟着任务数目加多，LLMSched 的上风变得更为杰出，比如，与 Decima 比拟，在包含 100、200、300 和 400 个任务的夹杂责任负载中，LLMSched 别离裁减了 38%、65%、73% 和 75% 的平均 JCT，这展示了 LLMSched 的可推广性。
此外，团队在测试平台实验中，不才图中展示了每种次序的平均转换支出（总支出除以每种次序的调用次数，包括 BN 推理和熵狡计）。团队次序的平均转换支出略高于 FCFS、SJF 和 Fair 等概略启发式算法，但远低于 Decima 和 Carbyne 这两种复杂次序。此外，LLMSched 的平均支出关于扫数类型的责任负载皆低于 3 毫秒，这标明 LLMSched 不错在不影响平均 JCT 的情况下推论高效的及时转换。
消融联系
为了分析这两个组件的灵验性，团队进行了消融联系，创建了两种寥落的次序——LLMSched w/o BN 和 LLMSched w/o uncertainty。第一种次序奉命算法 1 中提议的交流转换决议，但使用历史任务平均捏续时辰进行测度。第二种次序使用贝叶斯蚁集更新任务捏续时辰的后验漫步，但仅推论 SRTF 计策。
上图展示了在四种类型责任负载上进行的消融联捆绑尾。团队将两种次序的平均 JCT 归一化到 LLMSched 的水平。
关于 LLMSched w/o BN，在四种类型责任负载上，平均 JCT 别离比 LLMSched 高 18%、17%、20% 和 5%。这标明 BN 阐扬了枢纽作用，因为它权臣辅导了任务捏续时辰测度的准确性。借助 BN，不错通过欺诈阶段间联系性，更正态地更新和更准确地预计非规画阶段的任务捏续时辰。
关于 LLMSched w/o uncertainty，在四种类型责任负载上，平均 JCT 别离比 LLMSched 高 21%、12%、15% 和 13%。这标明省略情味感知计策在灵验指引探索过程中至关枢纽。当处理夹杂责任负载时，其枢纽性尤为杰出，因为各阶段的省略情味减少各异权臣。关于这种责任负载，LLMSched w/o BN 的性能优于 LLMSched w/o uncertainty。
LLMSched 为 LLM 处事优化拓荒了新标的，尤其对多模块合营的 Agent 系统、LLM 推理集群资源转换具有枢纽参考价值。其省略情味量化框架可推广至其他动态任务场景，鼓吹智能转换表面与试验系统的深度和会。
论文流畅：https://arxiv.org/abs/2504.03444
一键三连「点赞」「转发」「留神心」
迎接在批驳区留住你的办法！
— 完 —
� � 点亮星标 � �
科技前沿进展逐日见开云体育(中国)官方网站
