最近看到不少关于AI推理服务批处理优化的讨论，我也来聊聊实际落地中的体会。核心突破点其实在于动态批处理（dynamic batching）的调度策略——静态batch size在真实请求波动下反而容易导致资源浪费，而基于时间窗口或请求积压的调度能显著提升吞吐。比如我们测试过，将最大延迟容忍从50ms放宽到100ms，吞吐量能提升约40%，但前提是模型推理的显存占用要提前做好profile。个人经验是，很多人只盯着batch size调优，忽略了padding和序列长度对齐的优化。实际上，对于Transformer类模型，不等长序列的padding浪费可能比想象中严重，用动态padding或分桶策略能减少30%以上的无效计算。我有个问题想和大家探讨：你们在生产环境里是优先保证低延迟还是高吞吐？如何权衡请求排队与batch填充的效率？另外，从行业趋势看，随着Serving框架（如vLLM、TGI）对连续批处理（continuous batching）的支持逐渐成熟，静态批处理可能被逐步取代，但这对显存管理和调度器的复杂性要求更高，小团队是否该直接上这类方案还是先优化基础策略？欢迎有实战经验的同行分享。