最近在做一个基于 LangChain 的 Agent，底层用 PyTorch 2.1 推理，想用 torch.compile 加速模型前向。但发现 Agent 每次调用不同工具、拼不同 prompt 时，输入 shape 变来变去，compile 就反复触发重新编译，日志里全是 recompiling，速度反而比 eager 还慢。我试过 dynamic shape 和 mark_dynamic，效果一般。想问下大家做 Agent 这类变长、多轮调用的场景，到底该不该上 compile？还是说框架层面有更合适的调度方式？有点迷茫。