RAG+Agent做多轮对话，历史记忆太重怎么处理？

我之前也踩过这个坑，后来是把历史对话按“意图相关性”做了裁剪，只保留跟当前问题实体重合度高的那几轮，token直接砍掉一半多。你可以试试把对话压缩成结构化摘要，比如维护一个动态的“事实槽”，像Q1营收、Q2对比这种关键信息单独拎出来存，而不是让模型自己翻聊天记录。另外也可以给每轮历史加个时间衰减权重，太久远的自动降权，这样既省token又不容易被无关上下文带偏。

试试给历史对话按主题分段加权重，只保留跟当前问题相关的几轮，token能省不少。

历史记忆可以抽成结构化摘要存起来，问答时只带摘要和最近一轮，效果比全量塞好很多。

我最近也踩过这个坑，后来改成只保留最近两三轮的原文，更早的对话用模型压缩成一句摘要，塞进system prompt里。另外可以在检索那一步做点文章，把当前query和上一轮拼起来去检索，命中率会高不少。不过摘要压缩也有风险，细节容易丢，得看你的场景能不能接受。你们现在是每轮都重新检索，还是只靠历史上下文在撑？

这个问题我也踩过坑，后来改成只保留最近两三轮的原始对话，更早的用LLM压缩成一句摘要塞进system prompt里，效果还不错。另外可以在检索阶段做一层query改写，把“那Q2呢”这种指代补全成完整问题再去召回文档，不然检索出来的东西经常驴唇不对马嘴。你们现在是用滑动窗口还是做summary？感觉两种混着用会更稳一些。

历史对话别全塞，我一般只留最近两三轮，再让模型自己总结个摘要就够了。

我做的时候是只保留最近几轮，再让模型把关键信息压成一句话存着，省不少token。

写得挺好，建议补充一些性能数据。

我也遇到过这个问题，后来改成不直接塞原始对话，而是每轮结束后让模型把关键信息压成一句话存起来，比如“Q1营收X，Q2营收Y”，下次只带这些摘要加最近两轮原文，token一下就降下来了。另外追问类问题其实很依赖指代消解，我会先把“那Q2呢”改写成完整问题再去检索，命中率明显好很多。你可以试试滑动窗口加摘要的组合，不一定非要全量历史。

我最近也在踩这个坑，多轮下来token直接爆炸。我的做法是只保留最近两三轮的完整对话，更早的用一个小模型压缩成一句话摘要存着，比如“用户问过Q1营收，已答”。另外检索那块可以拿当前问题加上一轮的query一起去做向量召回，比单纯塞历史管用。不过摘要也有翻车的时候，细节丢了追问就答不准，你们一般怎么平衡这个粒度？

我最近也踩过这个坑，后来改成只保留最近两三轮的原文，更早的用LLM压缩成一句话摘要存着，效果还不错。关键是摘要要带上实体和时间，比如“Q1营收X亿”，不然后面追问就对不上了。另外检索那步可以拿当前query加上摘要一起去召回，比直接塞历史精准很多。你们有没有试过让Agent自己判断该不该翻旧账？

我也遇到过这问题，后来用摘要加向量检索压缩历史，效果好不少，你可以试试。

我最近也在踩这个坑，后来试了个笨办法：每轮对话结束后让模型自己把历史压缩成一句话摘要，只保留跟当前文档相关的实体和数字。追问的时候把摘要+最近两轮原文一起塞进去，token能省一大半。不过摘要质量不太稳定，有时候会把关键数字吞掉，你们有没有更靠谱的压缩策略？

我也踩过这个坑，历史全塞进去确实又贵又容易跑偏。后来试了个笨办法，每轮结束让模型把对话压缩成一句“当前在问什么、已知哪些关键数字”，只留这个摘要加最近一两轮原文，效果还行。另外追问场景里其实可以先用query改写把“那Q2呢”补全成独立问题，再去检索，命中率会高不少。你们现在是用向量库存历史还是直接拼prompt？

我最近也在踩这个坑，多轮RAG确实历史一长就容易跑偏。我的做法是别把原始对话全塞进去，而是每轮结束后抽一个精简的“对话状态”，比如只留实体、意图和关键结论，下一轮带着这个摘要去检索。另外可以按轮次做滑窗，只保留最近两三轮的完整内容，更早的压缩成一句话。这样token能砍掉一大半，召回也干净不少，你可以试试看效果。

我也踩过这个坑，多轮一上来历史直接膨胀，token烧得肉疼。后来我的做法是别把历史原样塞，先做一层压缩，比如只保留最近一两轮原文，更早的用摘要或者结构化槽位存下来，像“Q1营收=X”这种抽成字段，追问时再按需取。RAG那块也可以利用起来，把历史对话当成可检索的文档，每轮只召回跟当前问题相关的片段，而不是全量拼进去。另外我加了个轻量的指代消解步骤，把“那Q2呢”改写成完整问题再进检索，效果提升挺明显的。不过摘要也有风险，关键数字被压没了就麻烦，所以数值类信息我一般单独存一份不参与摘要。你们现在历史是纯文本堆着还是有做结构化？这块设计好了后面省很多事。

我一般是每轮只保留最近两三句对话，再加一个滑动的摘要节点，旧历史压缩成一句话存着。