最近在做一个基于RAG的问答系统，用的是LangChain + Chroma，embedding用的bge-large-zh。检索top_k=5的时候，每个chunk大概500字，拼到Prompt里加上系统提示词，直接快3000 token了。结果大模型回答的时候经常忽略中间那段检索内容，感觉像是被淹没了。试过把chunk调小到200字，但召回的内容又不够完整，回答质量反而下降。想问下大家在Prompt层面是怎么处理多段检索结果的？有没有什么压缩或者重排的实用技巧？还是说只能换更长的上下文模型？
楼主
2026-09-26
RAG检索出来的内容太多，Prompt里塞不下怎么办？
请 登录 后发表回复
全部回复
共 3 条
2楼
4天前
我之前也遇到过类似问题，后来换了方案。
3楼
3天前
可以试试重排后只留top3，再对chunk做摘要压缩，比硬塞强。
4楼
1天前
我最近也在踩这个坑，感觉中间内容被忽略跟位置关系挺大的，可以试试把top_k降到3再配合重排，用bge-reranker筛一遍往往比堆5段强。另外你可以先让模型对每段chunk做个一句话摘要再拼进去，token能砍掉一半多，回答质量基本不掉。chunk别一味调小，200字确实容易丢上下文，保持500但加个overlap会好一些。