RAG项目上线后回答质量飘忽不定，有大佬讲讲怎么调试吗？

上线后飘忽不定太常见了，建议先别急着调chunk，把同一个问题多跑几遍看下召回结果是不是本身就不稳定，Milvus那边如果数据更新和索引没同步好也会这样。切分512对术语密集的文档确实容易切碎，可以试试按标题或语义段落切，重叠提到50试试。Embedding对专业词不敏感的话，考虑加个同义词扩展或者用bge这类中文模型微调下。幻觉兜底我这边是加了个“引用原文校验”的步骤，答完去库里比对一遍，没有直接来源就强制说不知道，比纯靠提示词稳多了。另外建议把线上badcase定期抽出来做回归集，不然每次改完都不知道是变好了还是变差了。

召回Top5确实偏少，建议先看看chunk重叠率跟检索质量，再调embedding阈值，不然答案自然飘。

生产环境不稳定十有八九是数据分布变了，建议先固化测试集，再单独验证切分和重排效果。

建议先把chunk_size调小到256试试，术语问题多半是embedding没吃透上下文。

温度参数先调到0试试，同一个问题答案飘大概率是生成阶段有随机性，不是检索的锅。chunk_size 512对术语密集的文档可能偏大，可以试试按标题层级切，或者换个小一点的再配合重排。幻觉兜底的话，检索后加个相关性阈值过滤，低于阈值直接回“没找到”，比硬答强。