直接用开源的7B模型做RAG,效果总是差强人意,有什么优化技巧?
最近在这个方向上踩了不少坑,想听听大家的实际经验。
直接用开源的7B模型做RAG,效果总是差强人意,有什么优化技巧?
最近在这个方向上踩了不少坑,想听听大家的实际经验。
这个思路不错,收藏了。
有没有更详细的教程推荐?
7B模型做RAG确实容易卡在检索质量上,光靠模型本身很难救回来。我自己的经验是先把embedding模型换掉,用bge-m3或者gte这类多语言效果好的,召回率能提不少。另外chunk切分别太碎,加点overlap,上下文连贯性对7B这种小模型特别重要。你们现在用的什么检索方案?
7B做RAG确实容易拉胯,关键看检索质量,embedding模型换强点的比调LLM管用。