不熬夜的后端日常

我也遇到过这问题，后面发现光靠系统提示词确实不够稳，尤其是RAG检索出来的内容一多，模型注意力就散了。我的做法是把格式要求拆成两步：先让它正常生成答案，再用一个轻量的后处理prompt专门做格式规整，成功率反而高不少。另外few-shot里示例别放太多，两三个就够，太多反而让模型学偏。温度0.2其实没啥问题，关键还是上下文里干扰信息太多，可以考虑在拼接时加个明确的分隔标记。

入门这事我觉得挺难定义的，我自己踩了几个月坑的感受是，能稳定复现出你想要的效果就算摸到门槛了，不是会写几个"你是一个xx专家"这种模板就叫入门。真正开始有点感觉，是我发现自己能预判模型大概会怎么跑偏，然后提前在prompt里把坑堵上。进阶路线我倒是有点想法，光调措辞其实很快就到瓶颈了，后面更吃的是对任务本身的拆解能力，比如把一个大任务拆成几步、每步给什么上下文、什么时候该让它先输出推理过程。另外强

“相关但不精准”这个描述太典型了，八成是chunk把预防和排查的段落切到一起了，embedding再强也救不回来。建议先别急着换模型，拿几条badcase把召回片段打印出来看看边界切在哪，大概率会发现语义被拦腰截断。按语义段落切+适当加大overlap试试，成本比换模型低多了。rerank确实能兜底，但那是精排的事，召回阶段漏了该有的片段，重排也变不出来。

有没有更详细的教程推荐？

几千到几万这个量级其实Chroma完全够用，速度下降可能跟你没建索引或者查询方式有关，先排查下这个再考虑换。Milvus单机用docker-compose跑其实没那么重，但确实有点杀鸡用牛刀的感觉。Qdrant我用过一阵子，单机部署比Milvus轻不少，rust写的性能也不错，过滤查询挺顺手，可以试试。你这个规模我觉得Qdrant或者干脆把Chroma调优一下都行，不用急着上Milvus。

你观察到的显存爬升很可能是KV cache碎片化加上vLLM默认不会主动回收多轮请求间残留的block导致的，尤其tool call场景每次都要重新prefill一大段历史，cache复用得不好就容易涨。建议试试开`--enable-prefix-caching`，再把`--max-num-seqs`调小点，看看曲线能不能压住。另外确认下你的Agent框架是不是每轮都把完整工具返回塞进prompt

我前段时间也踩过一模一样的坑，调LLM demo的时候看别人说compile能白嫖性能就上了，结果首次编译等得我怀疑人生，而且有几个自定义算子直接报不支持，灰溜溜回退eager。后来我的体会是，做应用开发真没必要死磕这个，它更像是给框架层或者极致压榨性能的人准备的，普通业务里vLLM这种推理引擎已经把batch和显存调度做得很好了，收益比你自己折腾compile稳得多。torch.compile真

学到了，感谢分享！

我之前也遇到过类似问题，后来换了方案。

写得挺好，建议补充一些性能数据。

这个思路不错，收藏了。

刚入门，这个对我帮助很大。

我之前也遇到过类似问题，后来换了方案。

两卡A100还OOM，八成是KV cache没限好，试试调低gpu_memory_utilization和max_model_len。

我踩过这个坑，光说“严格基于原文”确实不够。我的经验是给每个chunk加编号，然后要求模型引用时带上编号，比如“根据[2]”，这样它缝合不同片段时自己就会别扭。另外在末尾加一句“若上下文未提及，必须回答‘未找到相关信息’”，比单纯说“别瞎编”管用很多。不同模型确实有差异，开源模型对指令跟随弱一些，可以把约束拆成几步小任务，别一股脑塞。

256块确实太碎了，语义容易被切散。建议先上个小reranker兜底，bge-reranker-base就挺轻量，配合MCP调起来也不费劲。

试试给query和文档分别加个简短指令前缀，bge对这种跨部门口语问法确实容易跑偏。

先看看MCP server能不能单独跑起来，能跑通再查Claude那边，unexpected EOF八成是进程根本没起来或者崩了。

7B模型做客服问答跑题挺常见的，尤其是你往prompt里塞大段知识库的时候，模型确实容易在中间部分“走神”，这跟长上下文里的信息衰减有关系。我的经验是别把知识库全文硬灌进去，先做一层检索，只把最相关的两三段塞进prompt，命中率会高很多。系统提示词最好用清晰的分段结构，比如角色、任务边界、知识库、输出格式各自独立，但别用太花的markdown，有些模型对符号敏感反而会乱。温度确实影响遵循度，客服

几万条文档其实没必要上Milvus，etcd那套运维确实折腾。召回率差大概率不是库的问题，先看看embedding模型和切分策略，Chroma在这个量级完全够用。Qdrant比Milvus轻不少，单机docker就能跑，过滤和混合检索也顺手，可以试试。真要纠结的话，把同一批query在几个库上跑一遍recall对比，比拍脑袋选靠谱多了。