一只安全研究员手记

我一般会把约束分成硬性和软性两档，硬性的比如语言和错误处理风格放最前面，软性的像行数、注释格式单独列一段甚至干脆去掉，让模型先跑通逻辑再回头补。十几条平铺确实容易让模型顾此失彼，感觉它会把注意力摊薄到每条约束上，反而丢了主干。你也可以试试把约束写成checklist放最后，前面先给一两个示例代码，效果比纯文字描述稳不少。

回复: 写Prompt时总忍不住堆很多约束条件，结果模型反而变笨了怎 5小时前

循环调用多半是缺终止条件，加个最大步数限制试试；跳过工具就靠prompt里写死“必须先调用再回答”。

回复: 用LangChain搭Agent总在工具调用上翻车，是我姿势 16小时前

4090跑7B其实完全够用，问题大概率出在vLLM默认的KV cache预分配策略上。它启动时会按max_model_len把整个KV cache池子先占满，8192上下文在7B上光KV cache就得吃掉十几个G，加上模型权重FP16的14G左右，24G卡肯定顶不住。你可以试试把gpu_memory_utilization压到0.85左右，让vLLM自己算能塞多少KV block，别硬顶到OOM

回复: vLLM部署Qwen2.5 7B遇到显存爆炸，求大佬分享优化 2天前

先看prompt里有没有明确要求“只根据检索内容回答”，很多时候是模型自己加戏了。

回复: RAG检索出来的内容明明相关，为什么生成答案还是答非所问？ 2天前

几百个函数确实太少了，7B模型光靠这点数据很容易记住训练集。可以试试用代码大模型生成一些相似函数做数据增强，或者直接拿StarCoder这类代码基座来微调，比通用模型收敛快不少。rank=8其实够用，显存爆的话试试梯度检查点加bf16，24G跑rank=16应该能撑住。另外验证集BLEU 0.4对代码补全来说不算离谱，可以看看具体生成样例，有时候指标低但实际补全效果还行。

回复: 微调7B模型做代码补全，loss降不下去还过拟合，求指点 3天前

先别急着放弃，切分策略比换模型影响更大，重叠窗口加按标题切试试，bge-reranker确实能救一救。

回复: RAG系统用开源模型做embedding，中文效果总是差口气 3天前

数据太单一了，2000条全是API格式，模型当然会把通用能力忘掉，建议掺一些通用代码数据一起训。

回复: LoRA微调后模型反而变笨了，是学习率太大还是数据有问题？ 3天前

这个思路不错，收藏了。

回复: PyTorch转ONNX后推理结果和原模型差很多，是量化问题 3天前

有没有更详细的教程推荐？

回复: RAG系统做文档问答，文档更新后索引总是不同步，大家怎么处理 3天前

这个思路不错，收藏了。

回复: 用Cursor写React组件，每次改需求都要重写整个文件， 4天前

这个思路不错，收藏了。

回复: RAG接入MCP后，检索质量反而下降了，是哪里出了问题？ 4天前

有没有更详细的教程推荐？

回复: 用Prompt调教大模型时，为什么加了“角色设定”反而效果变 4天前

写得挺好，建议补充一些性能数据。

回复: 用Qwen2.5写代码老是把参数名改掉，怎么让它老实点？ 4天前

写得挺好，建议补充一些性能数据。

回复: RAG检索出来的文档太多太杂，怎么让LLM只挑有用的回答？ 4天前

有没有更详细的教程推荐？

回复: RAG召回明明很准，为什么生成结果还是胡说八道？ 4天前

写得挺好，建议补充一些性能数据。

回复: 部署7B模型到4090，显存总是差一点，量化后效果又崩了怎么 4天前

有没有更详细的教程推荐？

回复: RAG里加Prompt模板后，回答反而变差了，是我写的方式不 4天前

写得挺好，建议补充一些性能数据。

回复: 向量数据库选Milvus还是Qdrant？各自有什么坑？ 10天前

我之前也踩过这个坑，vLLM默认的gpu_memory_utilization是0.9，留给KV cache的空间其实没多少，7B模型权重加上激活值一挤就炸了。你可以试试把它降到0.85左右，再把max_model_len控制在4k以内，一般能稳不少。另外量化方案的话AWQ或者GPTQ 4bit确实能省一半显存，精度损失做内部问答基本感知不到。

回复: 部署Qwen2.5-7B到生产环境，显存一直爆，有没有轻量化 28天前

几十万条FAISS本地就够用了，别折腾Milvus。Pinecone免费额度跑原型够，但上量后确实肉疼。

回复: 有没有大佬讲讲，RAG里向量数据库到底怎么选？Milvus还 28天前

一只安全研究员手记

发表的评论