持续研究数字化随身笔记

先看看数据里有没有大量重复或超短函数，这个最容易被忽略。

这个问题我也遇到过，感觉根子上是两个模型对“好代码”的默认理解就不一样，项目规范文档能约束一部分，但没法完全抹平。建议在仓库里放一个 CLAUDE.md 和 copilot-instructions.md，把防御性判断、边界条件处理这些硬性要求写清楚，让两边都读同一份规则。另外 Claude Code 那边可以在 prompt 里明确要求“保留所有边界检查，别做简化”，效果会好不少。团队统一工具确

学到了，感谢分享！

刚入门，这个对我帮助很大。

这个思路不错，收藏了。

写得挺好，建议补充一些性能数据。

有没有更详细的教程推荐？

写得挺好，建议补充一些性能数据。

这个坑我也踩过，光靠提示词约束真的不太稳，模型有时候就是忍不住想解释两句。我后来改成在MCP服务器返回结果时加一层结构化输出校验，配合tool的schema强制约束，效果好很多。另外Claude对系统提示里的格式要求服从度比用户消息高，可以把JSON约束挪到system prompt里试试。实在不行就直接用正则兜底，别跟它较劲。

几万条文档真不算多，Chroma完全能撑住，我线上跑过五万左右chunk的FAQ库，响应挺稳的。等真到扩容那步，再迁Milvus也不迟，embedding重新灌一遍的事。Pinecone个人玩成本不划算，除非你完全不想碰运维，不然本地Chroma加个持久化就够用了。

这个问题我踩过坑，后来发现关键不是提示词写多细，而是别把“人设”和“任务”混在一起写。你越强调“你是热情助手”，它就越爱加戏，不如直接给几个干净的一问一答示例，让它照着格式走。负面指令确实鸡肋，模型对“不要”经常选择性失明，换成明确的输出模板反而稳。我现在系统提示词只留身份和硬规则，寒暄这种交给few-shot去校准，效果比堆一大段角色描述好很多。

我基本不调prompt，直接描述需求，不行就换个说法重试，很多时候是模型状态问题不是措辞问题。那种堆一堆“仔细考虑边界”的反而容易触发它过度发挥，业务代码要的是简单直接。我的习惯是先把需求拆小，一次只让它写一个函数，边界case自己补测试。真要说技巧，给个具体输入输出示例比写一堆形容词管用多了。

你这个情况挺典型的，我一开始也踩过类似的坑。4090跑Agent确实有点紧，尤其你还开着工具调用，多轮下来上下文膨胀得飞快。4bit量化只能解决模型权重那块，KV cache和中间激活才是后面吃显存的大头。你可以试试限制max_model_len，别让它默认拉满，Agent场景其实不需要那么长的窗口。工具返回的结果一定要截断或者做摘要再塞回去，不然一个API返回几千token，几轮就炸了。另外vL

我也有同感，那些“防御式编程”的提示词真不一定好使，反而容易让AI加戏。日常写业务代码我基本就丢个函数签名和输入输出示例，错了再针对性补一句“边界情况再检查下”。与其花十分钟雕prompt，不如直接让它跑测试用例，看哪挂了再调。偶尔卡壳时加个“先想清楚再写”倒是有点用，但大部分时候就是试错法最省心。

loss降不代表模型学到的是你想要的东西，尤其分类任务里交叉熵下降可能只是模型在拟合标签分布。5000条里如果“退款”样本远多于“退换货”，模型会倾向预测多数类，看着loss低但边界很糊。建议先看混淆矩阵和每类召回，再查下学习率是不是偏大，LoRA的2e-4对8B有时确实激进，试试1e-4或者加warmup。另外alpha调大更差，说明可能不是容量不够，而是优化方向跑偏了。

3080 10G跑7B的Q4_K_M其实挺紧的，别忘了KV cache本身也吃显存，context开2048以上很容易顶满。你可以先把gpu layers拉满，再开flash attention试试，速度应该能好不少。量化从Q4到Q8主要影响显存和加载，速度上Q4通常更快，Q5、Q8会更吃资源但质量略好，10G卡还是老老实实Q4吧。

我之前也踩过这个坑，后来把context拆成带编号的片段，每个片段前加一句“来源X：”，然后在指令里明确要求引用时标出来源编号，缝合问题少了很多。另外“如果原文没有就直说不知道”这句一定要写死，不能只靠“请严格基于”，模型会当耳旁风。不同模型确实吃不同措辞，GPT-4对结构化格式更敏感，开源模型反而喜欢简短直接的指令，得分开调。

JSON格式确实容易让模型顾此失彼，我一般先让它专注分析，最后再单独转格式。

我之前也踩过这个坑，后来发现微调LLM对检索召回率基本没影响，因为检索是embedding模型的事，你调LLM它又管不着。真正该微调的是embedding或者reranker，让它们更懂你领域的语义匹配。至于LLM微调，更多是让它学会在噪音里挑重点回答，但1000条数据量确实偏少，而且LoRA只调attention的话效果更不明显。你可以试试把检索到的chunk加个序号标记再拼进prompt，这个

PDF技术手册确实是重灾区，表格和正文混着切肯定不行，RecursiveSplitter默认按字符切根本不认表格结构。我之前也踩过这个坑，后来把PDF先用unstructured或者pymupdf按元素类型拆开，表格单独走一遍摘要再入向量库，正文才用splitter切。bge-small本身对中文短文本还行，但500的chunk对技术手册来说太碎了，可以试试800到1000但配合按标题层级切。另外