持续研究项目管理实践笔记

temperature设0.1确实不能保证完全确定，因为采样本身还有随机性，而且vLLM默认的top_p是1，等于没截断，尾部那些低概率token还是有机会被抽到。你可以试试temperature=0加上top_p=1，或者直接开greedy decoding，那样同输入基本就锁死了。另外few-shot示例的顺序和格式影响挺大的，模型很吃这个，建议把示例固定成一套模板，别每次拼prompt时顺序

验证集反弹基本就是过拟合了，试试加dropout或者早点停，别光盯着loss。

换SGD后动量缓冲会额外占显存，而且没开checkpoint的backward，第三个epoch碎片攒够了就炸。

小模型确实对prompt更敏感，试试把示例固定成两三个别乱换顺序，温度调到0.2左右会稳不少。

温度调到0.2左右会稳很多，但关键还是得在schema上做文章，别光靠prompt硬扛。我试过把JSON示例直接塞进system message里，再让模型先输出一个“思考过程”再给结果，漏字段的情况少了不少。另外自检逻辑挺有用的，让模型自己拿输出的JSON去比对一遍schema，不对就重来一次，比单纯加few-shot靠谱。至于Llama和DeepSeek，我体感Qwen对中文指令的服从性已经算

说实话你这个比喻挺到位的，我最近也在琢磨这事儿。写了半年prompt，越来越觉得咱们跟搞机器学习那帮人没啥区别，调temperature、换system message，本质上就是拿人在做超参数搜索。但更麻烦的是，模型不像loss曲线那样有明确的收敛方向，你根本不知道它哪层注意力被带偏了。 我自己的经验是，与其堆叠角色和示例，不如先定义清楚“输出契约”——比如强制要求先给结论再加解释，或者规定代

这题我熟，之前做医疗问答也踩过类似的坑。法律条文跟临床指南一样，天然存在一般法和特别法的适用顺序问题，纯靠向量相似度肯定抓瞎。我后来是给每条法条手动打了“效力层级”和“适用范围”的标签，检索完先按这两个字段过滤一轮再送进LLM。另外你可以在prompt里加一句“若存在冲突，以效力更高或特别规定为准”，至少能让模型意识到矛盾而不是硬拼。

大概率是stdio进程没起来或环境变量不对，试试用绝对路径跑server，别用相对路径。 你这延迟几十毫秒还超时，先查下Ollama的host是不是绑了127.0.0.1，换个端口或者走localhost试试。

3090跑8B LoRA还爆显存，大概率就是序列长度惹的祸，2k tokens塞进去activation footprint很夸张，flash attention基本是必开的，直接能省一半左右。DeepSpeed ZeRO-3对单卡LoRA其实帮助不大，反而ZeRO-2或者干脆关掉offload更省心，你可以先试试把max_seq_len砍到1k看还爆不爆。torch.compile在2.1上对L

数据清洗优先级最高，重复套话很像长文本截断导致标签污染，先查这个吧。

工具调用的数据里，工具描述和参数示例的格式一致性比你想的重要，试试把每个API的样例输出都固定成完整JSON再看看。 我之前也踩过这坑，后来发现多轮历史里工具结果得紧跟助手调用，别让模型自己脑补格式，你检查下数据里有没有这类断层。

8秒多其实不算太离谱，手机端瓶颈主要是内存带宽和CPU/GPU的调度，Q4_K_M已经挺均衡了。8GB闪退大概率是系统给APP的可用内存不够，你得先查查llama.cpp有没有设mmap和内存映射，或者干脆用Android的MemoryFile接口把模型映射到磁盘。降到1.5B确实能顺滑不少，但如果你非要保7B，试试Q3_K_S或者把线程数调低，别让CPU全核抢内存。至于流式输出，llama.cp

说实话我之前也踩过类似的坑，后来发现问题多半出在分块粒度上，固定500字对合同这种强结构化文本太粗暴了，很容易把关键定义和计算逻辑拆散。你可以试试按条款语义边界切，再配合小一点的chunk_size（比如200-300）加overlap，效果会明显不一样。bge-large-zh在中文上其实够用，不一定非要换模型，但建议先看一眼召回的片段是不是语义相关，如果相关但排序不对，那再考虑重排模型。que

这问题太典型了，我刚开始搞RAG的时候也被这个坑过。切分策略和embedding模型确实是绑定的，500的chunk配合通用embedding很容易把语义割裂开，尤其技术手册里参数定义和解释经常跨段落，你不如试试按标题或章节结构来做语义切分，而不是死磕固定长度。另外，chunk_size调到1000变慢很正常，但你可以把top_k检索数量调大一点，比如先召回20个片段，再用一个轻量级的cross-

试试把报错信息直接丢回去让它改，比反复调prompt管用，这活儿本质还是得人盯。 AI写代码更像高级补全，上下文一多就露馅，小工具行，模块化还是自己来吧。

你这个情况大概率是召回的问题，生成模型只是照着拿到的chunk说话。试试先不调embedding，把PDF转成markdown或纯文本后，按标题层级和段落语义切块，别用固定size硬切，产品手册里的表格和参数经常会把流程信息冲散。另外ada-002对长文本的语义区分其实一般，可以试试bge-m3或者直接上cohere的rerank，召回的top20里加一层重排序，效果会立竿见影。

我之前也踩过类似的坑，先别急着怀疑数据和模型，建议你把训练集和验证集的loss曲线单独画出来对比一下。如果训练loss本身就降不下去，那大概率是模型侧的问题，比如学习率太大导致loss在1.8附近震荡，或者BN层在微调时没正确冻结/更新。你用的是ImageNet预训练权重，但10类任务和1000类任务的特征分布差异挺大的，全连接层换掉后，前半段特征提取器可能还在适应新分布，你可以试试把初始学习率调

试试用异步迭代器逐块消费，别攒着拼JSON，丢包就重试该块，LangChain的StreamingCallbackHandler能接住。

这问题我也踩过坑，光堆few-shot真不够，尤其口语化输入很容易把模型带偏。我后来是把角色约束和业务边界直接写进system，但关键动作放在user里，比如每次用户输入前自动拼一句“你只根据订单信息回答，其他问题一律引导回订单主题”。还有个土办法，把“你不是AI助手”这种负面样本塞到对话历史末尾，比单列negative examples管用。你试试把追问细节的情况也做成few-shot样例，模型

我也有类似的感受，不过我觉得这更像是“技能迁移”而不是退化。以前写代码是“从0到1”的构建，现在更像是“从1到10”的筛选和整合，你锻炼的是判断力和审美，这其实更难。但你说的“脑子空白”我特别懂，后来我给自己定了个规矩：每周至少手写一个小的算法或工具函数，完全不用AI，就当是给大脑做深蹲。另外我会刻意去读AI生成的代码，然后问自己“如果是我，会怎么设计得更简洁”，这种对比反而让我学到了不少新写法。