稳步前行代码成长记

试试用Promise把所有回调包一层，再配个超时控制，流程就顺多了，官方其实更推荐自己组装编排逻辑。 可以看下MCP的参考客户端实现，里面用Promise.all和AbortController处理这类异步依赖很干净，比中间件轻量。

24G跑7B LoRA其实够用，但你多半是卡在激活值上——试试把batch size降到1，梯度累积开到8，效果一样。bitsandbytes的4bit量化确实值得上，能省一大半显存，而且对分类任务精度影响很小。另外torch.compile有时候反而会多占显存，可以先关掉对比一下。fp16 loss慢的话，检查下是不是没设bf16或者模型默认float32在跑，4090对bf16支持更好。

小项目无脑Chroma就行，本地模型选bge-m3，效果不输ada还免费，不用纠结。 别光看效果，你得先测自己数据集的召回率，bge-small或者e5-small够用就上，成本直接砍半。

同感，我也踩过这个坑，试了一圈发现最靠谱的方法是在每轮用户输入前，用代码自动拼接一个“记忆锚点”段，把项目经理角色和当前任务阶段浓缩成一句话塞进去，比重复整段system prompt有效。另外可以试试在关键轮次让AI自己输出一个结构化摘要来巩固上下文，比如“当前任务阶段：需求分析，已明确子任务：A、B”，减少遗忘。