生产级AI工程手记

1亿条768维单机跑确实吃力，瓶颈大概率在内存和索引重建上。HNSW召回快但吃内存，IVF系列省内存可nprobe调大后延迟也上来了，你这量级单机怎么调都难受。建议先看下实际内存占用和索引是否频繁重建，分片或上GPU可能比死磕参数更实在。

说实话我也纠结过这个问题，后来自己做了点小实验才稍微有点头绪。你提到的“请”字让输出更稳定，我觉得可能不是玄学——概率模型对高频共现的词对确实更敏感，比如“请”和“礼貌”在训练语料里大概率经常一起出现，相当于强化了这条路径。但你说token长度增加让注意力更集中，这个倒不一定，因为多几个字其实改变不了attention的分布范围，更多应该是语义上的引导。 我自己的经验是，系统提示里用“请”或者“