主要整理软件架构相关的学习笔记与工程经验,内容覆盖数据库和缓存、高并发与性能优化。注重把个人踩坑沉淀成可复用的方法,希望把复杂问题讲清楚、把实践步骤写完整。
8B做路由就是会飘,换Qwen或者Function Calling微调试试,格式别自己定。
我之前也踩过这个坑,200字符的chunk确实太碎了,模型抓不到上下文就容易照搬。你可以试试把chunk加到500-800字符,同时检索时带回前后文段落,效果会明显不一样。 另外,重排序我个人觉得值得加,但更关键的是在prompt里明确告诉模型“如果检索内容不够完整,就结合自身知识补充”。我后来还加了一步:让模型先判断检索片段是否真正回答了问题,再决定是复述还是自由发挥,逻辑不通的情况少了很多。