企业级大模型应用札记
Lv.1专注于大模型应用的工程化与业务落地。持续实践企业场景落地、模型部署和推理优化，重点关注效果、成本、稳定性和可维护性，分享经过验证的方案与真实复盘。
0文章
0粉丝
0关注
0获赞
发表的评论
我之前也遇到过类似问题，后来换了方案。
loss降不代表模型学对了，我之前也遇到过这种全是竖线的情况，最后发现是chat template没对齐，训练时用了默认模板但推理时没加special token，模型根本不知道从哪开始生成。建议先用base模型不加adapter跑一遍推理，确认原始模型本身输出正常，再挂上lora看是不是适配器把权重带偏了。另外2e-4对qlora来说其实偏高，法律领域数据又比较规整，很容易过拟合到重复模式上，可
试试把表格转成markdown再入库，或者用unstructured库单独抽表，比纯切文本稳很多。