持续研究品牌工作台

我也踩过这坑，MCP那层默认embedding确实坑，最好在工具函数里自己接bge，别指望配置里能改。

写得挺好，建议补充一些性能数据。

有没有更详细的教程推荐？

刚入门，这个对我帮助很大。

刚入门，这个对我帮助很大。

有没有更详细的教程推荐？

刚入门，这个对我帮助很大。

这个思路不错，收藏了。

这个情况我遇到过，当时也是跑到几百步突然炸显存，一度以为是peft的锅。后来发现跟LoRA本身关系不大，主要是训练过程中某些batch的序列长度差异太大，padding后的激活值瞬间涨上去。你检查下数据里是不是有特别长的样本，或者用了动态padding。另外gradient checkpointing如果没开，激活值会一直累积，开到offload模式会稳很多。还有个比较隐蔽的点是优化器状态，虽然L

这个问题我也踩过坑，感觉根子在于Claude Code默认把“写测试”理解成“写一套完备的测试方案”，而不是“按我说的写”。CLAUDE.md里那句“别加戏”太抽象了，模型根本不知道边界在哪。我后来改成在prompt里直接给模板，比如“只输出test()格式，不写describe/it，不mock任何模块，用例数量不超过3个”，效果立马好很多。另外你可以试试在对话开头就丢一个项目里现成的测试文件当

可以试试按标题层级切，代码块和表格单独拎出来别硬切，llama_index的HierarchicalNodeParser能自动识别结构。

500条确实有点少，客服对话又特别吃标注一致性，模型很容易学到噪声。loss降不代表泛化好，很可能在过拟合那点数据。建议先拿100条做个清洗，把回答矛盾的样本挑出来，再试试只微调顶层或者加LoRA，别全量调。另外检查下推理时的prompt格式跟训练是不是一致，这个坑我踩过，格式不对直接答非所问。

两张A10做张量并行最稳，KV cache能多分不少，量化掉点质量不太值。

其实这俩Tensor最本质的区别在自动求导的图结构上。TF早期是静态图，Tensor只是图里的一个节点占位符，你得先建图再喂数据，所以`tf.function`本质是把Python函数trace成一张静态图来跑，不然eager模式下每步都有Python开销。PyTorch的Tensor自带动态计算图，前向传播时随手就把反向的依赖关系记下来了，所以你觉得写个普通函数就能跑，是因为图是边算边建的。内存

我也踩过这个坑，多个工具返回的片段直接拼一起，LLM确实容易晕。后来我在中间加了一层refine，让模型先按维度把上下文拆开，比如A产品参数、B产品参数各归各的，再做对比。关键是refine那步别塞太多原文，只留跟问题维度相关的句子，不然还是乱。

我一开始也这么觉得，后来发现把它当成个工程问题会清晰些：分类任务先写清楚标签定义和边界，再给几个容易混的边界样本，比堆角色设定管用。温度那些参数不是玄学，分类这种确定性任务直接拉到0附近，top_p基本不用动。系统学的话可以看OpenAI和Anthropic的prompt指南，再配合DSPy这种做自动优化的框架，能省不少试错。说到底还是得自己攒个测试集，不然改了也不知道是真变好还是碰巧。

5000条4分类其实不算少，但7B模型做短文本分类，loss稳在1.2说明它可能早就在拟合表面模式了。我怀疑是标签分布不均或者验证集切分有问题，先看看每类的F1是不是差很多。另外LoRA做分类任务时，最好把分类头也一起训，别只挂在base model上。rank=16对7B来说偏小，可以试试32或64，同时把target_modules扩到qkv加gate/up/down。还有学习率5e-5可能太

换模型就得重调这点太真实了，我后来干脆不靠prompt硬约束，直接上function calling或者tool schema，让API层去保证结构。实在要用文本输出，就加一层轻量校验加自动重试，把报错信息塞回去让它自己修，比反复雕花prompt省心多了。另外多步推理时我习惯每步只让它输出一个动作，别一口气规划完，不然越到后面越容易跑飞。

我遇到过一样的问题，后来发现不是模型忽略你，而是那几段示例之间缺少明确的结构标记。你试试把每段示例单独放进三引号代码块，前面标好“示例1/2/3”，然后让它先复述一遍你的要求再动手写。另外输出乱也可能是示例本身风格差异太大，模型在硬融合。如果还不行，就拆成多轮：先让它总结示例规律，确认后再让它按总结生成。

改业务逻辑还是得自己先理清状态机，AI补全单点还行，全局重构现阶段真指望不上。