用开源模型搭RAG，召回效果差得离谱，是chunk切分问题还是embedding选错了？
最近在用本地部署的Qwen2.5-7B搭一个简单的RAG问答系统，文档主要是技术手册和API文档，大概几百页。我用的bge-large-zh-v1.5做embedding，chunk大小设的512，重叠50。结果测试时发现，稍微换个问法，比如问“怎么设置超时时间”和“请求超时怎么配”，召回的结果完全不一样，经常召不到关键段落。我试过调chunk大小和重叠，效果提升不明显。想问问大家，这种场景下是应
深夜架构说明书
用LangGraph搭多Agent项目，状态同步老出问题，求大佬指点
最近在搞一个多Agent协作的demo，用的LangGraph，三个节点：一个负责信息收集，一个负责分析，一个负责生成报告。现在遇到一个很头疼的问题——状态传递总是丢数据。比如信息收集节点返回了一个dict，里面明明有context字段，但到分析节点就变成None了。我怀疑是graph的state schema定义有问题，但照着文档改了好几版还是不行。另外，Agent之间的对话历史怎么管理？是应该
认真做运营路线图
RAG用本地embedding模型，chunk大小和召回效果怎么平衡？
最近在搭一个本地知识库问答，用的Qwen2.5-7B加bge-m3做embedding，faiss存向量。现在卡在chunk大小上，试了512和256，512召回感觉更全但噪音多，256精准点但经常漏关键内容。而且发现中文长文本切分后语义容易断，比如一段讲“合同违约责任”的，切完一半讲甲方一半讲乙方。想问下各位，有没有比较实用的切分策略？还是说必须上重排序模型才能解决？顺便问下，bge-reran
任务正在自愈的程序员
用LangGraph搭多Agent协作，状态老是被覆盖，有老哥指点下吗？
最近在做一个小项目，用LangGraph搭了一个简单的多Agent协作流程，大概就是主管Agent拆任务，然后分给几个子Agent去执行，最后再汇总结果。但遇到一个很头疼的问题：子Agent在运行过程中，如果调用了tool，返回的结果总是把主状态里别的字段给覆盖掉，特别是用`StateGraph`的时候，某个节点更新state时，明明指定了`add_node`的reducer，但还是会整个覆盖。我
发布暂时正常观察员
用LoRA微调Llama3做代码补全，效果还不如原版基座模型正常吗？
最近在折腾代码补全的小模型，手头有张4090，就试着用LoRA微调Llama3-8B。数据集是自己在GitHub上爬的Python和TypeScript，大概10万条（去重后），格式是“上文+中间挖空”这种，类似FIM任务。训练了3个epoch，loss降得挺稳，但实测补全效果……怎么说呢，生成的代码语法还行，但逻辑经常跑偏，甚至不如不微调的基座模型直接续写。我确认过数据清洗和格式转换都没问题，学
持续研究项目管理实践笔记
用LoRA微调Llama3中文效果很差，是数据问题还是我姿势不对？
最近想把Llama3-8B微调成能写周报的风格模型，用的中文数据集大概5000条，都是自己整理的对话。训练时loss降到1.2左右就下不去了，生成结果经常出现重复词和乱码，甚至中英文混杂。我看教程里都说LoRA很稳，但我的rank设了16，alpha=32，学习率5e-4，跑完感觉跟base模型没什么区别。想问下大佬们，这种情况一般是数据清洗的问题，还是说我超参设置有问题？另外有没有必要先用中文继
认真做运营路线图
调了三天Prompt，Agent还是分不清“用户没提”和“用户不知道”，怎么办？
最近在做一个人事问答Agent，用来回答员工关于年假、报销的问题。我用了ReAct框架，让LLM在回答前先判断“是否需要向HR系统拉数据”。
运营路线图
微调Llama3做中文客服，loss降了但回答全是废话怎么办？
最近在试着用LoRA微调Llama3-8B做我们公司的客服问答，数据集大概5000条，都是真实对话整理出来的。训练时loss从2.1降到了0.8左右，看着挺正常，但推理时发现模型经常输出“好的，我理解您的问题，请问还有什么可以帮您？”这种套话，或者直接复读用户的问题，完全没有实际内容。我用的base model是meta-llama/Meta-Llama-3-8B-Instruct，学习率设的2e
生产级大模型炼金室
向量数据库搭配开源大模型做RAG，到底该怎么选？
最近在折腾本地部署的RAG项目，用的Qwen2.5-7B，embedding用的bge-m3。目前纠结向量数据库选型，看了Milvus、Chroma、Qdrant和pgvector，各有说法。我的场景大概是几万份PDF文档，单机部署，主要做内部知识库问答。试了Chroma，挺简单但感觉查询速度一般，尤其文档多的时候。Milvus性能好但部署有点重，还怕自己调不好。想问下大家实际生产中用哪个比较多？
发布暂时正常观察员
Cursor写Python还行，但写Go老给我瞎补全，是模型问题还是我姿势不对？
最近把主力编辑器从VS Code换到了Cursor，主要用Composer来写一些内部CLI工具。写Python的时候确实流畅，但切到Go项目（用的Gin框架）就明显感觉不对劲：它老喜欢给我补一些不存在的包路径，比如“github.com/xxx/internal/xxx”，但其实根本没这个目录。有时候还会把context.Context的用法搞错，硬塞一些Java风格的错误处理。我试过在Rule
大模型构建者
RAG的Prompt到底该怎么写？感觉跟普通Chat差好多
最近在搭一个基于知识库的问答机器人，用的RAG架构。看教程都说Prompt很重要，但我照着网上的模板试了，效果很一般。比如我问“公司年假政策”，它经常把检索到的无关段落也塞进回答里，或者干脆说“根据文档，可能存在多种情况”这种废话。我自己试了加“只根据以下内容回答，不要编造”，但还是会幻觉。想问问各位老哥，RAG的system prompt和普通对话的prompt在设计思路上有什么本质区别吗？是不
深夜创业研究所
MCP服务器里写Prompt模板，怎么优雅地让LLM自己选择工具？
最近在搭一个MCP服务器，打算把几个内部API封装成工具给Claude用。问题是我在系统Prompt里写了很长的工具使用说明，结果模型经常选错工具或者参数传得乱七八糟。试过把工具描述写详细点，但Prompt太长又影响响应速度。也试过让模型先“思考”再调用，但效果不稳定。想知道大家有没有比较实用的做法？比如工具描述的结构、Prompt里该强调什么，或者有没有办法让模型在调用前先确认一下意图？求实战经
持续研究复盘实践笔记
MCP服务器连本地大模型，工具调用总超时怎么排查？
最近在折腾MCP（Model Context Protocol），想把本地部署的Qwen2.5-7B通过MCP服务器接进Claude Desktop用。参考了几个开源项目，用Python写了简单的stdio服务，工具就一个查询本地SQLite的function。现在问题是：Claude能识别到工具，但每次调用都卡在“等待MCP响应”然后直接超时。日志显示模型端其实已经生成了JSON参数，但MCP
数据库正在思考的程序员
Prompt调了半天效果还是不稳定，大家是怎么系统性优化的？
最近在做一个小项目，用GPT-4处理用户反馈的分类和摘要。我在Prompt里写了角色设定、输出格式、示例，还试了few-shot，但效果就是不稳定。同一批输入，有时候分类很准，有时候会漏掉某些字段，甚至偶尔输出JSON格式还会出错。温度调到0也不行。我看网上说要用CoT、要拆步骤，我也试了，但感觉就是碰运气。想问问大家，平时优化Prompt到底有没有一套可复用的方法论？还是说只能靠经验和感觉一点点
代码今天稳定观察员
用LangGraph搭Agent，多工具调用时上下文老串，大家怎么解决的？
最近在折腾LangGraph，想做一个能查天气+订会议室+发邮件的Agent。单工具跑没问题，但一旦让Agent自己根据用户指令选工具，两个工具连着调用时，上下文就乱了。比如用户说“明天下午3点订个会议室，顺便看下天气”，结果Agent会把会议室地址当成天气查询条件传进去。
认真成长增长成长记
大家觉得PyTorch和TensorFlow哪个更适合新手入门做毕设？
正在准备毕业设计，导师让我用深度学习做个图像分类的小项目。之前只学过一点Python，框架还没确定。看教程发现现在PyTorch好像更火，但网上又有人说TensorFlow的部署生态更成熟。想问问在座的各位，如果目标是尽快跑通一个模型、把论文实验做了，哪个框架踩坑更少？顺便求推荐一套入门教程，最好是带完整代码的那种。另外，Keras是不是已经被TensorFlow吸收了？现在学还有必要吗？感谢各位
持续研究品牌工作台
MCP里挂RAG工具，上下文窗口被撑爆怎么破？
最近在折腾MCP（Model Context Protocol）服务器，想把自己的RAG检索能力封装成一个工具给Claude用。本地跑通没问题，但一接到Claude Desktop上就翻车：检索回来的文档片段动不动就几千token，加上系统提示词，直接顶爆上下文窗口，经常报错或答非所问。感觉MCP这层好像对工具返回的内容没有截断或压缩机制？我自己在工具里做截断吧，又怕把关键信息切没了，有没有什么最
持续研究设计方法手册
用LoRA微调7B模型做垂直领域问答，效果总是不理想怎么办？
最近在尝试用LoRA微调Qwen2-7B，想做一个医疗术语问答的垂直模型。数据集是自己整理的5000条医患对话，清洗过，格式也按alpaca模板对齐了。训练时loss降得还行，但实际推理时总感觉回答很泛，甚至有点“幻觉”，比如把感冒说成肺炎风险。我试过调rank（8/16/32）和学习率（1e-4到3e-4），也加了10%的通用数据混合，但提升不明显。想问问有经验的前辈：这种小规模垂直领域微调，是
企业级数据科学观察员
我要提问
大家都在搜
1
MCP服务器接入深度学习框架，有现成方案还是得自己写？
12
2
RAG里给LLM的prompt到底该写多细？我快调吐了
12
3
RAG召回效果差，是不是我分块方式有问题？求大佬指点
10
4
用LoRA微调Llama3做Agent工具调用，效果总是不稳定怎么办？
9
5
部署7B模型微调API，显存够用但推理速度只有2 token/s正常吗？
9
6
向量数据库选型纠结死了，Milvus和Chroma到底怎么选？
9
7
RAG检索老召回不相关片段，是chunk切法问题还是embedding模型选错了？
9
8
RAG检索老是把关键信息截断，是不是chunk切法有问题？
8
9
MCP服务器连本地大模型一直超时，是配置问题还是我的姿势不对？
8
10
RAG里Agent多轮查询后上下文爆炸，大家都是怎么处理的？
8
11
Claude 3.5 Sonnet写前端时，为什么总爱自作主张重构我的代码？
8
12
用LangGraph写Agent总在工具调用循环里出不来，怎么设计终止条件？
8
13
MCP 工具调用总是超时，是我哪里配置错了吗？
8
14
RAG里做Prompt工程，到底该把精力花在system还是query改写上？
7
15
PyTorch转ONNX后推理速度反而变慢了，是我的导出姿势不对吗？
7
16
RAG召回效果差，是切分太粗还是Embedding模型选错了？
7
17
大家用Qwen2.5写代码时，补全结果总是“半截”怎么破？
7
18
RAG召回精度上不去，是切分粒度问题还是embedding模型选型不对？
7
19
RAG里向量数据库到底怎么选？Milvus还是Chroma，头秃了
7
20
VLLM部署Qwen2.5-7B报错显存不足，但用Transformers却没事？
7