热帖 RAG检索效果时好时坏，是我的chunk策略有问题吗？
最近在做一个内部文档问答的RAG系统，用的是bge-m3做embedding，向量库选的Qdrant。文档主要是PDF和Word，我按固定512 token切块，overlap设了50。但实际测试发现，有些问题明明文档里有明确答案，检索出来的top3却完全不相关，换个问法又能命中。我在想是不是chunk切得太粗暴了，把上下文切断了？还是说应该上语义分块或者加个rerank？有没有踩过类似坑的老哥指
认真成长前端修炼册
热帖 RAG做多轮对话时，历史上下文到底该怎么塞进检索里？
最近在做一个客服场景的RAG Agent，单轮问答效果还行，但一到多轮就崩。比如用户先问“你们的退款政策是什么”，接着问“那超过7天还能退吗”，第二句检索出来的文档完全跑偏。我试过把历史对话拼成query再去检索，但发现长对话时噪声太大，检索质量反而下降。也试过只保留最近两轮，但遇到指代消解又不够用。想问问大家在实际项目里是怎么处理多轮RAG的上下文注入的？有没有比较稳的工程方案，还是说得上que
一线架构研究所
热帖 写Agent的Prompt时，怎么让工具调用结果不被模型“脑补”？
最近在做一个查数据库的Agent，流程是LLM先输出JSON格式的工具调用，后端执行完再把结果拼回Prompt让它总结。但发现一个问题：如果SQL查出来是空结果，模型经常自作主张编一个“根据查询结果，目前没有相关记录，可能是xxx原因”的回复，甚至把不存在的字段也说得有模有样。我试过在Prompt里加“不要编造”，效果一般。想请教下大家，工具返回结果这块的Prompt一般怎么写比较稳？是应该把原始
持续研究设计工具箱
刚入门模型微调，LoRA和全量微调到底该怎么选？
最近在做一个垂直领域的文本分类任务，数据量大概两万条左右，手头只有一张3090。看了不少教程，有人说LoRA省显存效果好，也有人说数据量够的话全量微调更稳。我试着用LoRA跑了一版，r设成8，但验证集效果比预期差不少，loss降得也很慢。想问问大家，这种数据规模下到底该走哪条路？是不是我rank或者target module选得不对？有没有踩过类似坑的朋友指点一下，感激不尽。
小北Rust手记
微调后的模型当Agent用，为什么总是忘记工具调用格式？
最近在做一个客服场景的Agent，基座用的Qwen2.5-7B，LoRA微调了大概5k条工具调用数据。训练loss降得挺好，单轮测试也没问题，但一放到多轮对话里就出幺蛾子——模型经常在第三四轮之后突然不输出function call的JSON了，直接开始用自然语言瞎编答案。试过调temperature、加了格式约束的system prompt，效果都不稳定。想问下做过Agent微调的朋友，这种多轮
一线人工智能工作台
MCP Server 本地跑通了但 Claude Desktop 连不上，有人遇到过吗？
最近在跟着教程写一个简单的 MCP Server，用 Python SDK 写的，stdio 传输。单独用脚本测试的时候工具列表能正常返回，但配到 Claude Desktop 的 config 里就一直转圈，日志里也没看到明显报错。我检查了路径和命令，感觉没写错啊……是不是 Windows 下有什么坑？还是说 Claude Desktop 对 Node 和 Python 的启动方式要求不一样？有
阿航Python
刚接触MCP，深度学习框架里的模型上下文协议到底该怎么理解？
最近在学深度学习框架，看到MCP（Model Context Protocol）这块有点懵。文档里说它是给模型提供上下文和工具调用的标准协议，但我实际操作时不太清楚它和普通的API调用有什么区别。比如我在本地跑一个推理服务，想让模型读取外部文件或者调用数据库，是不是必须走MCP？还是说框架内部自己封装也行？看了一些示例代码，感觉配置挺复杂的，有点不知道从哪下手。有没有实际用过的朋友说说，这玩意儿在
网络今天稳定工程日常
用Copilot写Python爬虫，为什么生成的代码总是跑不通？
最近在做一个课程作业，需要爬取豆瓣电影Top250的数据。我用了GitHub Copilot辅助写代码，发现它生成的requests请求部分经常缺少headers，导致被反爬拦截返回418。手动补上User-Agent后能跑通，但换个网站又出问题。想问问大家，AI编程工具生成爬虫代码时，是不是对反爬场景理解不够？你们一般怎么调教它写出更健壮的请求代码？还是说这类任务最好自己手写核心逻辑，AI只用来
知识管理手记
RAG检索出来的内容太长，Prompt里塞不下怎么办？
最近在做一个基于知识库的问答demo，用的是LangChain + 向量库的方案。遇到一个问题：检索top3出来的chunk拼起来有时候超过3000字，加上system prompt和用户问题直接超模型上下文了。试过调小chunk size，但召回质量明显下降，有些答案被切碎了。也试过只取top1，但经常漏掉关键信息。想问问大家一般怎么处理这种情况？是做什么重排序还是压缩？有没有比较实用的prom
文档暂时正常的程序员
Claude Code和Cursor都用过的朋友，你们实际项目里真的会放心让AI改代码吗？
最近在做一个React+TS的中型项目，试了Cursor的Composer和Claude Code，单文件改动确实很爽，但一到跨文件重构就有点绷不住——比如改一个接口类型，它经常只改定义处，调用方漏掉好几个，编译报错后我再一个个喂给它修。也试过让它先输出改动计划再执行，但计划看着挺对，实际diff还是会有意外改动。想问问大家实际项目里是怎么用的？是只让AI写新文件、自己负责集成，还是有什么prom
周末写作小站
部署Qwen2.5-7B时用vLLM加量化，Prompt效果明显变差是怎么回事？
最近在本地用vLLM部署Qwen2.5-7B做知识问答，显卡是单卡4090。为了省显存用了AWQ 4bit量化，结果发现同一个Prompt，量化后回答质量下降挺明显，尤其是多步推理和格式遵循场景，偶尔还会乱答。换回FP16就正常，但显存又不够。想请教下大家，量化对大模型Prompt效果影响这么大吗？有没有什么Prompt写法或者参数调整能缓解？还是说这个场景就不该用量化？
模型部署实践者
MCP协议下RAG检索工具返回结果不稳定，有没有人遇到过？
最近在做一个基于MCP的RAG系统，用MCP server封装了向量检索和网页搜索两个tool。发现一个问题：模型有时候会连续多次调用同一个检索工具，参数几乎一样，但返回结果差异挺大，导致最终回答前后矛盾。我怀疑是tool的返回格式或者描述没写清楚，模型不知道什么时候该停。想问问大家在MCP场景下，RAG的检索工具该怎么设计返回结构，才能让模型稳定判断“够了不用再查”？有没有什么踩坑经验分享一下。
一线架构研究所
想用开源模型搭RAG，检索效果一直不太行，是我的问题还是模型的问题？
最近在试着用Llama3加上bge-m3搭一个本地知识库的RAG系统，文档主要是PDF格式的技术手册。流程大概是先解析PDF，然后切块，再用bge-m3做embedding存到Chroma里，检索的时候用相似度top-k召回。但实际测下来效果很一般，问一些稍微绕一点的问题，召回的内容经常跟问题不相关，或者明明文档里有答案却召不回来。我试过调chunk size和overlap，也换过几种相似度度量
飞鸟偶尔重构
Prompt调了半天效果还是不稳定，大家是怎么做版本管理和评测的？
最近在做一个客服问答的小工具，用GPT-4o做意图识别和回复生成。Prompt改了十几版，每次改完感觉某类问题好了，另一类又崩了，完全靠手动试，头大。想过用LangSmith或者PromptLayer这类工具，但不确定值不值得上，还是先自己写个Excel记录算了。另外评测集也不知道怎么构造比较合理，人工写了几十条，但覆盖不全。有没有实践过的老哥聊聊，小团队怎么低成本把Prompt迭代这件事管起来？
一线云原生实验室
向量数据库选型求助：Milvus和Qdrant到底怎么选？
最近在做一个RAG项目，文档量大概50万条，需要支持增量更新和元数据过滤。一开始用Chroma，简单是简单，但数据量上来后查询延迟有点扛不住。现在在Milvus和Qdrant之间纠结，看文档感觉都挺强，但实际踩坑经验太少。有没有老哥在生产环境用过这俩的，能聊聊部署复杂度、过滤性能、还有内存占用方面的真实感受吗？不想来回折腾了，求指点。
持续研究知识管理研究簿
Prompt调了三天还是不稳定，大家实际项目里怎么管理的？
最近在做一个客服工单自动分类的小项目，用GPT-3.5做few-shot分类，大概20个类别。问题是每次改一点prompt，某些类别的准确率就上去了，另外几个又掉下来，来回横跳。试过加示例、加约束、调temperature，但总感觉在碰运气，没有一个可复现的调优流程。想问问大家在实际项目里prompt是怎么版本管理和迭代的？有没有什么踩坑经验或者工具推荐？现在每次上线前都很慌，不知道哪天就崩了。
长期主义商业学习者
PyTorch训练时GPU利用率忽高忽低，是DataLoader的锅吗？
最近在复现一个图像分割模型，单卡RTX 3090训练。发现nvidia-smi里GPU利用率一直在30%到90%之间跳，训练速度比预期慢不少。DataLoader的num_workers试过4和8，batch size也调了，感觉改善不明显。看profiler显示有不少时间花在数据加载上，但我已经把图片预resize成256了，按理说不会这么慢。想问问大家一般怎么排查这种利用率波动的问题？是IO瓶
一只萤火虫收集工具日记
Prompt Engineering学到什么程度算入门？有没有进阶路线？
Prompt Engineering学到什么程度算入门？有没有进阶路线？ 最近在这个方向上踩了不少坑，想听听大家的实际经验。
路过的前端日常
向量数据库选Milvus还是Qdrant？各自有什么坑？
向量数据库选Milvus还是Qdrant？各自有什么坑？ 最近在这个方向上踩了不少坑，想听听大家的实际经验。
云端灰狼住在云端
我要提问
大家都在搜
1
向量数据库选Milvus还是Qdrant？各自有什么坑？
5
2
大家做AI Agent的时候，工具调用的稳定性怎么保证？
4
3
直接用开源的7B模型做RAG，效果总是差强人意，有什么优化技巧？
2
4
MCP专区里用深度学习框架做模型部署，为什么推理速度比本地慢很多？
2
5
向量数据库选Milvus还是Qdrant？各自有什么坑？
1
6
大家做AI Agent的时候，工具调用的稳定性怎么保证？
1
7
直接用开源的7B模型做RAG，效果总是差强人意，有什么优化技巧？
1
8
LoRA微调到底需要多少数据？我准备了500条感觉还是不够
1
9
用LangChain做Agent时，工具调用总是选错，大家怎么优化prompt的？
1
10
写Prompt总是不稳定，是我描述有问题还是模型本身就这样？
1
11
写Agent的Prompt时，怎么让工具调用结果不被模型“脑补”？
1
12
RAG做多轮对话时，历史上下文到底该怎么塞进检索里？
1
13
RAG检索效果时好时坏，是我的chunk策略有问题吗？
1
14
MCP Server 本地跑通了但 Claude Desktop 一直连不上，有人遇到过吗？
1
15
大家部署本地大模型时，prompt模板到底该怎么管理才不乱啊？
1
16
向量数据库选型求助，Milvus和Qdrant到底怎么选？
1
17
PyTorch训练时GPU利用率忽高忽低，是DataLoader的锅吗？
1
18
向量数据库选Milvus还是Qdrant？各自有什么坑？
0
19
LoRA微调到底需要多少数据？我准备了500条感觉还是不够
0
20
直接用开源的7B模型做RAG，效果总是差强人意，有什么优化技巧？
0