热帖 RAG检索效果时好时坏，是我的chunk策略有问题吗？
最近在做一个内部文档问答的RAG系统，用的是bge-m3做embedding，向量库选的Qdrant。文档主要是PDF和Word，我按固定512 token切块，overlap设了50。但实际测试发现，有些问题明明文档里有明确答案，检索出来的top3却完全不相关，换个问法又能命中。我在想是不是chunk切得太粗暴了，把上下文切断了？还是说应该上语义分块或者加个rerank？有没有踩过类似坑的老哥指
认真成长前端修炼册
热帖 RAG做多轮对话时，历史上下文到底该怎么塞进检索里？
最近在做一个客服场景的RAG Agent，单轮问答效果还行，但一到多轮就崩。比如用户先问“你们的退款政策是什么”，接着问“那超过7天还能退吗”，第二句检索出来的文档完全跑偏。我试过把历史对话拼成query再去检索，但发现长对话时噪声太大，检索质量反而下降。也试过只保留最近两轮，但遇到指代消解又不够用。想问问大家在实际项目里是怎么处理多轮RAG的上下文注入的？有没有比较稳的工程方案，还是说得上que
一线架构研究所
热帖 写Agent的Prompt时，怎么让工具调用结果不被模型“脑补”？
最近在做一个查数据库的Agent，流程是LLM先输出JSON格式的工具调用，后端执行完再把结果拼回Prompt让它总结。但发现一个问题：如果SQL查出来是空结果，模型经常自作主张编一个“根据查询结果，目前没有相关记录，可能是xxx原因”的回复，甚至把不存在的字段也说得有模有样。我试过在Prompt里加“不要编造”，效果一般。想请教下大家，工具返回结果这块的Prompt一般怎么写比较稳？是应该把原始
持续研究设计工具箱
用LoRA微调Qwen2.5-7B做客服问答，loss降到0.3但实际回答全是套话怎么办？
各位大佬好，最近在拿Qwen2.5-7B做垂直领域的客服问答微调，用的是LLaMA-Factory配LoRA，r=16，数据集大概3000条，格式是标准的instruction-input-output。训练跑了3个epoch，loss从1.8降到0.3左右，看着挺正常的。但推理测试的时候发现模型回答特别模板化，基本就是“您好，关于您的问题……”这种套话，具体业务信息几乎不输出。试过调低学习率、加
实战派大模型工具箱
开源大模型本地部署，显存总差一点怎么办？
最近在尝试把Qwen1.5-14B部署到本地，机器是单卡4090 24G。用transformers直接加载fp16大概要28G，爆显存。试了bitsandbytes的int8量化，能跑起来但速度很慢，大概3-4 token/s。想上vLLM做推理加速，但看文档说PagedAttention对量化支持好像有限？有没有老哥在实际项目里跑通过类似配置的，想请教下：是应该换13B以下的模型，还是继续折腾
认真做交互随身笔记
MCP 服务部署到生产环境后，工具调用频繁超时，有人遇到过吗？
最近在把一个内部 MCP Server 部署到生产环境，本地用 stdio 模式测的时候一切正常，工具调用基本秒回。但换到 SSE 模式、放到内网服务器上之后，模型侧调用工具经常超时，尤其是返回内容稍微大一点（比如查个几 KB 的 JSON）就直接卡住。日志里看不到明显报错，怀疑是连接保活或者超时配置的问题，但文档看得有点懵。有没有实际部署过 MCP 服务的老哥指点一下，生产环境一般怎么配比较稳？
小顾Product
用Cursor写代码时，Prompt里要不要把项目结构全贴进去？有点迷茫
最近刚开始用Cursor写一个React+TS的小项目，发现每次对话如果只贴当前文件的代码，它经常给我生成一些跟其他文件对不上的类型或者import路径。但要是把整个src目录结构、package.json、tsconfig都塞进Prompt里，token又爆了，而且它好像也抓不住重点。看有人说用.cursorrules或者@Codebase，我试了但感觉效果不太稳定。想问下大家实际写业务代码时，
熊猫每天复盘
RAG检索到的内容明明相关，大模型却答非所问，问题出在哪？
最近在做一个基于RAG的文档问答系统，用bge-m3做embedding，向量库是Milvus，top-k设的5。测试的时候发现一个很怪的现象：检索出来的chunk肉眼看着跟问题挺相关的，但喂给模型（qwen2.5-7b）之后，回答要么答偏要么直接说“根据已知信息无法回答”。我试过调大top-k到10，也试过换rerank模型，效果都不太稳定。是不是prompt里context拼接方式有问题？还是
实战派推理加速炼金室
刚入门模型微调，LoRA和全量微调到底该怎么选？
最近在做一个垂直领域的文本分类任务，数据量大概两万条左右，手头只有一张3090。看了不少教程，有人说LoRA省显存效果好，也有人说数据量够的话全量微调更稳。我试着用LoRA跑了一版，r设成8，但验证集效果比预期差不少，loss降得也很慢。想问问大家，这种数据规模下到底该走哪条路？是不是我rank或者target module选得不对？有没有踩过类似坑的朋友指点一下，感激不尽。
小北Rust手记
微调后的模型当Agent用，为什么总是忘记工具调用格式？
最近在做一个客服场景的Agent，基座用的Qwen2.5-7B，LoRA微调了大概5k条工具调用数据。训练loss降得挺好，单轮测试也没问题，但一放到多轮对话里就出幺蛾子——模型经常在第三四轮之后突然不输出function call的JSON了，直接开始用自然语言瞎编答案。试过调temperature、加了格式约束的system prompt，效果都不稳定。想问下做过Agent微调的朋友，这种多轮
一线人工智能工作台
MCP Server 本地跑通了但 Claude Desktop 连不上，有人遇到过吗？
最近在跟着教程写一个简单的 MCP Server，用 Python SDK 写的，stdio 传输。单独用脚本测试的时候工具列表能正常返回，但配到 Claude Desktop 的 config 里就一直转圈，日志里也没看到明显报错。我检查了路径和命令，感觉没写错啊……是不是 Windows 下有什么坑？还是说 Claude Desktop 对 Node 和 Python 的启动方式要求不一样？有
阿航Python
刚接触MCP，深度学习框架里的模型上下文协议到底该怎么理解？
最近在学深度学习框架，看到MCP（Model Context Protocol）这块有点懵。文档里说它是给模型提供上下文和工具调用的标准协议，但我实际操作时不太清楚它和普通的API调用有什么区别。比如我在本地跑一个推理服务，想让模型读取外部文件或者调用数据库，是不是必须走MCP？还是说框架内部自己封装也行？看了一些示例代码，感觉配置挺复杂的，有点不知道从哪下手。有没有实际用过的朋友说说，这玩意儿在
网络今天稳定工程日常
用Copilot写Python爬虫，为什么生成的代码总是跑不通？
最近在做一个课程作业，需要爬取豆瓣电影Top250的数据。我用了GitHub Copilot辅助写代码，发现它生成的requests请求部分经常缺少headers，导致被反爬拦截返回418。手动补上User-Agent后能跑通，但换个网站又出问题。想问问大家，AI编程工具生成爬虫代码时，是不是对反爬场景理解不够？你们一般怎么调教它写出更健壮的请求代码？还是说这类任务最好自己手写核心逻辑，AI只用来
知识管理手记
RAG检索出来的内容太长，Prompt里塞不下怎么办？
最近在做一个基于知识库的问答demo，用的是LangChain + 向量库的方案。遇到一个问题：检索top3出来的chunk拼起来有时候超过3000字，加上system prompt和用户问题直接超模型上下文了。试过调小chunk size，但召回质量明显下降，有些答案被切碎了。也试过只取top1，但经常漏掉关键信息。想问问大家一般怎么处理这种情况？是做什么重排序还是压缩？有没有比较实用的prom
文档暂时正常的程序员
Claude Code和Cursor都用过的朋友，你们实际项目里真的会放心让AI改代码吗？
最近在做一个React+TS的中型项目，试了Cursor的Composer和Claude Code，单文件改动确实很爽，但一到跨文件重构就有点绷不住——比如改一个接口类型，它经常只改定义处，调用方漏掉好几个，编译报错后我再一个个喂给它修。也试过让它先输出改动计划再执行，但计划看着挺对，实际diff还是会有意外改动。想问问大家实际项目里是怎么用的？是只让AI写新文件、自己负责集成，还是有什么prom
周末写作小站
部署Qwen2.5-7B时用vLLM加量化，Prompt效果明显变差是怎么回事？
最近在本地用vLLM部署Qwen2.5-7B做知识问答，显卡是单卡4090。为了省显存用了AWQ 4bit量化，结果发现同一个Prompt，量化后回答质量下降挺明显，尤其是多步推理和格式遵循场景，偶尔还会乱答。换回FP16就正常，但显存又不够。想请教下大家，量化对大模型Prompt效果影响这么大吗？有没有什么Prompt写法或者参数调整能缓解？还是说这个场景就不该用量化？
模型部署实践者
MCP协议下RAG检索工具返回结果不稳定，有没有人遇到过？
最近在做一个基于MCP的RAG系统，用MCP server封装了向量检索和网页搜索两个tool。发现一个问题：模型有时候会连续多次调用同一个检索工具，参数几乎一样，但返回结果差异挺大，导致最终回答前后矛盾。我怀疑是tool的返回格式或者描述没写清楚，模型不知道什么时候该停。想问问大家在MCP场景下，RAG的检索工具该怎么设计返回结构，才能让模型稳定判断“够了不用再查”？有没有什么踩坑经验分享一下。
一线架构研究所
想用开源模型搭RAG，检索效果一直不太行，是我的问题还是模型的问题？
最近在试着用Llama3加上bge-m3搭一个本地知识库的RAG系统，文档主要是PDF格式的技术手册。流程大概是先解析PDF，然后切块，再用bge-m3做embedding存到Chroma里，检索的时候用相似度top-k召回。但实际测下来效果很一般，问一些稍微绕一点的问题，召回的内容经常跟问题不相关，或者明明文档里有答案却召不回来。我试过调chunk size和overlap，也换过几种相似度度量
飞鸟偶尔重构
我要提问
大家都在搜
1
向量数据库选Milvus还是Qdrant？各自有什么坑？
5
2
大家做AI Agent的时候，工具调用的稳定性怎么保证？
4
3
直接用开源的7B模型做RAG，效果总是差强人意，有什么优化技巧？
2
4
MCP专区里用深度学习框架做模型部署，为什么推理速度比本地慢很多？
2
5
向量数据库选Milvus还是Qdrant？各自有什么坑？
1
6
大家做AI Agent的时候，工具调用的稳定性怎么保证？
1
7
直接用开源的7B模型做RAG，效果总是差强人意，有什么优化技巧？
1
8
LoRA微调到底需要多少数据？我准备了500条感觉还是不够
1
9
用LangChain做Agent时，工具调用总是选错，大家怎么优化prompt的？
1
10
写Prompt总是不稳定，是我描述有问题还是模型本身就这样？
1
11
写Agent的Prompt时，怎么让工具调用结果不被模型“脑补”？
1
12
RAG做多轮对话时，历史上下文到底该怎么塞进检索里？
1
13
RAG检索效果时好时坏，是我的chunk策略有问题吗？
1
14
MCP Server 本地跑通了但 Claude Desktop 一直连不上，有人遇到过吗？
1
15
大家部署本地大模型时，prompt模板到底该怎么管理才不乱啊？
1
16
向量数据库选型求助，Milvus和Qdrant到底怎么选？
1
17
PyTorch训练时GPU利用率忽高忽低，是DataLoader的锅吗？
1
18
向量数据库选Milvus还是Qdrant？各自有什么坑？
0
19
LoRA微调到底需要多少数据？我准备了500条感觉还是不够
0
20
直接用开源的7B模型做RAG，效果总是差强人意，有什么优化技巧？
0