大家做AI Agent的时候，工具调用的稳定性怎么保证？
大家做AI Agent的时候，工具调用的稳定性怎么保证？ 最近在这个方向上踩了不少坑，想听听大家的实际经验。
小苏_Design手记
Prompt Engineering学到什么程度算入门？有没有进阶路线？
Prompt Engineering学到什么程度算入门？有没有进阶路线？ 最近在这个方向上踩了不少坑，想听听大家的实际经验。
企业级NLP应用札记
Prompt Engineering学到什么程度算入门？有没有进阶路线？
Prompt Engineering学到什么程度算入门？有没有进阶路线？ 最近在这个方向上踩了不少坑，想听听大家的实际经验。
发布正在思考的程序员
RAG项目里用AI编程工具生成代码，检索效果总不理想怎么办？
最近在做一个基于RAG的企业知识库问答项目，用Cursor和Copilot辅助写代码。发现一个挺困惑的点：让AI帮我生成检索模块的代码时，它给的实现看着都挺规范，比如向量检索、chunk切分、rerank这些流程都有，但实际跑起来召回效果就是不太好，经常答非所问。我自己调了embedding模型和top_k，改善有限。想问问大家，用AI编程工具生成RAG相关代码时，是不是有些坑它默认就埋进去了？比
一只蜗牛认真测试
向量数据库选型求助，Milvus和Qdrant到底怎么选？
最近在做一个RAG项目，知识库大概50万条文档切片，embedding维度1024。一开始用Chroma本地跑着玩，但数据量上来后查询延迟有点扛不住了，想换成生产级的。看了Milvus和Qdrant，感觉都挺火，但Milvus依赖组件好多（etcd、MinIO那些），部署起来有点劝退；Qdrant看着轻量一些但社区资料感觉没Milvus多。有没有实际用过的老哥说说，单机部署场景下这俩在召回率和运维
一只Rust玩家
用Cursor和Claude写代码半年，感觉自己越来越像个“代码审阅员”了，这正常吗？
先说下背景，后端开发3年，半年前开始重度用Cursor + Claude辅助写业务代码。一开始确实爽，CRUD和工具类基本秒生成，效率翻倍。但最近越来越困惑：我发现自己大部分时间在写prompt、读AI生成的代码、改它的小bug，真正“从零想逻辑”的时间反而少了。上周做一个订单状态机的重构，AI给的方案看着能跑，但边界条件漏了两个，我调了半天才反应过来。现在有点迷茫——这到底是效率提升，还是我在慢
有点困的云原生玩家日常
大家部署本地大模型时，prompt模板到底该怎么管理才不乱啊？
最近在折腾本地部署Qwen和Llama，发现一个问题：每个模型的chat template都不一样，有的要`<|im_start|>`，有的用`[INST]`，我每次切换模型都得手动改prompt拼接逻辑，改来改去代码里全是if-else，已经快看不懂了。想问问大家平时是怎么管理这些prompt模板的？是统一走tokenizer.apply_chat_template，还是自己维护一套模板文件？有
保持好奇服务器修炼册
大家用LangChain做Agent时，工具调用准确率怎么提上去的？
最近在做一个客服场景的Agent，用LangChain的ReAct框架接了5个工具（查订单、退款、查物流等），但发现模型经常选错工具，尤其是“查订单”和“查物流”这两个，输入稍微模糊一点就乱调。试过在prompt里加few-shot示例，准确率从60%提到75%左右就卡住了。想问下大家一般怎么优化工具描述？或者是不是该换function calling的方式？有没有踩过类似坑的兄弟指点一下。
生产级数据科学开发日志
RAG检索返回的文档明明相关，大模型却答非所问，问题出在哪？
最近在做一个企业知识库的RAG问答系统，用的是bge-m3做embedding，Milvus存向量，召回top5后用LangChain拼prompt喂给Qwen。测试时发现一个很头疼的问题：检索出来的文档片段人工看确实是相关的，但模型回答时经常忽略这些内容，要么答成通用知识，要么把几个片段张冠李戴拼错。试过调大top_k、换rerank模型，效果都不明显。怀疑是prompt里上下文太长导致模型注意
海鸥会调Bug
大模型部署后Agent工具调用老是失败，是我哪里配错了吗？
最近在本地部署了一个开源大模型（Qwen2.5-7B-Instruct），用vLLM起服务，想接一个Agent框架做工具调用。结果发现模型经常不按格式输出JSON，要么多一堆解释文字，要么把function call的参数拼错，导致解析一直报错。试过调temperature=0，也换了几个prompt模板，还是不稳定。看别人demo里跑得挺顺的，是我模型选小了还是部署参数有问题？有没有踩过坑的老哥
边学边做数据分析成长记
大模型本地部署显存总是不够用，是我姿势不对吗？
最近在尝试把Qwen1.5-7B部署到本地，机器是单卡3090 24G。用transformers直接加载fp16模型就占了快15G，稍微加点batch size或者长一点的context就直接OOM了。看网上有人说用vLLM或者llama.cpp量化能省不少显存，但也有人说量化后效果掉得厉害。我现在有点懵，到底是应该老老实实换多卡，还是研究量化部署？各位实际项目里都是怎么权衡的，求指点一下方向。
终身学习开源学习者
RAG检索出来的内容都对，但大模型回答还是瞎编，问题出在哪？
最近在做一个内部知识库的RAG问答，流程是文档切片→bge-m3向量化→Milvus检索top5→拼prompt丢给Qwen。调试的时候我把检索到的chunk打印出来看，明明相关段落都召回对了，内容也在里面，但模型回答要么答非所问，要么把几个文档的内容混在一起编。prompt里已经写了“仅根据以下内容回答”，temperature也调到0.1了，还是这样。有没有老哥遇到过类似情况？是切片粒度的问题
暮色赶路记
MCP Server 本地跑通了但 Claude Desktop 一直连不上，有人遇到过吗？
最近在跟着教程写一个自己的 MCP Server，用 Python SDK 写的，stdio 方式启动，在终端里手动跑能正常响应 initialize 请求。但是配到 Claude Desktop 的 config 里之后，日志里一直报 connection closed，试过改成绝对路径、加 env、换 node 版本都不行。看文档说要保证 server 不往 stdout 乱打印，我也检查了日
小唐_React手记
RAG检索出来的内容很多重复，是我的切分方式有问题吗？
最近在做一个内部知识库的RAG问答，文档主要是PDF和Word，按固定500字切分的，重叠100字。但实际跑起来发现检索top5里经常有3-4条是同一段内容的碎片，拼起来反而是重复的，导致给LLM的上下文很冗余。也试过按段落切，但表格和标题会断掉。想问问大家一般怎么处理这种切分粒度的问题？是不是该上语义切分或者加个去重逻辑？有点迷茫，求指点。
暮色赶路记
LoRA微调loss降到0.3但推理效果很差，是过拟合了吗？
最近在项目里用LLaMA-Factory微调Qwen1.5-7B做垂直领域的问答，数据集大概3000条，用的LoRA r=8。训练loss从2.1降到0.3左右，看着挺开心的，但实际推理的时候模型回答要么很简短敷衍，要么就开始胡言乱语重复输出。调了learning rate和epoch也没什么改善。想问下各位大佬，这种情况是过拟合了吗？还是数据质量或者prompt模板的问题？有没有类似经验的朋友指
阿南Data手记
用Cursor写Java SpringBoot项目，生成的代码总是编译不过怎么办？
最近刚开始用Cursor写一个SpringBoot的后端项目，发现它生成的代码经常编译不过。比如自动生成的Service层代码，注入的Mapper接口名对不上，或者@Autowired注解标在接口上导致启动报错。我明明在prompt里说了“按照项目现有风格生成”，但它好像读不懂我项目里的包结构和命名规范。每次都要手动改半天，感觉效率反而降低了。想问下大家用AI编程工具写Java项目时，是怎么让AI
一只企鹅追着需求跑日记
大家本地部署大模型都用什么显卡啊，24G显存真的够用吗？
最近想把开源模型拉到本地跑，主要做代码补全和文档问答。手头只有一张3090 24G，试了Qwen2.5-Coder的7B和14B，7B用vLLM跑还行，14B量化到4bit勉强能起但上下文一长就爆显存。看网上有人说双卡4090，也有人说直接上A6000，感觉成本一下子上去了。想问问大家实际生产/半生产环境都怎么配的？有没有性价比高一点的方案，还是说干脆用API算了……挺纠结的。
认真做运营路线图
MCP专区里用深度学习框架做模型部署，为什么推理速度比本地慢很多？
最近在MCP专区里试着部署一个自己训好的小模型，框架用的是PyTorch，本地测试推理大概20ms一张图，但放到MCP环境里跑同样的batch size，延迟直接飙到100ms以上。检查了GPU利用率也不高，显存倒是正常。我怀疑是数据预处理或者传输那块拖了后腿，但不太确定该从哪查起。有没有遇到过类似情况的朋友，MCP环境下框架的推理配置有什么容易踩的坑吗？
纸上观星录
我要提问
大家都在搜
1
向量数据库选Milvus还是Qdrant？各自有什么坑？
5
2
大家做AI Agent的时候，工具调用的稳定性怎么保证？
4
3
直接用开源的7B模型做RAG，效果总是差强人意，有什么优化技巧？
2
4
MCP专区里用深度学习框架做模型部署，为什么推理速度比本地慢很多？
2
5
向量数据库选Milvus还是Qdrant？各自有什么坑？
1
6
大家做AI Agent的时候，工具调用的稳定性怎么保证？
1
7
直接用开源的7B模型做RAG，效果总是差强人意，有什么优化技巧？
1
8
LoRA微调到底需要多少数据？我准备了500条感觉还是不够
1
9
用LangChain做Agent时，工具调用总是选错，大家怎么优化prompt的？
1
10
写Prompt总是不稳定，是我描述有问题还是模型本身就这样？
1
11
写Agent的Prompt时，怎么让工具调用结果不被模型“脑补”？
1
12
RAG做多轮对话时，历史上下文到底该怎么塞进检索里？
1
13
RAG检索效果时好时坏，是我的chunk策略有问题吗？
1
14
MCP Server 本地跑通了但 Claude Desktop 一直连不上，有人遇到过吗？
1
15
大家部署本地大模型时，prompt模板到底该怎么管理才不乱啊？
1
16
向量数据库选型求助，Milvus和Qdrant到底怎么选？
1
17
PyTorch训练时GPU利用率忽高忽低，是DataLoader的锅吗？
1
18
向量数据库选Milvus还是Qdrant？各自有什么坑？
0
19
LoRA微调到底需要多少数据？我准备了500条感觉还是不够
0
20
直接用开源的7B模型做RAG，效果总是差强人意，有什么优化技巧？
0