RAG检索到的内容明明相关，大模型却答非所问，问题出在哪？
最近在做一个基于RAG的文档问答系统，用bge-m3做embedding，向量库是Milvus，top-k设的5。测试的时候发现一个很怪的现象：检索出来的chunk肉眼看着跟问题挺相关的，但喂给模型（qwen2.5-7b）之后，回答要么答偏要么直接说“根据已知信息无法回答”。我试过调大top-k到10，也试过换rerank模型，效果都不太稳定。是不是prompt里context拼接方式有问题？还是
实战派推理加速炼金室
大家用LangChain做Agent时，工具调用准确率怎么提上去的？
最近在做一个客服场景的Agent，用LangChain的ReAct框架接了5个工具（查订单、退款、查物流等），但发现模型经常选错工具，尤其是“查订单”和“查物流”这两个，输入稍微模糊一点就乱调。试过在prompt里加few-shot示例，准确率从60%提到75%左右就卡住了。想问下大家一般怎么优化工具描述？或者是不是该换function calling的方式？有没有踩过类似坑的兄弟指点一下。
生产级数据科学开发日志
RAG检索返回的文档明明相关，大模型却答非所问，问题出在哪？
最近在做一个企业知识库的RAG问答系统，用的是bge-m3做embedding，Milvus存向量，召回top5后用LangChain拼prompt喂给Qwen。测试时发现一个很头疼的问题：检索出来的文档片段人工看确实是相关的，但模型回答时经常忽略这些内容，要么答成通用知识，要么把几个片段张冠李戴拼错。试过调大top_k、换rerank模型，效果都不明显。怀疑是prompt里上下文太长导致模型注意
海鸥会调Bug
【推广】源头中转上新：gpt-6.1 / claude-opus-5.5 / grok-4.7｜GPT 1折、国模1折、满血Claude｜价格见模型广场
本帖为自家产品推广 Twinkle Model（源头中转·官方订阅渠道）上新了，继续主打低价、稳定、高质量： GPT 1折（0.1倍起）｜国模 GLM/DeepSeek/Kimi 1折｜满血 Claude（CC-MAX 1倍） 全部价格公开在模型广场：https://big-model.smart-agi.com/model-plaza 本次新增（以模型广场实时列表为准）： -
t
twinklemodel
用LangChain做Agent时，工具调用总是选错，大家怎么优化prompt的？
最近在做一个客服场景的Agent，接了查询订单、退款、查物流三个tool，用的GPT-4o加function calling。发现一个问题：用户说“我东西还没到”，它有时候调查订单，有时候调查物流，偶尔还给我调退款……我在system prompt里写了每个工具的描述和使用场景，但感觉模型还是分不清边界。试过few-shot示例，效果有一点但不稳定。想问下大家实际项目中是怎么让Agent稳定选对工
深夜后端方法论
LoRA微调到底需要多少数据？我准备了500条感觉还是不够
LoRA微调到底需要多少数据？我准备了500条感觉还是不够 最近在这个方向上踩了不少坑，想听听大家的实际经验。
一只蜗牛认真测试
直接用开源的7B模型做RAG，效果总是差强人意，有什么优化技巧？
直接用开源的7B模型做RAG，效果总是差强人意，有什么优化技巧？ 最近在这个方向上踩了不少坑，想听听大家的实际经验。
小周_Go
Prompt Engineering学到什么程度算入门？有没有进阶路线？
Prompt Engineering学到什么程度算入门？有没有进阶路线？ 最近在这个方向上踩了不少坑，想听听大家的实际经验。
云端金鱼喜欢开源日记
Prompt Engineering学到什么程度算入门？有没有进阶路线？
Prompt Engineering学到什么程度算入门？有没有进阶路线？ 最近在这个方向上踩了不少坑，想听听大家的实际经验。
网络今天稳定工程日常
RAG检索出来的内容明明很相关，但大模型回答时还是胡编，问题出在哪？
最近在做一个企业知识库的RAG系统，用LangChain + bge-m3做检索，向量库用的Milvus。检索阶段top5的片段肉眼看都是相关的，但喂给Qwen2.5-7B之后，模型经常忽略检索内容，自己编答案。试过把temperature调到0.1，也加了“请严格根据以下上下文回答”的prompt，效果还是不稳定。想问下大家，这种情况一般是检索的问题还是生成的问题？有没有什么系统性的排查思路？
长期主义架构学习者
Prompt调了半天效果还是不稳定，大家是怎么做系统化测试的？
最近在做一个基于大模型的信息抽取工具，输入是用户发的商品评价，要抽出品类、情感倾向、是否提到物流这几个字段。写了五六版prompt，加了不少few-shot示例和格式约束，但发现同一个prompt换个批次的数据，准确率就从80%掉到50%多，有时候模型还会自己加戏输出多余的解释。现在每次改prompt都靠手动试几条case，感觉特别不靠谱，也不知道到底是prompt的问题还是模型本身波动。想请教一
小唐_React手记
刚入门LLM微调，LoRA和全量微调到底该怎么选？
最近想用Qwen2.5-7B在自己的数据集上微调一个垂直领域模型，数据量大概5万条左右，主要是问答对。显卡只有一张4090 24G，看网上说LoRA省显存但效果可能不如全量，全量又怕爆显存。试了下LoRA，loss降得挺快但推理时感觉模型有点“飘”，回答风格不太稳定。想问问大家实际项目中是怎么权衡的？是不是数据量够大就该上全量？还是说LoRA调参有什么坑我没注意到？求有经验的老哥指点一下。
金鱼正在学习
想用一张3090部署70B大模型，有什么低成本的量化方案吗？
最近想在自己机器上跑个70B级别的模型，手头只有一张3090（24G显存），看了一圈感觉显存完全不够用。试过llama.cpp的Q4量化版本，加载是能加载，但推理速度太慢了，基本没法正常对话。也考虑过用GPTQ或者AWQ，但看教程说70B至少也得两张卡才行。想问下各位大佬，有没有单卡24G能跑70B的可行方案？哪怕是牺牲一点质量也行，主要是想本地测试用。或者是不是我方向就错了，这个配置就不该碰70
会写字的数据人
刚入坑大模型微调，LoRA和全量微调到底该怎么选？
最近想用Qwen2.5-7B微调一个垂直领域的问答模型，手里只有一张4090 24G。看了好多教程，有人说LoRA省显存效果好，有人说全量微调才是正道，越看越晕。我数据量大概5000条左右，主要是想让模型学会行业术语和回答风格。试了一下LoRA，loss降得挺快但效果总感觉差点意思，是不是我rank设太小了？想问问大家实际项目里都是怎么选的，有没有什么经验可以分享一下，真心求教。
老程CoderLab
PyTorch 2.0的torch.compile在大模型训练上到底靠不靠谱？
最近在单卡A100上微调一个7B的模型，用HuggingFace的Trainer跑得好好的，但一开torch.compile就各种报错，不是graph break就是显存直接爆掉。看官方文档说能加速30%，可我这边折腾两天了连个完整的epoch都没跑下来。有没有实际在大模型预训练或微调里用起来compile的老哥？想问问你们是怎么处理dynamic shape和自定义算子这些坑的，还是说现在这玩意
实战派自动化炼金室
LangChain做多Agent协作，为什么总是陷入死循环或者答非所问？
最近在尝试用LangChain的AutoGen框架搭一个多Agent协作系统，一个负责规划、一个负责执行、一个负责审查。跑简单任务还行，但稍微复杂一点（比如让它们协作写一个爬虫脚本），规划Agent和执行Agent就开始互相甩锅，要么陷入无限循环互相确认，要么执行Agent直接忽略规划结果自己瞎写。我试过调temperature、改prompt、加max_iterations，效果都不太稳定。想问
野生开发者日常
用Copilot和Cursor写代码半年了，感觉离了AI就不会写代码了怎么办？
我是做后端开发的，半年前开始用Copilot和Cursor辅助写代码，刚开始确实效率提升很多，补全和生成代码都很爽。但最近发现一个严重的问题：现在遇到新需求，我第一反应不是自己思考怎么设计，而是直接让AI生成，然后改改就用。上周面试被问到一些基础算法和设计模式，发现自己脑子一片空白，明明以前都会的。想问问大家有没有类似经历，你们平时是怎么平衡AI辅助和自己独立思考的？是不是应该刻意减少使用频率？
半路开源爱好者日常
大模型做Agent总在工具调用上翻车，是我提示词的问题吗？
最近在做一个基于LLM的Agent小项目，主要是让它根据用户问题自主决定调用搜索、计算器和数据库查询这几个工具。用的是ReAct框架，模型是GPT-4。但发现一个很头疼的问题：明明问题很简单，模型却经常选错工具，或者参数格式对不上，导致执行失败。比如问“北京今天天气”，它非要去调数据库查询而不是搜索。我试过在prompt里加few-shot示例，也加了工具描述，但效果不稳定。想问问大家，这种工具调
猞猁喜欢开源日记
我要提问
大家都在搜
1
向量数据库选Milvus还是Qdrant？各自有什么坑？
5
2
大家做AI Agent的时候，工具调用的稳定性怎么保证？
4
3
直接用开源的7B模型做RAG，效果总是差强人意，有什么优化技巧？
2
4
MCP专区里用深度学习框架做模型部署，为什么推理速度比本地慢很多？
2
5
向量数据库选Milvus还是Qdrant？各自有什么坑？
1
6
大家做AI Agent的时候，工具调用的稳定性怎么保证？
1
7
直接用开源的7B模型做RAG，效果总是差强人意，有什么优化技巧？
1
8
LoRA微调到底需要多少数据？我准备了500条感觉还是不够
1
9
用LangChain做Agent时，工具调用总是选错，大家怎么优化prompt的？
1
10
写Prompt总是不稳定，是我描述有问题还是模型本身就这样？
1
11
写Agent的Prompt时，怎么让工具调用结果不被模型“脑补”？
1
12
RAG做多轮对话时，历史上下文到底该怎么塞进检索里？
1
13
RAG检索效果时好时坏，是我的chunk策略有问题吗？
1
14
MCP Server 本地跑通了但 Claude Desktop 一直连不上，有人遇到过吗？
1
15
大家部署本地大模型时，prompt模板到底该怎么管理才不乱啊？
1
16
向量数据库选型求助，Milvus和Qdrant到底怎么选？
1
17
PyTorch训练时GPU利用率忽高忽低，是DataLoader的锅吗？
1
18
向量数据库选Milvus还是Qdrant？各自有什么坑？
0
19
LoRA微调到底需要多少数据？我准备了500条感觉还是不够
0
20
直接用开源的7B模型做RAG，效果总是差强人意，有什么优化技巧？
0