向量数据库召回率总上不去，除了调topk还能做啥？
最近在做一个文档问答的RAG项目，用的Milvus存了大概50万条chunk，embedding模型是bge-large-zh。目前遇到的问题是：用户问一些比较具体的问题时，召回的top5里经常混进去一些语义相近但完全不相关的内容，反而真正的答案被挤到十几名开外。我已经试过调相似度阈值、换距离算法（L2和IP都试了），也试过加粗粒度过滤（比如按文档类型先筛一遍），效果都不太稳定。想问下各位老哥，除
深夜开源工作台
部署本地大模型做Agent是不是伪需求？求真实体验
最近在折腾用ollama部署Qwen2.5-7B，想给个人知识库做个简单的Agent。但发现两个问题：一是单机跑7B模型，推理速度太慢，一个简单查询要等十几秒；二是拿它调function calling，经常理解错参数，要么乱传要么干脆不调。看网上都说本地部署保护隐私、可定制，但实际用起来体验跟API差太多了。有没有在真实项目里把本地大模型当Agent核心用的？你们是怎么解决速度和准确率问题的？还
周末深度学习方法论
向量数据库选型翻车了，求大佬们指点下RAG生产环境避坑经验
最近在做企业知识库的RAG项目，数据量大概200万条文档切块后的向量，用的Milvus集群（3节点）。测试环境一切正常，一上生产就频繁出现查询延迟抖动，从20ms飙到2s，而且召回率明显下降。看了监控发现是段合并和索引构建抢了CPU资源，但业务又要求近实时写入。现在纠结要不要换Qdrant或者Weaviate，还是说调整Milvus的段参数就行？另外，分片和副本数怎么配比较合理？有没有做过类似规模
认真程序员日常
用向量数据库做RAG，为什么加了元数据过滤反而变慢了？
最近在搞一个知识库问答，用的pgvector存了几万条文档向量。本来直接相似度搜索挺快的，结果我为了按用户ID过滤数据，在SQL里加了WHERE user_id = xxx，查询时间直接从100ms飙到800ms。我看了下执行计划，它好像先做了向量索引扫描再过滤，感觉没走对。有没有大佬遇到过类似情况？是应该用HNSW的filter参数，还是说建个复合索引？另外，我测试的时候发现过滤基数太小（比如只
野生全栈手记
写了个“角色扮演”Prompt，GPT总是跳出人设，怎么调都崩
最近在搞一个偏创意的项目，想让GPT扮演一个毒舌但内心温柔的老程序员，用这种风格帮我review代码。我写了很详细的system prompt，包括语气、口头禅、回复长度，甚至给了几个few-shot示例。但实际跑起来，前三轮还挺像，聊到第五六轮就开始“崩人设”了——突然变得很正经，甚至直接说“作为AI助手我无法……”这种话。
海边赶路集
写Prompt时temperature和top_p到底怎么配？调了一天有点懵
最近在调一个RAG问答的prompt，发现LLM输出总是要么太死板（照着文档念），要么太飘（自己脑补）。试着调temperature和top_p，但感觉这两个参数作用有点重叠？比如temperature调低到0.2，top_p设0.9，输出还是不稳定。也试过先top_p后temperature的组合，但效果时好时坏。网上教程都说得模糊，什么“temperature控制随机性，top_p控制核采样”
慢慢变强创业成长记
RAG微调到底该调什么？只调embedding还是连LLM一起调？
最近在做垂直领域的RAG，用的bge-large和qwen2.5-7b。知识库是某行业标准文档，检索出来的chunk确实相关，但生成答案还是太“泛”，感觉模型没吃透文档里的细节规范。看了一些教程，有的说RAG只需要微调embedding模型让检索更准，有的说连生成模型一起LoRA效果才明显。我现在有点懵——如果检索已经能拿到top5相关片段，那生成答案不准确是不是因为LLM本身没“记住”文档里的规
文档正在思考的程序员
MCP工具调用失败后，微调模型时该怎么构造训练样本？
最近在做一个内部工具助手，走MCP协议接了好几个服务。发现模型在调用工具时经常出现参数格式错、或者选错工具的情况，尤其是一些模糊指令。我想通过微调来改善，但卡在数据准备上——网上教程大多是对话类微调，很少有讲工具调用场景的。想问问大家：MCP工具调用的训练样本该怎么构造？是把function call和结果都拼进对话里，还是单独做个工具选择任务？另外，微调时要不要把工具描述也加进去？有点迷茫，求过
阿南Data手记
调了三天Prompt，Agent还是分不清“查天气”和“查日历”，求指点
最近在做一个简单的日程助手Agent，用Function Calling让模型调用天气API和日历API。问题是，用户说“明天出门要不要带伞”它知道调天气，但说“明天几点开会”它就卡住了，偶尔能调日历，更多时候直接瞎编一个时间。我试过在System Prompt里画蛇添足地写“当涉及日程时调用日历”，也试过给Function Description加例子，效果都不稳定。是不是我的意图识别思路不对？
持续研究战略工具箱
用vLLM部署Qwen2.5-7B，显存占用飙升到40G正常吗？
最近在折腾本地部署，照着教程用vLLM跑Qwen2.5-7B-Instruct，开的是默认配置（gpu-memory-utilization=0.9，max-model-len=8192）。结果nvidia-smi一看，显存直接干到39.8G，我4090都差点爆了。但看别人博客说同样配置也就20G出头，差距有点大啊。我怀疑是不是我的transformers版本和vLLM不兼容，或者启动参数漏了什么
数据库别催的程序员
RAG部署后回答总是漏关键信息，是检索问题还是生成问题？
最近用LangChain搭了一个本地知识库RAG，embedding用的bge-large-zh，向量库是Milvus，LLM接的Qwen2.5-7B。测试的时候发现，问一些跨章节的综合问题，比如“某项目的技术方案和预算对比”，检索出来的chunk明明包含相关数据，但最终回答总是漏掉预算那部分细节。我试过调top_k从3改到5，也试过换chunk_size从500改成300，效果还是不稳定。想问问
认真做创新拆解所
向量数据库做Agent记忆时，到底该存“原始文本”还是“embedding+原文”？
最近在搭一个带长期记忆的Agent，用LangChain接的Chroma和Pinecone。看官方文档懵了：有的教程让直接存用户对话历史的向量，有的说还要把原始文本一起塞进metadata里，还有的推荐只存embedding，说省空间。我现在是每次对话都把整段历史重新向量化再存进去，结果token消耗爆炸，检索还老返回重复的旧内容。想问下实际工程里，大家存记忆的字段结构一般怎么设计？有没有必要做时
稳步前行人工智能修炼册
RAG检索老召回无关片段，是切块粒度问题还是embedding模型选错了？
最近在搭一个基于本地技术文档的RAG问答，数据是几百篇Markdown，总token大概50万。我用的bge-large-zh，固定切块512字、重叠128，top_k取5。结果发现很多问题召回的片段和问题关联度很低，比如问“怎么配环境变量”却召回一堆讲API参数默认值的段落。调过相似度阈值，要么漏检要么还是不准。想问问各位老哥，这种场景是不是应该先做章节级切块再二次检索？或者换一下embeddi
认真做商业随身笔记
用向量数据库做Agent长期记忆，召回不准还老串台，是我姿势不对吗？
最近在搭一个个人知识库Agent，用LangChain+Chroma存对话历史，打算让Agent有“记性”。我是按时间窗口切块存的，每条记录带时间戳和session_id，查询时用similarity_search加上filter过滤。但实际用下来发现两个问题：一是隔几天问同样的问题，它经常召回很旧且不相关的片段，反而把最近的对话漏了；二是两个不同项目的讨论内容会互相干扰，感觉向量上太像了。我试过
小白_DevLab
PyTorch转ONNX再转TensorRT，动态batch一直报错，有人踩过这坑吗？
最近在部署一个分割模型，本地用PyTorch跑没问题，但上了TensorRT就各种不对。我是先转ONNX再转TRT，固定batch（比如1）就正常，但一开动态batch（min=1，opt=4，max=8）就报“Assertion failed: engine->getBindingDimensions(bindingIndex).nbDims == 4”之类的错。搜了一圈，有说要在ONNX里显式
依赖暂时正常观察员
Prompt Engineering学到什么程度算入门？有没有进阶路线？
Prompt Engineering学到什么程度算入门？有没有进阶路线？ 最近在这个方向上踩了不少坑，想听听大家的实际经验。
小许_Growth手记
RAG系统检索质量差，是不是我chunk切法有问题？
最近在做一个人事制度问答的RAG demo，用的bge-m3 + faiss + qwen。制度文档里有大量表格和条款引用，我一开始按markdown标题切chunk，每块500字左右。结果发现很多问题：比如用户问“年假和事假冲突怎么算”，系统老是检索到讲“年假定义”的段落，而不是真正讲“请假审批流程”的那段。我试过加长chunk到800字，也试过加overlap，效果都不稳。想请教下大家，这种带
周末安全手记
部署Qwen2.5-7B本地服务，显存够但推理慢得离谱，是哪里配置不对？
最近在折腾本地部署Qwen2.5-7B-Instruct，用的vLLM，显卡是4090（24G显存）。模型加载没问题，显存占用大概14G，但跑起来生成速度只有8-10 tokens/s，看别人帖子说同样配置能到40+。我试过调`--max-model-len`、`--gpu-memory-utilization`，也换了FlashAttention，还是没改善。CPU和内存占用都不高，GPU利用率
深夜低代码实验室
我要提问
大家都在搜
1
向量数据库选Milvus还是Qdrant？各自有什么坑？
6
2
大家做AI Agent的时候，工具调用的稳定性怎么保证？
4
3
直接用开源的7B模型做RAG，效果总是差强人意，有什么优化技巧？
2
4
写Prompt总是不稳定，是我描述有问题还是模型本身就这样？
2
5
MCP专区里用深度学习框架做模型部署，为什么推理速度比本地慢很多？
2
6
写Agent的Prompt时，怎么让工具调用结果不被模型“脑补”？
2
7
PyTorch 训练大模型时 loss 突然变成 NaN，重启后又正常，有人遇到过吗？
2
8
向量数据库选Milvus还是Qdrant？各自有什么坑？
1
9
大家做AI Agent的时候，工具调用的稳定性怎么保证？
1
10
直接用开源的7B模型做RAG，效果总是差强人意，有什么优化技巧？
1
11
LoRA微调到底需要多少数据？我准备了500条感觉还是不够
1
12
用LangChain做Agent时，工具调用总是选错，大家怎么优化prompt的？
1
13
RAG做多轮对话时，历史上下文到底该怎么塞进检索里？
1
14
RAG检索出来的内容很多重复，是我的切分方式有问题吗？
1
15
RAG检索效果时好时坏，是我的chunk策略有问题吗？
1
16
MCP Server 本地跑通了但 Claude Desktop 一直连不上，有人遇到过吗？
1
17
大家部署本地大模型时，prompt模板到底该怎么管理才不乱啊？
1
18
向量数据库选型求助，Milvus和Qdrant到底怎么选？
1
19
向量数据库选Milvus还是Qdrant？各自有什么坑？
1
20
Prompt Engineering学到什么程度算入门？有没有进阶路线？
1