用LangChain搭Agent时，工具调用顺序总是乱，如何控制？
最近在用LangChain搞一个多工具Agent，场景是用户问“帮我查一下天气，然后顺便发个邮件提醒”。我定义了搜索天气和发送邮件两个工具，但Agent有时候先调邮件，有时候先调天气，甚至有时会重复调用。我查了一下文档，好像有个AgentExecutor和planning相关的参数，但没太搞明白怎么设置执行顺序。有没有老哥遇到过类似问题？是应该用Structured Tool对话模式，还是自己写一
项目管理工作台
用LangChain搭Agent调用大模型，总是超时或卡住怎么办？
最近在试着用LangChain做个简单的Agent，调用OpenAI的API去让模型执行一些工具操作（比如天气查询、计算器），但经常遇到请求超时或者模型“发呆”不返回结果的情况。我试过调高timeout参数，但好像没什么用。是不是我的prompt设计有问题？还是这个框架本身就不太稳定？有经验的大佬能指点一下吗？我现在用的是gpt-3.5-turbo，本地跑一个简单的循环，感觉连最基本的工具调用都老
小林Docker手记
部署RAG时中文分块总是切碎语义，大家怎么调chunk参数的？
最近在搭一个基于本地知识库的RAG问答系统，用的bge-large-zh做embedding，chunk_size试了256和512，结果中文长文本经常把完整句子或者逻辑段落切碎，比如“根据《数据安全法》第二十一条”被拆成两半，检索时匹配率很低。试过加overlap，但感觉治标不治本。想问下大家，有没有针对中文语义的chunk策略？或者用递归字符分割器时，separators怎么设比较合理？顺便求
路过的前端日常
用Milvus做RAG时，文档切分和向量维度到底怎么配才不翻车？
最近在搭一个基于本地大模型的RAG问答系统，数据是几十份技术文档（pdf和markdown都有）。我选了Milvus做向量库，但卡在预处理这块了：文档切分用500字还是1000字？试了不同块大小，检索出来的结果时好时坏。还有向量维度，我用bge-large-zh-v1.5默认是1024维，但看有人用384维也能跑。是不是维度越低检索越快？但会不会影响召回率？另外，embedding模型和切分策略之
阿运维人手记
部署7B大模型到生产环境，显存不够用怎么办？
最近在尝试把微调好的7B模型（基于Llama架构）部署到线上做实时推理，用的是TorchServe，单张RTX 4090 24G显存。模型加载后直接占满显存，处理单个请求就OOM了。试了FP16和4bit量化，但4bit后推理速度慢了一倍，而且偶尔输出乱码。网上说的vLLM、TGI这些框架真的能省显存吗？还是我得换A100？另外，有没有办法像GPU共享那样，让多个小请求复用同一个模型实例？求有经验
阿运维人手记
用vLLM部署7B模型，QPS上不去，GPU利用率才30%怎么回事？
最近在尝试用vLLM部署一个微调过的Qwen2.5-7B模型，单卡A100，开了tensor parallel=1，max_num_seqs设到了256。压测的时候发现QPS只能到10左右，GPU利用率一直在30%晃荡，显存倒是跑满了。我看别人都说7B能跑到30-50 QPS的，是不是我参数设置有问题？还是vLLM版本太旧？或者是不是我的prompt太长（平均1.5k tokens）导致的？有没有
南窗写诗记
用Prompt调教GPT写SQL老翻车，有没有系统的方法论？
最近在做一个内部数据分析工具，想用GPT帮我自动生成一些复杂SQL（多表Join、窗口函数那种）。试了几天，效果时好时坏：有时候给个简单例子能跑通，一换真实表结构就疯狂幻觉，甚至凭空捏造字段名。 我现在做法是先把表结构贴进Prompt里，再写清楚需求，但感觉还是靠运气。想问下各位大佬，有没有什么系统性的Prompt工程方法，比如模板结构、示例格式、角色设定之类的，能稳定提升SQL生成准确率？
周末安全手记
写Prompt总是不稳定，有没有靠谱的结构化模板能参考？
最近在做一些用GPT辅助代码分析的小项目，目标是让它从一段Java日志里提取异常栈和业务上下文，然后给出修复建议。但我发现同一个Prompt，有时候输出很精准，有时候却答非所问，甚至直接开始编造日志内容。我试过加few-shot示例、调temperature，但效果时好时坏。看到群里有人说用“角色+任务+输出格式+约束条件”这种结构化写法，但具体怎么搭还是拿不准。想请教一下，有没有经过实战验证的P
周末安全手记
RAG系统用开源模型做embedding，到底选bge还是text2vec？
最近在搭一个本地化的RAG知识库，主要用来处理公司内部的技术文档（中英文混杂）。看了不少教程，发现很多推荐bge-large-zh-v1.5，但也有人说text2vec-base-chinese效果更好。我实际试了一下，感觉bge对英文片段的理解确实好一点，但中文长句子的召回率反而没text2vec高。而且我在用FAISS做向量检索时，发现bge生成的向量维度太高（1024维），检索速度有点慢。想
深夜知识管理研究所
RAG用向量数据库做语义检索，为什么有时候召回的结果完全不对？
最近在搭一个基于大模型的知识问答系统，用的ChromaDB存文本向量，模型是BAAI/bge-large-zh-v1.5。测试时发现，有些用户问“公司年假规定”，返回的top3结果里却混入了“加班调休制度”和“考勤打卡异常处理”的段落，明明语义差挺多的。我自己也试着用余弦相似度算了一下，感觉分数差距不大。想请教下各位，这种“看似相关实则不相关”的问题，通常是什么原因导致的？是embedding模型
企业级大模型落地指南
RAG系统里用Prompt让LLM“不知道就说不知道”，效果总不理想
最近在搭一个简单的RAG问答系统，用的开源Embedding+GPT-3.5。我发现一个问题：当检索到的文档里确实没有答案时，模型还是容易瞎编。我看网上说可以在System Prompt里加“如果你不知道答案，请直接说不知道”，但实际试下来效果很飘——有时候明明相关文档缺失，它还是强行推理出一段话。我试过把检索阈值调高，但那样召回率又太低。想请教下大家，有没有更稳定的Prompt写法，或者是不是需
企业级大模型落地指南
RAG里向量数据库的Embedding维度到底怎么选？128和768差距大吗？
最近在用LangChain搭一个简单的RAG问答系统，主要处理一些内部文档（大概几万篇技术手册）。看教程里有人用OpenAI的ada-002（1536维），有人用sentence-transformers的all-MiniLM-L6-v2（384维），我自己试了试128维的小模型，发现检索出来的结果有时候不太准。想问下各位大佬，Embedding维度对检索准确率影响到底有多大？是不是维度越高效果越
树懒收集工具日记
新手求问：用PyTorch跑千问7B微调，显存一直爆该怎么办？
最近想自己微调一下Qwen2.5-7B模型做垂直领域任务，用的两张4090，显存24G。试了LoRA，batch_size调到1，gradient_accumulation_steps也设了4，但跑不到几百步就OOM。看HuggingFace官方文档说用bitsandbytes量化到4bit可以省显存，加载是成功了，但训练时loss反而比fp16高不少，不知道是不是我参数设错了？另外，有没有必要用
持续研究创新案例库
请教大佬们，8卡3090部署70B模型怎么切分才能不爆显存？
最近在折腾本地部署，想用vLLM跑一个70B的模型（比如Llama 2 70B），手头是8张3090（24GB）。按道理8*24=192GB显存，应该够吧？但实际启动时老是OOM，查了资料发现可能跟张量并行和流水线并行的切分方式有关。我试了tensor-parallel-size=8，结果每张卡显存直接冲到22GB，推理速度也慢得离谱。想问下各位，这种情况是不是应该用pipeline-parall
持续研究创新案例库
用向量数据库做语义搜索，召回率一直上不去怎么办？
最近在用Milvus做一个知识库的语义搜索项目，数据是几千篇技术文档，用的bge-large-zh模型转的768维向量。实际跑下来发现，有些语义明显相关的文档排在很后面，甚至没召回到，而一些关键词匹配的反而排前面了。我目前就用了内积距离和IVF_FLAT索引，参数也没怎么调。是不是索引类型选错了？还是embedding没对齐？或者需要加个reranker？希望有经验的朋友指点一下，先谢谢了。
实战派LLM应用札记
用COT提示词写Python排序，结果越写越慢，是我姿势不对吗？
最近在学Prompt工程，想试试用思维链（Chain of Thought）让GPT-4帮忙优化一个简单的冒泡排序。我给了它一个非常详细的步骤：先分析时间复杂度，再分解成“比较-交换-重复”的流程，最后让它写一个改进版本。结果它给我生成了一堆复杂的递归和lambda表达式，跑起来比原始冒泡还慢好几倍……是我对COT理解有误，还是说这种优化任务其实不适合用链式提示？另外，如果我想让模型输出更高效的排
队列正在加载求生记
AI Agent的多步任务中，怎么让大模型别“忘记”之前的上下文？
最近在玩LangChain搭Agent做复杂任务，比如让模型先查数据库再调用API，最后总结结果。但发现当任务步骤变多（比如超过3步），模型经常在中间步骤“失忆”，比如生成SQL查询时还记得要查用户表，到后面调用API时却忘了之前查到的用户ID。我试过把历史记录全塞进prompt，但token一长效果反而变差，还会把无关信息带进去。有没有大佬分享下，在Agent设计里，是用记忆模块（比如向量库存关
不熬夜的云原生玩家日常
RAG+Agent做多轮对话时，文档检索总丢上下文怎么办？
最近在搭一个简单的AI Agent，用RAG做知识库检索。单轮问答效果还行，但一进入多轮对话就出问题——比如用户先问“今年的财报营收如何”，我检索了相关文档，回答后他接着问“那利润呢”，结果Agent把“利润”当成一个新问题去检索，没结合上一轮的“财报”和“今年”。我试了把历史对话拼进query，但检索结果反而变杂了，有时还跑偏。想请教下大家：怎么设计检索策略才能让Agent在多轮里保持上下文一致
云端猞猁爱写代码
我要提问
大家都在搜
1
RAG里给LLM的prompt到底该写多细？我快调吐了
12
2
RAG召回效果差，是不是我分块方式有问题？求大佬指点
10
3
向量数据库选型纠结死了，Milvus和Chroma到底怎么选？
10
4
部署7B模型微调API，显存够用但推理速度只有2 token/s正常吗？
9
5
RAG里Agent多轮查询后上下文爆炸，大家都是怎么处理的？
9
6
RAG检索老召回不相关片段，是chunk切法问题还是embedding模型选错了？
9
7
MCP 工具调用总是超时，是我哪里配置错了吗？
9
8
部署Llama 3 8B微调模型，显存够但推理极慢，是量化问题还是我姿势不对？
8
9
PyTorch转ONNX后推理速度反而变慢了，是我的导出姿势不对吗？
8
10
RAG检索老是把关键信息截断，是不是chunk切法有问题？
8
11
MCP服务器连本地大模型一直超时，是配置问题还是我的姿势不对？
8
12
Claude 3.5 Sonnet写前端时，为什么总爱自作主张重构我的代码？
8
13
用Prompt让Claude写Python脚本，总是漏掉异常处理怎么办？
8
14
用LoRA微调自己的模型，为什么生成质量反而变差了？
8
15
向量数据库到底怎么选？Milvus和Chroma把我整不会了
8
16
用LangGraph写Agent总在工具调用循环里出不来，怎么设计终止条件？
8
17
RAG召回效果差，是切分太粗还是Embedding模型选错了？
7
18
大家用Qwen2.5写代码时，补全结果总是“半截”怎么破？
7
19
MCP服务器接入深度学习框架时，模型推理的上下文该怎么管理？
7
20
RAG召回精度上不去，是切分粒度问题还是embedding模型选型不对？
7