AI Agent做多轮对话时，上下文记忆老是断，有什么好办法？
最近在试着用LangChain搭一个简单的AI Agent，功能是帮用户查资料并整理成摘要。单轮对话效果还行，但一旦用户连续追问，比如先问“帮我查一下Transformer论文”，接着又问“它的核心思想是什么”，Agent就经常接不上前文，要么把前一句的上下文丢了，要么把不同轮次的工具调用结果混在一起。我试过加大context窗口，但token开销太大了，而且有时候还是遗忘。网上看到有人用向量数据
路过的前端日常
PyTorch转TensorRT时，有哪些常见的踩坑点和优化思路？
最近在用PyTorch训练一个语义分割模型，准备部署到Jetson上，所以想把模型转成TensorRT。但折腾了两天，各种报错快把我整懵了。比如动态shape怎么处理？有些自定义算子（像F.interpolate）在onnx导出时总警告，转trt后直接报错。还有量化精度掉得厉害，int8比fp32掉了5个点，不知道是不是校准集没选好。另外，有没有办法在不重写网络结构的情况下，让TensorRT自动
边学边做全栈学习者
用vLLM部署Qwen2.5-7B，量化后显存占用和延迟对不上官方数据？
最近在试着把Qwen2.5-7B部署到一台双卡3090的机器上，用的vLLM框架，打算做点小规模对话服务。我参考官方文档选了AWQ 4bit量化，结果跑起来发现显存占用快18GB，比官方说的12-13GB大不少。而且首token延迟要3秒多，官方demo才0.5秒左右。我检查了模型路径、量化方式和batch size（设为1），感觉没毛病，是不是哪里参数写错了？或者是不是我显卡驱动版本太低（535
周末网络笔记
MCP微调时工具调用老是失败，是prompt写错了还是参数没对齐？
最近尝试用MCP协议微调一个轻量模型，想让它学会调用外部天气API。数据我按照官方示例整理了多轮工具调用记录，但微调后模型要么不触发tool_call，要么参数格式乱套（比如把location写成“北京”而不是“city:北京”）。
周末运维小站
RAG项目里用Milvus还是Chroma好？向量检索准确率总上不去
最近在做一个RAG项目，把PDF文档切片后用embedding模型转成向量存进向量数据库。一开始随便选了Chroma，但发现检索出来的片段经常跟问题不相关，比如问“治疗流程”却返回“用药禁忌”。试了调chunk大小和重叠，效果还是不行。听说Milvus性能好，但配置起来麻烦，而且我这数据量也就几万条。想问下各位老哥，是不是向量数据库本身对检索精度影响很大？还是说我该先换个embedding模型试试
周末运维小站
新手求问：用向量数据库做RAG时，embedding维度到底怎么选？
最近在搭一个简单的RAG问答系统，用OpenAI的text-embedding-3-small（1536维）存到Milvus里。但看网上有人说维度太高会降召回率，还有人推荐用384维的模型。我现在很纠结：是不是必须用PCA降维？如果换了低维模型，是不是要重新生成所有向量？另外，大家在实际项目里一般是固定一个embedding模型不动，还是会根据数据量动态调整？求有经验的大佬指点一下，感激不尽！
企业级Agent落地指南
中兴OEX超节点发布：全栈AI布局真能落地？
这次WAIC上中兴的展示确实有料，特别是OEX超节点的发布，标志着从底层算力到终端应用的AI生态闭环正在形成。技术层面，OEX超节点作为智算核心，其协同能力值得关注——它不只是堆算力，更强调极致协同，这对大规模分布式训练场景意义重大。全球首款AI智能体手机和新支点AIOS则说明中兴在端侧AI的野心，多形态人形机器人矩阵进一步拓展了应用边界。 个人经验来看，很多厂商的AI全栈方案往往停留在PPT层
任务正在思考观察员
微调时加了system prompt，模型反而变傻了，是我姿势不对吗？
最近在微调一个7B的基座模型，任务是要让模型能根据用户的问题和上下文，输出结构化的JSON回复。我在训练数据里每条都加了类似的system prompt，比如“你是一个专门处理XX任务的助手，请严格按照以下JSON格式输出……”。结果微调完一测，发现模型输出质量反而比没加system prompt的版本差很多，经常漏字段或者格式乱掉。 我有点懵，本来以为加system prompt能更好地约束
灯下写码记
大模型部署到本地后，Prompt怎么调都不听话，求指点
我自己用ollama部署了一个7B的模型（qwen2.5），想做个本地知识库问答。但发现同样的prompt，用官方API时回答很精准，部署到本地后输出就变得很啰嗦，还经常重复。我试着加“简洁回答”、“只输出答案”这些指令，效果也不稳定。是不是本地模型对system prompt的敏感度不一样？还是说我部署时的上下文长度设置有问题？有没有什么通用的prompt调试技巧？求过来人分享下经验，真的有点懵
全栈方法论
用LangChain做多Agent协作，任务调度总卡住，有大佬指点下吗？
最近在试着用LangChain搭一个多Agent系统，想让一个规划Agent拆解任务，再交给几个执行Agent并行处理。但实际跑起来，任务一多（比如超过5个），调度就经常卡住，有时候Agent之间还会互相等，甚至重复执行同一个子任务。我试过调timeout和max_iterations，但效果不稳定。是不是我任务队列设计有问题？还是说LangChain的AgentExecutor本身就不太适合高并
持续迭代创业成长记
用Prompt让AI Agent按固定流程走，为啥总是跑偏？
最近在折腾一个自动写日报的Agent，用GPT-4配合LangChain。我写了个很详细的Prompt，要求它先收集数据、再分析异常、最后生成总结，还给了例子。但实际跑起来，它经常跳过分析直接出总结，或者把数据跟总结混在一起。我试过加“必须严格按123步执行”这种强调，也试过分步Prompt，但效果不稳定。是不是我的Prompt结构有问题？还是说Agent本身就不适合这种强流程任务？求有经验的大佬
持续迭代创业成长记
用AI Agent写Python脚本，总改不对逻辑，是我prompt没写好还是工具本身局限？
最近在试Cursor和Claude的Agent模式，想让它帮我写一个自动整理项目里未使用的import语句的小脚本。我给了很具体的需求：扫描.py文件，用ast库分析，然后输出一个删除建议列表。结果Agent生成的代码要么漏掉了文件递归，要么把__init__.py给误删了。我改了好几版prompt，甚至把ast的官方文档片段贴进去，还是不太稳定。想问下大家，这种偏逻辑判断的任务是不是AI Age
长期关注解决方案随身笔记
刚用Milvus做RAG，向量检索结果总是不太对，有大佬指点下吗？
最近在搭一个基于开源模型（ChatGLM）的RAG问答系统，用Milvus做向量存储和检索。但测试时发现，检索出来的top-k文档经常跟问题不相关，比如问“怎么调优模型参数”，结果返回一堆环境配置的片段。我用的embedding是bge-large-zh，索引类型选了IVF_FLAT，nlist设了1024。是不是索引参数没调好，还是embedding模型本身对长文本支持不行？另外，有没有必要先做
一只熊猫住在云端日记
部署Llama 3.1 8B到生产环境，显存总是爆怎么办？
最近在搞一个内部问答机器人，打算用Llama 3.1 8B的量化版本（Q4_K_M，大概5GB），部署到两卡A100上做推理。但是实际跑起来，单次prompt稍微长一点（比如2k tokens）就报OOM，显存直接飙到40G+。我查了vLLM的文档，试了tensor parallel和flash attention，但效果不明显，甚至有时候推理速度更慢了。想请教下各位大佬，是不是我模型加载方式不对
一只熊猫住在云端日记
RAG做代码问答时，检索到的片段总是不完整，有没有好的chunk策略？
最近在用RAG做一个内部代码库的问答助手，目的是让团队能快速查某个函数怎么用、或者某段逻辑在哪。但我发现一个问题：我用的是按行数固定切分chunk，比如每200行一段，结果经常把完整的函数体或者类定义切断了，检索出来的片段前言不搭后语，回答也就很鸡肋。试过按token切也没好到哪去。有没有大佬用过基于语法树的切分？或者结合注释、import语句做智能分段？我用的是LangChain + OpenA
野生产品经理日常
用向量数据库做RAG，文本分段和embedding到底该怎么选？
最近在搭一个企业内部知识库的RAG系统，用的Milvus。数据主要是PDF和Word文档，内容长短不一，有的几页，有的上百页。我现在遇到的问题是：文本分段到底按固定长度（比如512 tokens）好，还是按语义段落来分？分段太碎的话，检索出来上下文不完整；分段太长，embedding又容易丢失细节。另外，我用的是bge-large-zh，但感觉对一些专业术语的语义理解不太准，是不是该换别的模型？有
周末安全手记
用开源模型做Prompt工程，感觉像玄学，大家有系统性的方法吗？
最近在搞一个文本分类任务，用Llama 3.1 8B和Qwen2.5 7B本地跑。发现同样的prompt模板，换一个数据集效果就崩了，比如给几个few-shot例子后，模型有时会直接复制例子里的标签而不是理解语义。试过调整角色设定、加分隔符、甚至用CoT拆步骤，但感觉全靠瞎猜，没有一个能复现的套路。想问下各位大佬，做prompt工程时，你们是会先分析模型对哪些关键词敏感，还是直接上API试错？感觉
周末安全手记
用向量数据库做语义搜索，为啥召回结果总是不太对劲？
最近在做一个知识库问答的小项目，用的是Milvus + BGE中文embedding模型，数据量大概几十万条。我先把文档切成长句（平均60-80个token），然后直接存向量。但实际搜索时发现，有些明显相关的内容（比如“苹果公司”和“iPhone销量”）召回分数很低，反而一些语义不相关但关键词重合多的结果排前面。我试过调索引参数（IVF_FLAT的nlist从1024改成4096），也试过换cos
周末安全手记
我要提问
大家都在搜
1
MCP服务器接入深度学习框架，有现成方案还是得自己写？
12
2
RAG里给LLM的prompt到底该写多细？我快调吐了
12
3
RAG召回效果差，是不是我分块方式有问题？求大佬指点
10
4
用LoRA微调Llama3做Agent工具调用，效果总是不稳定怎么办？
9
5
部署7B模型微调API，显存够用但推理速度只有2 token/s正常吗？
9
6
向量数据库选型纠结死了，Milvus和Chroma到底怎么选？
9
7
RAG检索老召回不相关片段，是chunk切法问题还是embedding模型选错了？
9
8
RAG检索老是把关键信息截断，是不是chunk切法有问题？
8
9
MCP服务器连本地大模型一直超时，是配置问题还是我的姿势不对？
8
10
RAG里Agent多轮查询后上下文爆炸，大家都是怎么处理的？
8
11
Claude 3.5 Sonnet写前端时，为什么总爱自作主张重构我的代码？
8
12
MCP 工具调用总是超时，是我哪里配置错了吗？
8
13
Agent写Prompt总是“自说自话”，怎么让它更懂我的业务？
7
14
RAG里做Prompt工程，到底该把精力花在system还是query改写上？
7
15
PyTorch转ONNX后推理速度反而变慢了，是我的导出姿势不对吗？
7
16
RAG召回效果差，是切分太粗还是Embedding模型选错了？
7
17
大家用Qwen2.5写代码时，补全结果总是“半截”怎么破？
7
18
RAG召回精度上不去，是切分粒度问题还是embedding模型选型不对？
7
19
RAG里向量数据库到底怎么选？Milvus还是Chroma，头秃了
7
20
用Prompt让Claude写Python脚本，总是漏掉异常处理怎么办？
7