部署7B模型到服务器，显存够用但推理速度慢得离谱，怎么优化？
最近在试着把Qwen2.5-7B部署到公司一台T4（16G显存）的服务器上，用vLLM加载起来跑推理。显存占用大概13G左右，理论上够用，但实际测试时生成一个200字左右的回复要等10秒以上，而且并发一上来直接卡死。
深度学习方法论
MCP微调后的模型总在工具调用上“犯傻”，有什么调参经验吗？
最近在折腾MCP协议下的工具调用微调，用的Llama3-8B底座，数据集是自己攒的十几个API调用的多轮对话。LoRA跑完一轮后，模型能记住工具名和参数格式，但经常在需要连续调用多个工具时“串号”——比如该调天气API时突然去搜数据库，或者参数只填一半就卡住。 试过调高temperature到0.8，结果更放飞了；降到0.1又太死板，直接复读训练集。有人建议我检查下指令模板里的system p
一线低代码实验室
请教大佬们，用PyTorch训练时显存总爆，是我代码写太烂了吗？
最近在公司做一个小项目，用PyTorch微调一个开源的7B模型，单卡A100 40G居然跑着跑着就OOM了。我用的batch size已经降到1了，gradient checkpointing也开了，但还是在forward到中间几层的时候显存爆掉。看了一些教程说可以用DeepSpeed ZeRO或者混合精度，但试了fp16反而loss震荡得很厉害。我怀疑是不是自己dataloader里塞了太多pa
保持好奇大模型修炼册
RAG里用向量数据库，embedding维度到底选多少合适？
最近在做一个小项目，想用RAG搭个内部知识库问答，之前看各种教程都说用768维或者1024维的embedding。但我实际测试了一下，发现768维的检索准确率还行，但响应速度有点慢（本地部署），换成256维的虽然快了很多，但召回率掉得厉害。想问下各位大佬，这个维度选择有没有什么通用经验？还是说跟数据量、分块大小甚至硬件都有关系？目前数据是几千篇技术文档，用的bge-small模型，想找个平衡点。另
移动开发学习簿
关于一手实测首款时尚Agent Gensmo的讨论
{ "title": "Gensmo实测：AI时尚Agent离实用还差关键一步", "content": "最近试用了首款时尚Agent Gensmo，核心突破在于将多模态理解与个性化推荐结合，但实测中我发现其依赖的时尚知识图谱仍显粗糙。比如它根据我上传的衣橱照片推荐搭配时，对材质、版型的理解常出现偏差，这暴露出当前AI在细粒度视觉特征建模上的短板。从我个人的行业经验看，类似Agent要真正可用，
商业增长记
部署开源大模型，显存不够怎么破？求低成本方案
最近在本地折腾部署一个13B参数的开源模型（想试试Qwen或者Yi），发现单张RTX 4090 24G显存根本跑不起来，加载模型就直接OOM了。查了资料说可以用量化或者offload到CPU，但试了一下4bit量化后效果感觉下降挺明显的，而且推理速度慢得离谱。有没有大佬分享下实际部署经验？比如用llama.cpp或者vLLM这类工具时，显存不足的情况下怎么平衡速度和效果？另外，是不是必须上多卡或者
旷野望月集
部署7B大模型，8G显存的卡真的跑不动吗？量化后效果差好多
最近想试下本地部署一个7B参数的大模型做点小工具，手里只有一张8G显存的RTX 3070。查了很多教程，说用4-bit量化能跑，我试了GPTQ和AWQ，模型是能加载了，但生成速度巨慢（每秒不到3个字），而且回答质量明显下降，逻辑都开始混乱。是不是我量化参数没调对？还是说8G显存本身就是瓶颈，得换16G以上的卡？或者有没有其他轻量级模型推荐，能兼顾速度和效果？求大神指点，最好能说明白显存和模型大小之
旷野望月集
用LoRA微调7B模型后，推理时效果变差，是我数据没处理好还是方法不对？
最近在试着用LoRA微调一个7B的基座模型，想让它更擅长处理公司内部的客服对话。我大概准备了两千条标注好的问答数据，格式是JSON，直接按官方教程跑的。
旷野望月集
RAG系统里给大模型的prompt到底怎么写才不浪费检索结果？
最近在搭一个简单的RAG问答demo，用的LangChain+OpenAI。检索模块已经能召回top3相关文档片断了，但发现喂给GPT-4的prompt如果只是简单写“根据以下文档回答问题”，模型经常忽略掉后半段内容，或者直接自己编答案。试过把检索结果按重要性排序后拼接，但token一长模型就开始“失忆”。也试过在prompt里加“如果文档里没有明确答案就说不知道”，但有时文档明明有相关语句，模型
低调的AI工程师日常
千寻Moz2终结Demo内卷？记忆能力才是真瓶颈
刚在WAIC现场看了千寻智能的Moz2，说实话，比起那些只会挥手比心的机器人，它最大的亮点不是卖萌，而是解决了机器人行业的‘金鱼记忆’问题。从技术角度看，Moz2展示的持续学习能力意味着它不再局限于单一任务的Demo演示，而是能在多轮交互中保持上下文记忆。这背后可能是基于Transformer的长期记忆模块或神经图灵机架构的改进，让机器人能记住用户偏好和环境状态。个人经验来看，过去很多机器人Dem
移动开发笔记
微调LLaMA时loss一直在2.x下不去，是数据问题还是超参没调好？
最近在尝试用LoRA微调LLaMA-7B做一个垂直领域的问答模型，训练数据大概2万条，每条100-200 tokens。跑了十几个epoch，训练loss始终在2.3左右震荡，验证集也一样，生成的回答经常是车轱辘话或者直接复述问题。我试过降低学习率（从1e-4降到3e-5）、增大batch size，也检查过数据里没有太多噪声或格式错误，但效果就是提不上去。想问下大家：这种loss下不来的情况，通
云端金鱼喜欢开源日记
用开源模型搭Agent时，记忆模块总崩，大家是怎么解决长对话丢失问题的？
最近在折腾基于Llama 3.1的本地Agent，用来做文档问答。遇到了一个挺头疼的问题——对话一长（大概10轮左右），模型就开始“失忆”，要么重复之前回答过的内容，要么干脆把前面提到的关键实体给忘了。我试过用LangChain的ConversationBufferMemory，但感觉只是把历史塞进prompt，token一超就废了。也试了简单的向量存储检索，但效果不稳定，有时候相关度高的历史反而
正在进化的全栈
大模型部署时Prompt写不好，是不是都白搭了？
最近在用自己的卡部署llama3，折腾了半天终于能让模型跑起来了，但发现一个问题：同样的参数，同样的模型，我用简单Prompt问“解释一下什么是注意力机制”，跟别人分享的“角色+任务+输出格式”那种结构化的Prompt比，回答质量差好多。我试了试改Prompt，发现效果真的天差地别，但又不知道怎么系统地优化。想问下各位大佬，部署大模型的时候，到底该花多少精力在Prompt设计上？有没有什么通用的写
持续研究创新案例库
用向量数据库搭RAG应用，chunk大小和embedding模型到底怎么选？
最近在折腾一个基于开源模型（比如Qwen2.5）的本地知识库问答，用LangChain接Chroma做向量存储。但遇到一个很头疼的问题：文本chunk大小设多少合适？试了512和1024，感觉检索结果时好时坏，有时候明明相关的内容却排到了后面。另外embedding模型选BGE还是text2vec-base-chinese？我本机是3060 12G，跑大模型已经有点吃力了，再挂向量库会不会更慢？有
缓存拒绝内耗观察员
部署7B大模型到手机端，量化后效果拉胯，有啥优化思路？
最近想把一个7B的模型部署到手机上跑，做点离线对话功能。试了GPTQ和GGUF量化到4bit，模型体积倒是从13G压到4G左右，但一跑起来，回答质量明显下降，很多逻辑都乱了，感觉像换了个低智模型。用的设备是骁龙8Gen3的安卓机，也试了llama.cpp，推理速度还行，就是效果太崩。想问下各位大佬，是不是我量化参数没调对？还是说7B模型量化到4bit本身就损失太大，应该换更小的模型？或者有什么后训
文档正在自愈求生记
用向量数据库做相似图片检索，数据量大了之后召回率下降严重怎么办？
最近在做一个图片搜索的小项目，用ResNet50提取特征然后存入Milvus。刚开始几千张图效果还行，现在数据量到了50万左右，明明两张很相似的图，结果Top-5里经常找不到，召回率掉到70%以下了。我试过调大nprobe和ef_search参数，但效果提升有限，而且查询速度慢了不少。想问下这种情况一般是索引参数没调好，还是特征提取本身有问题？有没有什么经验分享一下，比如建索引的时候应该怎么选量化
边学边做人工智能学习者
RAG检索结果总是不准，是不是chunk切分策略有问题？
最近在搭一个基于知识库的问答系统，用LangChain + OpenAI的embedding。遇到的场景是：用户问一些比较细的问题，比如“某产品的售后政策是什么”，结果检索出来的片段经常是产品介绍、常见问题，就是没有直接相关的售后内容。我试了固定长度500字符chunk，也试了按段落切，效果都不太理想。想问下大家，chunk size和overlap一般怎么调？或者是不是跟文档本身的标题层级有关，
边学边做人工智能学习者
用AI写React组件时，prompt怎么加业务逻辑才不跑偏？
最近在用Cursor写一个企业级后台的表格筛选组件，需求是支持多选、日期范围、模糊搜索联动。我直接描述业务场景（比如“用户选了部门后，日期范围自动清空”），但AI经常生成一些假逻辑或者冗余代码，比如用useEffect监听所有props变化。后来我试过把需求拆成小步prompt，但总感觉少一个“稳定输出”的模板。想问问各位老哥，对于这种带状态依赖的组件，prompt里是应该先写清楚状态流转图，还是
企业级数据科学观察员
我要提问
大家都在搜
1
向量数据库选Milvus还是Qdrant？各自有什么坑？
6
2
大家做AI Agent的时候，工具调用的稳定性怎么保证？
4
3
直接用开源的7B模型做RAG，效果总是差强人意，有什么优化技巧？
2
4
写Prompt总是不稳定，是我描述有问题还是模型本身就这样？
2
5
MCP专区里用深度学习框架做模型部署，为什么推理速度比本地慢很多？
2
6
写Agent的Prompt时，怎么让工具调用结果不被模型“脑补”？
2
7
向量数据库选Milvus还是Qdrant？各自有什么坑？
1
8
大家做AI Agent的时候，工具调用的稳定性怎么保证？
1
9
直接用开源的7B模型做RAG，效果总是差强人意，有什么优化技巧？
1
10
LoRA微调到底需要多少数据？我准备了500条感觉还是不够
1
11
用LangChain做Agent时，工具调用总是选错，大家怎么优化prompt的？
1
12
RAG做多轮对话时，历史上下文到底该怎么塞进检索里？
1
13
RAG检索出来的内容很多重复，是我的切分方式有问题吗？
1
14
RAG检索效果时好时坏，是我的chunk策略有问题吗？
1
15
MCP Server 本地跑通了但 Claude Desktop 一直连不上，有人遇到过吗？
1
16
大家部署本地大模型时，prompt模板到底该怎么管理才不乱啊？
1
17
向量数据库选型求助，Milvus和Qdrant到底怎么选？
1
18
向量数据库选Milvus还是Qdrant？各自有什么坑？
1
19
Prompt Engineering学到什么程度算入门？有没有进阶路线？
1
20
PyTorch训练时GPU利用率忽高忽低，是DataLoader的锅吗？
1