大家用开源模型做Prompt工程时，到底怎么调temperature和top_p？
最近在本地部署了Qwen2.5-7B和Llama3.1-8B，想给公司做一个内部知识库问答的demo。我发现网上教程都说temperature设低一点、top_p设0.9左右，但我实际测试时，同样的Prompt在Qwen上temperature=0.7效果很好，换到Llama上就胡说八道，降到0.2又显得太死板。另外，我用了LangChain的PromptTemplate，里面加了few-shot
一只安全研究员手记
Prompt里加了角色设定反而变笨了，是格式问题还是模型问题？
最近在调一个LLM写摘要的任务，发现一个奇怪的现象。不加任何角色前缀，直接给一段文本让模型总结，输出质量反而很稳定。但只要我在Prompt开头加上“你是一个资深编辑”或者“你是金融分析专家”这类角色设定，模型偶尔会输出一些非常夸张的、不切实际的内容，甚至有时会忽略我后面明确要求的输出格式（比如必须用列表或限制字数）。
旷野敲键盘
向量数据库选型纠结中，Milvus和Chroma到底怎么选？
最近在做RAG相关的个人项目，用开源embedding模型把文档向量化后，发现存和查都开始吃力了。本来想直接上Milvus，但看到部署要起Docker、还要配etcd和MinIO，感觉有点重。Chroma倒是轻量，pip装完就能跑，但担心后面数据量大了性能跟不上，而且社区好像还没那么成熟。我现在的场景大概是几万条文本块，单机跑，未来可能会加到几十万。有没有有经验的朋友讲讲，这个量级选哪个更合适？或
业余后端手记
深度学习框架选择困惑：PyTorch和TensorFlow到底该深入学哪个？
本人研一，刚接触深度学习半年，之前用Keras搭过几个简单分类模型。最近想深入做CV方向，发现组里师兄们用PyTorch的居多，但网上教程和工业界岗位似乎TensorFlow需求更大。我已经花了两周看PyTorch的Dataloader和nn.Module，感觉API设计确实更pythonic，但每次看到TF的TFRecord和静态图就头大。想请教各位：如果目标是毕业后进大厂做算法岗，现阶段应该把
认真成长运维修炼册
微调后的模型做Agent工具调用总跑偏，是数据问题还是训练参数没调对？
最近在做一个内部知识库的Agent，用Llama-3-8B做底座，拿几千条工具调用的对话数据做了LoRA微调。单轮工具选择准确率还行，但一旦涉及多轮对话，模型经常把上一个tool的结果当参数传给下一个tool，或者干脆自己编一个不存在的工具名。我确认过数据格式和system prompt都没问题，推理时temperature也降到0.1了。想问下各位大佬，这种多轮工具调用的“记忆混乱”一般是微调数
刚入门的数据人
RAG检索老是召回不相关片段，是切分粒度问题还是embedding选型不对？
最近在做一个内部知识库问答，文档主要是产品手册和操作规范，用的是LangChain+开源embedding模型（bge-large-zh）。现在遇到一个很头疼的问题：用户问“如何重置密码”，系统召回的片段经常是“忘记密码时可通过管理员重置”这种周边描述，真正讲操作步骤的段落反而排到后面去了。我试过把chunk_size从500调到200，也加了overlap，效果还是不稳定。想请教下各位，这种情况
北岸读书集
大家用开源编程模型写生产代码时，真的敢直接信任它的重构建议吗？
最近在折腾Qwen2.5-Coder和DeepSeek-Coder，本地部署后拿公司一个Java老项目试了试。让它帮忙重构一段用了很多Stream的复杂逻辑，它给出的方案确实简洁，但涉及到事务边界和懒加载的地方，我总觉得心里没底。问它为什么这么改，它解释得头头是道，但一跑测试就发现有个NullPointerException的边界情况没处理。想问问各位，你们在实际写业务代码时，是拿它当高级补全工具
依赖等待重构的开发者
RAG用开源embedding模型效果总差一口气，是模型问题还是我姿势不对？
最近在搭一个个人知识库问答，用的LLaMA系模型，检索部分试了bge-large和text2vec，感觉召回结果总是不太对味。比如问“怎么配置显卡驱动”，能召回一堆“显卡性能对比”的文章，明明向量相似度挺高，但就是答非所问。我预处理也做了，chunk按512切，重叠32，元数据也加了，就是感觉语义匹配不够精准。是不是该上重排模型了？还是说开源embedding天花板就这样，得换商业API？另外想问
模型别催的开发者
微调LLaMA3用来做中文客服，显存不够怎么破？QA数据该咋准备？
最近想用LLaMA3-8B微调一个垂直的中文客服模型，用的LORA。卡是单张4090（24G），但跑起来还是OOM了，batch size已经调到1，gradient checkpointing也开了。是量化（比如QLoRA的4bit）+LORA是必须的吗？另外，我手里只有大概2万条客服对话，这个量级是不是太小了？标注风格上，直接拿历史工单当输入输出，还是需要改写一下？总感觉模型在瞎编答案，是不是
一只鲸鱼爱写代码日记
RAG项目里Embedding模型到底怎么选？BGE和OpenAI差距大吗？
最近在做公司内部的文档问答系统，用的是LangChain+Chroma这套。目前卡在Embedding选择上，因为数据是纯中文的，看很多教程都推荐BGE系列，但也有人说直接调OpenAI的text-embedding-ada-002效果更好。我本地跑了一下BGE-large-zh，感觉速度还行，但召回率没做严格评测，心里没底。想请教下大家，在中文场景下，BGE和OpenAI的Embedding实际
海边赶路集
RAG用LangChain还是LlamaIndex？两者都试了还是有点懵
最近在做本地知识库问答，文档量大概几千份PDF，主要是技术手册。我先用LangChain搭了一个基础的向量检索+LLM生成流程，用的Chroma和OpenAI的embedding，效果还行但总感觉控制粒度不够细。后来看社区说LlamaIndex对索引和检索优化更好，又试了一下，确实它的Node解析和query engine用起来更顺手，但跟LangChain的生态（比如agent、memory）集
狐狸研究AI日记
RAG接入MCP后，上下文窗口和工具调用顺序怎么平衡？
最近在折腾把RAG流程封装成MCP工具，给内部知识库用。目前是让LLM先调用检索工具拿chunks，再生成回答。但遇到两个问题：一是检索结果一大，后续工具调用的上下文很容易被冲掉，尤其是我还挂了几个别的MCP服务；二是模型有时候会先调用其他工具，再回来检索，导致回答里混入过时信息。有没有人遇到过类似情况？是应该把RAG做成单一工具，把检索和生成逻辑全塞进去，还是继续拆开靠prompt约束？另外，M
一只萤火虫收集工具日记
有没有人用LoRA微调过Qwen2.5，效果和全参比差很多吗？
最近在做一个垂直领域的小模型，数据集大概5000条左右，主要是法律文书问答。用Qwen2.5-7B全参微调太吃显存了，租的A100也只能跑很小的batch，还不稳定。想试试LoRA，但看网上说法不一，有人说效果能到全参的90%，也有人说特定格式任务会崩。有没有实际跑过的大佬说下经验？另外想问下rank值一般设多少合适，我试了8和16，感觉没太大区别，是不是我任务太简单了？先谢过各位了。
智能体构建者
RAG召回质量差，是embedding模型问题还是chunk策略问题？
最近在做一个基于开源模型（Qwen2.5-7B）的本地知识库问答，用的bge-m3做embedding，chunk_size设的是512，overlap设了50。但测试下来，很多明显相关的问题召回不到对应文档，比如问“报销流程”只召回第一条，后面详细步骤都没出来。我试过调大top_k，效果也不明显，反而噪音变多了。想请教下各位，这种召回质量差的情况，一般优先排查embedding模型还是重新设计c
野生运维人手记
向量数据库到底怎么选？Milvus和Chroma看懵了
最近在做一个RAG项目，文档量大概几十万条，需要做语义搜索。看了好多教程，有的推荐Milvus，说性能强适合生产，有的说Chroma轻量级上手快。我本地试了下Chroma确实简单，但担心以后数据量大了要迁移。Milvus又感觉部署有点重，还得搞Docker和etcd。想问下各位实际项目中，中小规模的数据量有必要一上来就用Milvus吗？还是先用Chroma或Qdrant这种轻的方案，等量级上去了再
代码工具箱
Agent工作流里Prompt老被截断，大家是怎么处理超长上下文的？
最近在搭一个有点复杂的Agent，需要让它先读文档、再总结、再根据历史对话做决策。结果发现只要文档稍微长一点，或者对话轮次多了，Prompt就经常被截断，导致后面的指令直接失效，输出就开始胡说八道。试过把关键指令提前放，但有时候前置条件又依赖后面的内容，就很矛盾。也想过自己做个简单的压缩，但怕破坏语义。想问下各位大佬，在Agent设计里一般怎么处理这种超长上下文的？是直接用长上下文模型硬扛，还是有
长期关注需求分析创作局
PyTorch转ONNX后推理结果和原模型差很多，是量化问题还是算子支持问题？
最近在做一个部署项目，把训练好的YOLOv5模型转成ONNX，再用onnxruntime推理。结果发现输出的检测框置信度整体偏低，有些原本能检出来的目标直接漏检了。试了opset 11和12，也试过`dynamic_axes`，情况没改善。
小白_DevLab
向量数据库召回率上不去，调了embedding模型也没用，求大佬指点
做RAG项目，用的Milvus + OpenAI的text-embedding-3-small，数据是几千篇技术文档，分块后大概两万多条向量。现在的问题是检索出来的top5经常有完全不相关的结果，但看相似度分数又没低到离谱。试过调chunk_size（从200调到800）、换过bge-m3模型，也加了metadata过滤，效果都不稳定。特别是用户问一些长尾问题（比如“安卓蓝牙权限兼容性”），召回结
一线数据分析笔记
我要提问
大家都在搜
1
向量数据库选Milvus还是Qdrant？各自有什么坑？
6
2
大家做AI Agent的时候，工具调用的稳定性怎么保证？
4
3
直接用开源的7B模型做RAG，效果总是差强人意，有什么优化技巧？
2
4
LoRA微调到底需要多少数据？我准备了500条感觉还是不够
2
5
写Prompt总是不稳定，是我描述有问题还是模型本身就这样？
2
6
MCP专区里用深度学习框架做模型部署，为什么推理速度比本地慢很多？
2
7
写Agent的Prompt时，怎么让工具调用结果不被模型“脑补”？
2
8
想用开源模型搭RAG，检索效果一直不太行，是我的问题还是模型的问题？
2
9
PyTorch 训练大模型时 loss 突然变成 NaN，重启后又正常，有人遇到过吗？
2
10
向量数据库选Milvus还是Qdrant？各自有什么坑？
1
11
向量数据库选Milvus还是Qdrant？各自有什么坑？
1
12
大家做AI Agent的时候，工具调用的稳定性怎么保证？
1
13
向量数据库选Milvus还是Qdrant？各自有什么坑？
1
14
LoRA微调到底需要多少数据？我准备了500条感觉还是不够
1
15
直接用开源的7B模型做RAG，效果总是差强人意，有什么优化技巧？
1
16
用LangChain做Agent时，工具调用总是选错，大家怎么优化prompt的？
1
17
LoRA微调loss降到0.3但推理效果很差，是过拟合了吗？
1
18
RAG做多轮对话时，历史上下文到底该怎么塞进检索里？
1
19
RAG检索出来的内容很多重复，是我的切分方式有问题吗？
1
20
RAG检索效果时好时坏，是我的chunk策略有问题吗？
1