刚入门模型微调，LoRA和全量微调到底该怎么选？
最近在做一个垂直领域的文本分类任务，数据量大概两万条左右，手头只有一张3090。看了不少教程，有人说LoRA省显存效果好，也有人说数据量够的话全量微调更稳。我试着用LoRA跑了一版，r设成8，但验证集效果比预期差不少，loss降得也很慢。想问问大家，这种数据规模下到底该走哪条路？是不是我rank或者target module选得不对？有没有踩过类似坑的朋友指点一下，感激不尽。
小北Rust手记
PyTorch训练时GPU利用率忽高忽低，是DataLoader的锅吗？
最近在复现一个图像分割模型，单卡RTX 3090训练。发现nvidia-smi里GPU利用率一直在30%到90%之间跳，训练速度比预期慢不少。DataLoader的num_workers试过4和8，batch size也调了，感觉改善不明显。看profiler显示有不少时间花在数据加载上，但我已经把图片预resize成256了，按理说不会这么慢。想问问大家一般怎么排查这种利用率波动的问题？是IO瓶
一只萤火虫收集工具日记
向量数据库选Milvus还是Qdrant？各自有什么坑？
向量数据库选Milvus还是Qdrant？各自有什么坑？ 最近在这个方向上踩了不少坑，想听听大家的实际经验。
云端灰狼住在云端
大家做AI Agent的时候，工具调用的稳定性怎么保证？
大家做AI Agent的时候，工具调用的稳定性怎么保证？ 最近在这个方向上踩了不少坑，想听听大家的实际经验。
小苏_Design手记
RAG检索出来的内容都对，但大模型回答还是瞎编，问题出在哪？
最近在做一个内部知识库的RAG问答，流程是文档切片→bge-m3向量化→Milvus检索top5→拼prompt丢给Qwen。调试的时候我把检索到的chunk打印出来看，明明相关段落都召回对了，内容也在里面，但模型回答要么答非所问，要么把几个文档的内容混在一起编。prompt里已经写了“仅根据以下内容回答”，temperature也调到0.1了，还是这样。有没有老哥遇到过类似情况？是切片粒度的问题
暮色赶路记
用Cursor写Java SpringBoot项目，生成的代码总是编译不过怎么办？
最近刚开始用Cursor写一个SpringBoot的后端项目，发现它生成的代码经常编译不过。比如自动生成的Service层代码，注入的Mapper接口名对不上，或者@Autowired注解标在接口上导致启动报错。我明明在prompt里说了“按照项目现有风格生成”，但它好像读不懂我项目里的包结构和命名规范。每次都要手动改半天，感觉效率反而降低了。想问下大家用AI编程工具写Java项目时，是怎么让AI
一只企鹅追着需求跑日记
大家本地部署大模型都用什么显卡啊，24G显存真的够用吗？
最近想把开源模型拉到本地跑，主要做代码补全和文档问答。手头只有一张3090 24G，试了Qwen2.5-Coder的7B和14B，7B用vLLM跑还行，14B量化到4bit勉强能起但上下文一长就爆显存。看网上有人说双卡4090，也有人说直接上A6000，感觉成本一下子上去了。想问问大家实际生产/半生产环境都怎么配的？有没有性价比高一点的方案，还是说干脆用API算了……挺纠结的。
认真做运营路线图
微调后的模型回答总是很机械，是我的数据集构造有问题吗？
最近在做一个垂直领域的问答助手，拿Llama3-8B用LoRA微调，数据集大概3k条，都是人工写的QA对，格式就是标准的instruction/input/output。训练loss降到0.8左右，但推理的时候发现模型回答特别机械，每条都像模板套出来的，开头必是“根据您的问题”，结尾必是“希望对您有帮助”，完全没有基座模型原来那种自然的语气。我试过调temperature和top_p，效果不明显。
依赖等待重构的开发者
写Prompt总是不稳定，是我描述有问题还是模型本身就这样？
最近在做一个代码生成的小工具，用GPT-4帮忙写一些CRUD接口。发现同一个Prompt，稍微改几个字，生成结果质量就差很多。比如我写“请生成一个Python Flask的用户注册接口，包含参数校验”，有时候它会带上完整的错误处理，有时候就只给个骨架。我试过加“请详细一些”“要生产级别”，效果也不稳定。想问问大家，Prompt是不是得每次都写特别长才行？有没有什么结构化的写法能让输出稳定一点？还是
灯下写码记
LoRA微调到底需要多少数据？我准备了500条感觉还是不够
LoRA微调到底需要多少数据？我准备了500条感觉还是不够 最近在这个方向上踩了不少坑，想听听大家的实际经验。
需求先跑起来观察员
向量数据库选Milvus还是Qdrant？各自有什么坑？
向量数据库选Milvus还是Qdrant？各自有什么坑？ 最近在这个方向上踩了不少坑，想听听大家的实际经验。
小白LinuxLab
直接用开源的7B模型做RAG，效果总是差强人意，有什么优化技巧？
直接用开源的7B模型做RAG，效果总是差强人意，有什么优化技巧？ 最近在这个方向上踩了不少坑，想听听大家的实际经验。
阿航_VueLab
向量数据库选Milvus还是Qdrant？各自有什么坑？
向量数据库选Milvus还是Qdrant？各自有什么坑？ 最近在这个方向上踩了不少坑，想听听大家的实际经验。
小林_CoderLab
刚把Qwen2.5-7B部署到本地，显存占用比预期高很多正常吗？
小白一枚，最近在学大模型部署。用vLLM在自己的4090（24G）上跑Qwen2.5-7B-Instruct，float16加载，发现显存直接占了快20G，基本没法再开大一点的batch size了。看网上说7B模型fp16大概只要14G左右，是我哪里配置有问题吗？还是说KV Cache和框架本身的开销就得这么多？另外想问下大家平时部署7B级别的模型，一般用什么量化方案比较稳，GPTQ还是AWQ？
稳步前行商业成长记
PyTorch训练时loss突然变成nan，换了几个优化器都没用，到底哪里出了问题？
最近在复现一个图像分类的模型，用的是PyTorch 2.0，数据集是自己爬的，大概两万张图。训练前几个epoch都正常，loss稳步下降，但到第5个epoch左右loss突然变成nan，准确率也崩了。试过调小学习率、换Adam和SGD、加梯度裁剪，甚至把batch size降到8，还是会在差不多的地方炸掉。检查过数据没有损坏的图片，输入也做了归一化。网络结构里有一些自定义的层，不确定是不是梯度爆炸
发布正在加载工程日常
向量数据库到底该怎么选？Milvus、Qdrant、Chroma 用下来有点懵
最近在做一个 RAG 的小项目，文档量大概几十万条，想本地部署一个向量数据库。试了 Chroma，上手确实快，但数据量一上来感觉查询有点慢；又看了 Milvus 和 Qdrant，功能很全，可配置项太多，光是索引类型和参数就有点劝退。我主要在意检索速度和内存占用，最好部署别太复杂。想问问大家实际项目里都怎么选的？有没有踩过坑可以分享一下？
周末深度学习方法论
用Claude Agent SDK写了个自动修bug的小工具，但经常改出新问题怎么办？
最近在尝试用Claude Agent SDK做一个自动修复GitHub issue的小agent，流程大概是拉issue→读代码→生成patch→跑测试→提PR。跑通了几个简单case还挺兴奋的，但发现一个头疼的问题：agent有时候为了通过测试会乱改别的文件，或者把原本没问题的逻辑改坏，CI直接挂掉。我目前只加了“禁止修改测试文件”的约束，但感觉不太够。想问问大家在生产级agent里是怎么做变更
从零开始商业修炼册
RAG检索出来的内容明明是对的，但LLM回答还是胡编，问题出在哪？
最近在做一个企业知识库的RAG系统，向量库用的是Milvus，embedding是bge-large-zh，检索top5的chunk肉眼看着都挺相关的，但丢给GPT-4之后，回答要么漏掉关键信息，要么直接编一个原文里没有的答案。试过调temperature=0、加“请仅根据以下内容回答”的prompt，效果都不稳定。有没有大佬遇到过类似情况？到底是检索的问题还是生成的问题？该怎么定位啊？
持续研究内容实践笔记
我要提问
大家都在搜
1
向量数据库选Milvus还是Qdrant？各自有什么坑？
5
2
大家做AI Agent的时候，工具调用的稳定性怎么保证？
4
3
直接用开源的7B模型做RAG，效果总是差强人意，有什么优化技巧？
2
4
MCP专区里用深度学习框架做模型部署，为什么推理速度比本地慢很多？
2
5
向量数据库选Milvus还是Qdrant？各自有什么坑？
1
6
大家做AI Agent的时候，工具调用的稳定性怎么保证？
1
7
直接用开源的7B模型做RAG，效果总是差强人意，有什么优化技巧？
1
8
LoRA微调到底需要多少数据？我准备了500条感觉还是不够
1
9
用LangChain做Agent时，工具调用总是选错，大家怎么优化prompt的？
1
10
写Prompt总是不稳定，是我描述有问题还是模型本身就这样？
1
11
写Agent的Prompt时，怎么让工具调用结果不被模型“脑补”？
1
12
RAG做多轮对话时，历史上下文到底该怎么塞进检索里？
1
13
RAG检索效果时好时坏，是我的chunk策略有问题吗？
1
14
MCP Server 本地跑通了但 Claude Desktop 一直连不上，有人遇到过吗？
1
15
大家部署本地大模型时，prompt模板到底该怎么管理才不乱啊？
1
16
向量数据库选型求助，Milvus和Qdrant到底怎么选？
1
17
PyTorch训练时GPU利用率忽高忽低，是DataLoader的锅吗？
1
18
向量数据库选Milvus还是Qdrant？各自有什么坑？
0
19
LoRA微调到底需要多少数据？我准备了500条感觉还是不够
0
20
直接用开源的7B模型做RAG，效果总是差强人意，有什么优化技巧？
0