有大佬用Qwen搞过结构化信息抽取吗？感觉prompt怎么写都不稳
最近在做一个项目，需要从合同文本里抽日期、金额、甲方乙方这些字段。本地部署了Qwen2.5-7B，用sglang跑起来，发现prompt稍微换一下表达方式，抽取结果就飘忽不定。比如用“提取”还是“输出”结果就有差异，加了JSON格式约束也会偶尔抽疯，返回一些不在原文里的字段名。我知道RAG那套对抽取帮助不大，但总不能每次都给few-shot吧，几十个字段写全了token又爆炸。有没有老哥做过类似的
深夜开源工作台
为什么我写的Prompt别人说“太脏了”？到底怎么结构化提问？
最近在调一个代码生成需求，想让GPT输出带类型标注的Python函数，还要处理边界情况。我直接把需求写了一大段话丢进去，结果模型经常漏掉异常处理，或者返回的代码风格不一致。后来看群里大佬说我的prompt“太脏了”，建议用结构化模板。我试了试分步骤、加示例、明确角色，效果确实好了不少，但有时候还是把握不住“度”，比如上下文给多少合适？示例放几个最好？还有，那些“你是一个资深工程师”之类的角色设定到
有点困的云原生玩家日常
写了半年Prompt，感觉像在调参炼丹，有没有系统的方法论？
最近在做一个用GPT-4批量生成代码注释的工具，发现自己的Prompt越写越长，各种角色设定、few-shot示例堆了一大堆，但效果还是时好时坏。有时候换个表述方式效果就崩了，完全搞不懂模型内部到底怎么理解这些指令的。
小唐Rust
RAG系统检索到的都是垃圾内容，是不是我的分块策略有问题？
最近在做一个基于本地知识库的问答机器人，用的LangChain+OpenAI。文档是几十份PDF技术手册，各种格式都有。我按固定chunk_size=500、overlap=50切分，embedding用的bge-large。现在问题是：用户问“如何配置数据库连接”，检索出来的片段经常是“错误代码列表”或者“常见故障排查”里的内容，相关性打分也还行，但就是答非所问。我怀疑是分块太机械，把上下文逻辑
企业级多模态探索频道
Prompt工程到底在优化什么？感觉调参比炼丹还玄学
最近在做一个基于大模型的信息抽取项目，发现同样的任务，换个措辞效果就差很多。比如让模型输出JSON，加“严格按格式”就稳，用“请给出”就容易乱。但改温度、加few-shot又经常顾此失彼。最困惑的是，网上那些“高级Prompt模板”换到我的场景就失灵，也不知道是模型版本问题还是任务本身的问题。想请教各位，Prompt工程的核心逻辑到底是什么？是理解模型的注意力机制，还是纯靠经验积累？有没有什么系统
清晨寻光
PyTorch 2.0编译模式到底该不该开？试了几天反而更慢了
最近在折腾LLM推理优化，看到大家都在吹torch.compile能白嫖30%性能，就把手里的Llama-3-8B QLoRA微调脚本改了改。结果train_step时间不降反升，显存倒是多吃了2G。查了文档说dynamic=True能处理变长输入，但我序列padding到512后shape固定了啊？还有那个mode='reduce-overhead'和默认的inductor有啥本质区别？另外给a
熊猫每天复盘
微调Llama3后中文能力退化严重，是数据问题还是学习率没调好？
最近在用Llama3-8B做中文法律文书摘要的微调，训练集大概2万条，基于Qwen的template改的。跑完3个epoch后，发现模型在中文通用问答上明显变笨了，很多简单句子都开始蹦英文或者重复片段，但法律摘要任务本身效果还行。我用的学习率是2e-5，warmup 100步，batch size 4，梯度累积8。想问问有经验的前辈，这种“偏科”现象是不是因为增量预训练数据太少、导致原有多语言能力
一线人工智能工作台
RAG检索总召回不相关chunk，重排后还是不行，是分块方式的问题吗？
最近在做领域知识库问答，用的bge-large做向量检索，chunk大小设的256，overlap设了32。测试时发现很多query召回的前20个chunk里真正相关的只有三四个，rerank（用的bge-reranker）之后也还是混着不少无关内容。我尝试调过topk和相似度阈值，但效果不明显。现在怀疑是不是分块策略太死板了，比如一些表格和代码片段被切得稀碎，语义不完整。有没有大佬遇到过类似情况
深巷做实验录
用LangChain搭RAG检索老不准，换Embedding模型有用吗？
最近在做一个内部文档问答的小项目，用的Chunk大小是512，重叠50，向量库用的FAISS，Embedding是BGE-large-zh。现在问题是：用户问“怎么申请年假”，系统经常把“年假政策”和“调休流程”混在一起，召回的top5里总有2-3个明显不相关的片段。我试过调chunk大小到256，效果也没好多少。想请教下各位，这种情况是不是Embedding模型本身不够强？换更贵的模型比如Ope
暮色敲键盘集
用Prompt写Python脚本老是在小细节上翻车，怎么调才稳？
最近在搞一个数据清洗的小活儿，想着用GPT帮我写个脚本，省得自己一行行敲。我给的Prompt已经尽量说清楚了，比如“读取CSV，把空值填0，日期列转成datetime格式，然后按月份聚合”。结果生成的代码跑起来，要么日期格式没处理对，要么聚合的时候把索引搞乱了，改起来比我自己写还费劲。想问问大家，是不是我描述的方式有问题？比如是不是需要把输入数据的样例也贴进Prompt里？或者要分步骤让它先出逻辑
企业级Agent开发日志
MCP服务器连向量数据库老超时，是配置问题还是该换方案？
最近在折腾MCP（Model Context Protocol），想把公司内部的文档检索接进Claude，用Python写了个简单的MCP Server，里面调了Milvus做向量检索。本地测试一切正常，但一部署到Linux服务器上，客户端那边就频繁报tool调用超时（默认60s就断）。
重新出发增长成长记
微调LLM时loss降不下去，是数据问题还是学习率没调好？
最近在微调7B模型做中文医疗问答，用的LoRA，训练集大概1.2万条清洗过的对话，跑了两轮loss从1.8降到1.4就死活不动了，验证集loss还轻微反弹。试过把学习率从2e-4降到1e-5，batch size也调过，效果不明显。看tensorboard感觉loss曲线很平滑，不像爆炸，但就是卡住。数据里长回答和短回答都有，我也做了长度截断和去重，难道是数据分布本身有问题？还是说7B太小，知识容
深度学习探索频道
RAG项目里AI编程助手生成的检索代码总出bug，大家怎么调？
最近在做一个基于私有知识库的RAG demo，用的LangChain加本地embedding模型。为了让AI助手帮忙写检索逻辑，我描述得很详细，比如chunk大小、重叠、向量存储选型，结果它生成的代码跑起来总有问题。最头疼的是，明明让它处理长文档的切片，它却把上下文切断了，导致检索召回质量很烂。我自己debug了两天，改prompt也没太大改善。想问问各位，遇到这种AI生成代码不靠谱的情况，是应该
文档暂时正常的程序员
RAG的召回结果不准，是chunk切太细还是embedding模型选错了？
最近在做一个内部知识库的问答机器人，用的LangChain + Chroma + OpenAI embedding。文档是几十页的产品手册，我按512字符切块，重叠50字符。现在问题是：用户问“A功能和B功能有什么区别”，系统召回的内容总是只包含A或者只包含B，拼出来的答案很片面。我试过把chunk调大到1000字符，结果噪音变多，相关性反而下降。也考虑过换BGE或bge-m3，但不太确定问题到底
自动化研究笔记
Agent系统里每个步骤的Prompt该怎么拆？总感觉写得太碎
最近在搭一个简单的Agent，就是让LLM自己规划任务然后调工具执行。现在遇到的问题是，整个流程被我拆成了“规划→选工具→生成参数→检查结果”四个步骤，每个步骤都单独写了一个Prompt。但写完之后发现，这些Prompt之间好像没什么连贯性，比如规划阶段让模型输出的格式，到选工具阶段又得重新解释一遍，感觉很冗余。想问问有经验的朋友，这种多步骤的Prompt是应该各自独立、上下文只靠变量传递，还是说
长期关注品牌实践笔记
微调后的模型做Agent工具调用总出错，是数据格式的问题还是我姿势不对？
最近在做一个内部工具Agent，基于Qwen2.5-7B做LoRA微调，主要是让模型学会调用我们内部几个API（查库存、下单、算运费）。训练数据我参考了Function Calling的格式，用ChatML模板包了system、user、assistant三轮对话，工具定义放在system里。但微调完发现，模型偶尔能正确输出工具调用参数，但经常“自说自话”直接给用户答案，或者把参数格式写错（比如J
一只前端日常
用CoT让GPT-4解数学题反而变笨了，是我的Prompt写法有问题吗？
最近在做一些逻辑推理类的demo，发现一个很困惑的现象。按网上说的，给模型加了“Let's think step by step”的Chain-of-Thought提示，结果在初中水平的应用题上，准确率反而比直接给答案下降了10%左右。我用的温度是0.1，模型是GPT-4-turbo。是不是我的CoT引导方式不对？比如应该先让模型复述题目条件，再分步列式？还是说这类简单题目根本不需要CoT，直接给
自动化研究笔记
vLLM部署Qwen2.5-7B，显存占用比预期高很多，正常吗？
刚接触大模型部署，用的两张4090（24G），准备跑Qwen2.5-7B做API服务。看文档说7B模型int8量化大概8G显存，加上KV cache预留几G应该够。但实际用vLLM启动，--gpu-memory-utilization设成0.9，单卡直接吃了22G+，而且第二张卡完全没利用起来（我明明设了tensor-parallel-size=2）。另外推理速度也只有20 tokens/s左右，
每天进步一点增长学习者
我要提问
大家都在搜
1
RAG里给LLM的prompt到底该写多细？我快调吐了
12
2
RAG召回效果差，是不是我分块方式有问题？求大佬指点
10
3
向量数据库选型纠结死了，Milvus和Chroma到底怎么选？
10
4
部署7B模型微调API，显存够用但推理速度只有2 token/s正常吗？
9
5
RAG里Agent多轮查询后上下文爆炸，大家都是怎么处理的？
9
6
RAG检索老召回不相关片段，是chunk切法问题还是embedding模型选错了？
9
7
MCP 工具调用总是超时，是我哪里配置错了吗？
9
8
部署Llama 3 8B微调模型，显存够但推理极慢，是量化问题还是我姿势不对？
8
9
PyTorch转ONNX后推理速度反而变慢了，是我的导出姿势不对吗？
8
10
RAG检索老是把关键信息截断，是不是chunk切法有问题？
8
11
MCP服务器连本地大模型一直超时，是配置问题还是我的姿势不对？
8
12
Claude 3.5 Sonnet写前端时，为什么总爱自作主张重构我的代码？
8
13
用Prompt让Claude写Python脚本，总是漏掉异常处理怎么办？
8
14
用LoRA微调自己的模型，为什么生成质量反而变差了？
8
15
向量数据库到底怎么选？Milvus和Chroma把我整不会了
8
16
用LangGraph写Agent总在工具调用循环里出不来，怎么设计终止条件？
8
17
RAG召回效果差，是切分太粗还是Embedding模型选错了？
7
18
大家用Qwen2.5写代码时，补全结果总是“半截”怎么破？
7
19
MCP服务器接入深度学习框架时，模型推理的上下文该怎么管理？
7
20
RAG召回精度上不去，是切分粒度问题还是embedding模型选型不对？
7