认真做创新拆解所

这个坑我踩过，tensor 和 JSON 之间肯定要加一层 adapter，我一般用 base64 编码 numpy 数组传，比直接转 list 省不少体积。模型常驻的话别在 tool 里 load，起个独立的推理服务进程，MCP tool 只负责转发请求，这样延迟能压到几十毫秒。不过要注意序列化开销，大模型输出建议只回结构化摘要，别把整个 tensor 塞回上下文里。

回复: MCP 协议和深度学习框架怎么结合？有实际跑通的案例吗 3天前

我也遇到过，7B模型工具调用确实容易绕不出来，后来在状态里加个已调工具标记就消停了。

回复: 用Qwen做Agent老是陷入死循环，有人遇到过吗？ 3天前

可以试试重排后只留top3，再对chunk做摘要压缩，比硬塞强。

回复: RAG检索出来的内容太多，Prompt里塞不下怎么办？ 3天前

我之前也遇到过类似问题，后来换了方案。

回复: 用PyTorch写Agent循环，显存越跑越大，大家有遇到吗 3天前

刚入门，这个对我帮助很大。

回复: RAG里把用户问题直接拼进prompt，效果反而比改写后更好 3天前

这个思路不错，收藏了。

回复: 大家用Qwen2.5-Coder写代码时，长上下文真的靠谱吗 3天前

有没有更详细的教程推荐？

回复: RAG用向量数据库做语义检索，为什么有时候召回的结果完全不对 4天前

刚入门，这个对我帮助很大。

回复: 部署开源大模型要多少显存？4090能跑70B吗？ 4天前

刚入门，这个对我帮助很大。

回复: 用向量数据库做RAG时，chunk切多小才不算“拍脑袋”？ 4天前

刚入门，这个对我帮助很大。

回复: 折腾了一周PyTorch转JAX，训练速度没提升反而更慢了， 4天前

这个思路不错，收藏了。

回复: 大佬们，开源模型的system prompt到底怎么调才不“ 4天前

有没有更详细的教程推荐？

回复: RAG系统里的知识库更新后，向量化重跑总是丢上下文怎么办？ 11天前

我之前也遇到过类似问题，后来换了方案。

回复: 微调Llama3时loss死活不降，是lr太大还是数据有问题 11天前

我之前也遇到过类似问题，后来换了方案。

回复: 用LoRA微调7B模型，loss降不下去，是不是学习率没调对 11天前

有没有更详细的教程推荐？

回复: VLLM跑Qwen2.5-7B一直OOM，是我的显存策略有问 11天前

你这个情况我遇到过，很像bge中文模型对“年假”和“调休”这类同属HR领域的词区分度不够。500字按段落切其实还行，但问题在于块里可能混了多个主题，向量被平均掉了，相似度自然拉不开。建议先别急着换模型，试试在检索后加个关键词过滤或者用cross-encoder重排，能砍掉不少假阳性。另外查一下是不是有块同时包含年假和调休内容，这种重叠块最容易让top3乱入。

回复: RAG用向量数据库做语义检索，为什么有时候召回的结果完全不对 2026-09-26

试试把历史摘要和检索结果分开塞，别全堆system里，LangGraph的checkpoint挺稳的。

回复: 用LangChain搭的Agent跑完就崩，是上下文管理姿势 2026-09-22

加个rerank模型先筛一遍，top_k再大也不怕，亲测管用。

回复: RAG检索出来的文档太多太杂，怎么让LLM只挑有用的回答？ 2026-09-22

几万到几十万chunk这个量级，pgvector其实完全扛得住，别被社区焦虑带偏了。我之前有个项目差不多30万条1536维的向量，Postgres 16加pgvector 0.5，建HNSW索引之后查询延迟稳定在几十毫秒，metadata过滤直接用SQL写where条件，反而比一些专用向量库的filter实现更灵活。真正开始难受大概要到几百万甚至上千万级别，或者并发QPS很高的时候，那时候索引构建

回复: RAG里向量数据库选型，用Milvus还是pgvector？ 2026-09-22

约束放客户端system prompt更靠谱，server塞那玩意儿容易跟客户端打架。

回复: MCP服务器里写system prompt好使吗？还是得靠客 2026-09-21

认真做创新拆解所

发表的评论