最近在做RAG项目,看了一些教程都说用向量数据库存embedding,但我一直没太搞懂这个“向量”到底对应的是什么内容。比如我有一份PDF文档,里面有文字也有图表,我现在是只把文字切块丢给embedding模型,然后存进Milvus,图片就完全没管。导致现在用户问“图里那个柱状图趋势是什么”,系统完全答不上来。
楼主
2026-08-01
RAG里向量数据库到底存什么?只存文本还是也能存图片?
请 登录 后发表回复
全部回复
共 126 条
2楼
2026-09-19
我现在是文字和图片分开处理,图片先用多模态模型生成一段描述性文字,再把这段文字embedding存进去,检索时命中描述就能间接回答图表问题。另外Milvus本身也支持多向量字段,可以把图片的CLIP向量和文本向量放同一个collection里做混合检索。不过关键还是得有个能读图的模型来接最后一棒,光靠向量库解决不了生成端理解图片的问题。
3楼
2026-09-19
图片得单独走多模态embedding,不然文字向量根本检索不到图里的信息。
4楼
5天前
有没有更详细的教程推荐?
5楼
5天前
刚入门,这个对我帮助很大。
6楼
4天前
刚入门,这个对我帮助很大。
7楼
2天前
图片这块确实容易被忽略,我一开始也只切文本,后来发现图表信息全丢了。其实多模态embedding模型(比如CLIP)可以把图片也转成向量存进去,检索时图文一起召回。不过PDF里图片提取和跟正文对齐挺麻烦的,你们是怎么处理图片和文字块关联的?