最近在折腾用本地部署的Qwen2.5-7B搭一个简单的AI Agent，主要功能就是根据用户提问，去本地知识库检索相关文档，再让模型回答。但发现一个很头疼的问题：每次RAG检索（用的FAISS+embedding模型）都要等好几秒，模型推理倒是挺快的，可整体响应时间还是太长了。我看网上说可以预加载索引或者用向量数据库加速，但不太清楚具体怎么跟Agent的对话流程结合。另外，是不是embedding模型选太大了也有影响？目前用的bge-large，换成小的会快很多吗？有没有大佬分享下实际部署中RAG调优的经验？先谢谢了。