Chroma 向量数据库

直接选 Chroma 就好，它能让你把精力集中在客服系统的效果优化上，而不是数据库运维上。

为了把这个小规模 RAG 系统做好，这里有几点具体建议：

分块策略要适配客服场景：客服文档通常是 FAQ、操作指引或产品说明。建议按语义完整性分块（例如 300-500 字），并保留一定的重叠（50-100字），防止把一条完整的问答拆散。

嵌入模型务必选对中文：这是决定检索效果的关键。BGE-M3 或 BAAI/bge-large-zh-v1.5 是当前中文开源模型中口碑很好的选择，能显著提升中文问答的准确率。

元数据过滤是刚需：内部客服系统通常会有文档分类（如“售前”、“售后”、“财务”）。在 Chroma 中给每个 chunk 加上 category 元数据，检索时先过滤再搜索，能大幅提升精准度，避免答非所问。

Chroma 是向量数据库，不是大语言模型。 它负责检索知识片段，本身不能生成具有语言理解能力的自然语言回答。因此，可以返回知识库中最相关的原文、FAQ 答案或经过模板整理的结果，但不能实现真正的生成式 AI 对话

Embedding 模型， Embedding 模型可以部署在本地，也可以使用独立的 Embedding 服务