RAG(检索增强生成)方案搭建AI问答系统

mtain 2024年05月29日 517次浏览

说明

RAG 是一种将检索与语言模型生成相结合的技术架构,旨在利用外部知识来增强语言模型的生成能力。它通过在生成文本时检索相关的知识信息,并将其融入到生成过程中,使生成的内容更准确、更有依据、更符合实际需求。

应用场景

  • 智能问答
  • 客服系统

选配组件:One API

通过标准的 OpenAI API 格式访问所有的大模型,开箱即用
简单讲就是模型api网关,可以把共用云的模型api,本地的api都配置到One api中

1. 配置

image.png

默认密码:root/123456

image.png

image.png
例如:添加ollama的api

image.png
创建访问密钥

2. 接口使用

接口的访问地址:http://xxx.xxx.xxx.xxx:3000/

One api中的接口可以用代码调用,或者使用封装好的图形界面,例如:ChatGPT-Next-Web
https://github.com/ChatGPTNextWeb/NextChat/releases

image.png
image.png

实现方案:FastGPT

介绍

官网:https://fastgpt.in/zh
GitHub:https://github.com/labring/FastGPT

FastGPT 是一个基于 LLM 大语言模型的知识库问答系统,提供开箱即用的数据处理、模型调用等能力。同时可以通过 Flow 可视化进行工作流编排,从而实现复杂的问答场景!

轻量级中文向量模型: dmeta-embedding-zh

实现方案:SpringAI

介绍

Spring AI+Ollama+pgvector实现本地RAG:https://github.com/jianyuan1991/ragdemo

image.png

参考文章

检索增强生成(RAG)实践:基于LlamaIndex和Qwen1.5搭建智能问答系统:https://www.zhihu.com/tardis/bd/art/696331293?source_id=1001