DB-GPT

GitHub地址：
https://github.com/eosphoros-ai/DB-GPT/

DB-GPT是一个开源的AI原生数据应用开发框架(AI Native Data App Development framework with AWEL(Agentic Workflow Expression Language) and Agents)。

目的是构建大模型领域的基础设施，通过开发多模型管理(SMMF)、Text2SQL效果优化、RAG框架以及优化、Multi-Agents框架协作、AWEL(智能体工作流编排)等多种技术能力，让围绕数据库构建大模型应用更简单，更方便。

我前一段时间安装的DB-GPT，具体可以参考我的文章：
https://zhuanlan.zhihu.com/p/682542634

当时DB-GPT还不支持ollama，在安装DB-GPT后我为了实现调用ollama服务，只能自己改了一些代码。

具体做法类似：
https://github.com/eosphoros-ai/DB-GPT/pull/1475

这两天看最新的DB-GPT更新日志，发现已经支持Ollama.API了：

https://github.com/eosphoros-ai/DB-GPT/blob/main/README.zh.md

配置及测试

在升级DB-GPT及python环境到最新的版本后。修改.env，将模型和embeding的内容修改如下：

LLM_MODEL=ollama_proxyllm
MODEL_SERVER=http://127.0.0.1:11434
PROXY_SERVER_URL=http://127.0.0.1:11434 
PROXYLLM_BACKEND=qwen:7b
PROXY_API_KEY=not_used
EMBEDDING_MODEL=proxy_ollama
proxy_ollama_proxy_server_url=http://127.0.0.1:11434 
proxy_ollama_proxy_backend=nomic-embed-text:latest

然后重启DB-GPT，就可以使用ollama的服务了。

又简单测试了一下RAG的效果：

效果不错。

我之所以一定要把DB-GPT本地模型（包括Chat和embeding）迁到ollama上，主要是为了节省资源和提高效率。这次官方支持，终于不用继续维护自己的分支了，爽。