如今大语言模型 LLM 的应用越来越广泛，越来越多的人在与大语言模型进行聊天对话。然而，在一个长对话中，如何长期维持智能体的记忆和上下文，这个并不容易做到。

这类能够保有长期记忆的 AI 智能体，可以用于构建有状态的 LLM 应用，实现更为复杂的 AI 需求。Letta，就是一个致力于构建有状态 LLM 应用的框架。

简介

Letta 是一个用于构建有状态 LLM 应用的开源框架，其代码仓库位于
https://github.com/letta-ai/letta 。该框架的主要目标，是帮助开发者构建具有先进推理能力，和透明长期记忆的有状态智能体。

Letta 是一个白盒框架，这意味着开发者可以清楚地了解框架内部的工作原理，便于进行定制和优化。其次，Letta 是模型无关的，开发者可以根据自己的需求选择不同的 LLM 模型进行集成。此外，Letta 还提供了丰富的工具和接口，方便开发者进行智能体的创建、管理和交互。

Letta 的智能体都是有状态的人工智能系统，它们会随着时间推移不断演进和学习，突破传统大语言模型的限制，保持连贯一致的记忆和行为。Letta 平台融合了可视化开发环境（ADE）、生产级应用编程接口，以及精密的服务器运行时，以实现有状态智能体的创建与部署。

Letta 的智能体开发环境（ADE）为构建和监控智能体提供了可视化界面，能实时洞察智能体的记忆和行为。而 Letta API 支持将智能体部署为生产服务，并为 Python 和 TypeScript 应用提供原生软件开发工具包（SDKs）。同时 Letta 服务器通过精密的上下文管理来管理智能体的状态与持续性，让智能体得以随着时间学习和提升。

使用

Letta 智能体在 Letter 服务中活动，并以数据库的方式持久化。Letta 服务能够连接到各种各样的 LLM API 后端（OpenAI, Anthropic, vLLM, Ollama 等）。使用 docker run 来启动 letta 服务：

# replace `~/.letta/.persist/pgdata` with wherever you want to store your agent data
docker run \
  -v ~/.letta/.persist/pgdata:/var/lib/postgresql/data \
  -p 8283:8283 \
  -e OPENAI_API_KEY="your_openai_api_key" \
  letta/letta:latest

如果有多个不同的 LLM API Key，则可以通过一个 .env 文件来进行配置：

# using a .env file instead of passing environment variables
docker run \
  -v ~/.letta/.persist/pgdata:/var/lib/postgresql/data \
  -p 8283:8283 \
  --env-file .env \
  letta/letta:latest

Letta 运行后，就可以通过端口 8283 访问了，例如，向链接 http://localhost:8283/v1 发送 REST API 请求来进行交互。开发者也可以使用 Letta ADE，通过一个网页界面来连接和管理 Letta。

Letta 也支持在本地进行安装，首先确保 Python 环境，然后使用 pip 安装：

pip install letta

安装完成后，可以使用 letta 命令启动：

letta server

总结

Letta 作为一个用于构建有状态 LLM 应用的开源框架，为开发者提供了丰富的功能和便捷的开发方式。其白盒和模型无关的特点，使得开发者可以更加灵活地进行开发和定制

Letta 可以应用于多个领域：在智能客服领域，可以使用 Letta 构建具有长期记忆的智能客服智能体，能够更好地理解用户的问题并提供准确的回答；在智能教育领域，可以构建具有个性化学习能力的智能辅导智能体，根据学生的学习情况提供针对性的辅导；在智能创作领域，可以构建具有创意生成能力的智能创作智能体，帮助用户生成各种类型的内容。