Skip to main content
从聊天记录中召回、理解和提取数据。驱动个性化 AI 体验。
Zep 是 AI 助手应用的长期记忆服务。借助 Zep,你可以为 AI 助手提供召回过去对话的能力,无论对话距今多远,同时减少幻觉、延迟和成本。

Zep 的工作原理

Zep 持久化并召回聊天记录,并从这些聊天记录中自动生成摘要和其他构件。它还对消息和摘要进行嵌入,让你可以从过去的对话中搜索 Zep 以获取相关上下文。Zep 异步处理所有这些操作,确保这些操作不会影响用户的聊天体验。数据持久化到数据库,让你能够在增长需求下扩展。 Zep 还为文档向量搜索提供了一个简单易用的抽象,称为 Document Collections。这是对 Zep 核心记忆功能的补充,但并非旨在成为通用向量数据库。 Zep 让你能够更有意图地构建提示:
  • 自动添加最近的几条消息,数量可根据你的应用定制;
  • 上述消息之前的近期对话摘要;
  • 以及/或从整个聊天会话中提取的具有上下文相关性的摘要或消息;
  • 以及/或来自 Zep Document Collections 的相关业务数据。

什么是 Zep Cloud?

Zep Cloud 是以 Zep 开源为核心的托管服务。除 Zep 开源的记忆管理功能外,Zep Cloud 还提供:
  • 事实提取:无需预先定义数据模式,即可从对话中自动构建事实表。
  • 对话分类:即时准确地分类聊天对话。了解用户意图和情绪,细分用户等。基于语义上下文路由链,并触发事件。
  • 结构化数据提取:使用你定义的模式,从聊天对话中快速提取业务数据。了解助手接下来应该询问什么以完成任务。

Zep 开源版

Zep 提供自托管选项的开源版本。请参阅 Zep 开源仓库获取更多信息。你还可以找到与 Zep 开源兼容的检索器向量存储示例。

Zep Cloud 安装与设置

Zep Cloud 文档
  1. 安装 Zep Cloud SDK:
pip install zep_cloud
poetry add zep_cloud

检索器

Zep 的 Memory Retriever 是一个 LangChain 检索器,允许你从 Zep 会话中检索消息并用于构建提示。 该检索器支持对单条消息和对话摘要进行搜索。后者对于向 LLM 提供丰富但简洁的相关历史对话上下文非常有用。 Zep 的 Memory Retriever 支持相似性搜索和最大边际相关性(MMR)重排序。MMR 搜索有助于确保检索到的消息多样化且相互不太相似。 查看使用示例
from langchain_community.retrievers import ZepCloudRetriever

向量存储

Zep 的 Document VectorStore API 允许你使用向量相似性搜索存储和检索文档。Zep 不要求你了解距离函数、嵌入类型或索引最佳实践。只需传入分块的文档,Zep 处理其余工作。 Zep 支持相似性搜索和最大边际相关性(MMR)重排序。MMR 搜索有助于确保检索到的文档多样化且相互不太相似。
from langchain_community.vectorstores import ZepCloudVectorStore
查看使用示例