Skip to main content
Infino 是一个将指标和应用日志存储在一起的开源可观测性平台。
Infino 的主要特性包括:
  • 指标追踪:捕获 LLM 模型处理请求所花费的时间、错误数、令牌数以及特定 LLM 的成本指示。
  • 数据追踪:记录并存储每次 LangChain 交互的提示词、请求和响应数据。
  • 图形可视化:生成基本的时间序列图表,描绘请求时长、错误发生次数、令牌数和成本等指标。

安装与设置

首先,按如下方式安装 infinopy Python 包:
pip install infinopy
如果你已经运行了 Infino Server,则可以直接使用;否则, 请按照下一步操作启动它:
  • 确保已安装 Docker
  • 在终端运行以下命令:
    docker run --rm --detach --name infino-example -p 3000:3000 infinohq/infino:latest
    

使用 Infino

查看 InfinoCallbackHandler 的使用示例
from langchain.callbacks import InfinoCallbackHandler