Skip to main content
LLMonitor 是一个开源可观测性平台，提供成本与用量分析、用户追踪、追踪和评估工具。

​
配置

在 llmonitor.com 创建账户，然后复制新应用的 tracking id。 获取后，通过运行以下命令将其设置为环境变量： 
export LLMONITOR_APP_ID="..."
如果不希望设置环境变量，也可以在初始化回调处理器时直接传入密钥： 
from langchain_community.callbacks.llmonitor_callback import LLMonitorCallbackHandler

handler = LLMonitorCallbackHandler(app_id="...")

​
与 LLM/聊天模型配合使用

from langchain_openai import OpenAI
from langchain_openai import ChatOpenAI

handler = LLMonitorCallbackHandler()

llm = OpenAI(
    callbacks=[handler],
)

chat = ChatOpenAI(callbacks=[handler])

llm("Tell me a joke")

​
与 Chain 和 Agent 配合使用

请确保将回调处理器传递给 run 方法，以便正确追踪所有相关的 Chain 和 LLM 调用。 此外，建议在 metadata 中传入 agent_name，以便在仪表盘中区分不同的 Agent。 示例： 
from langchain_openai import ChatOpenAI
from langchain_community.callbacks.llmonitor_callback import LLMonitorCallbackHandler
from langchain.messages import SystemMessage, HumanMessage
from langchain.agents import OpenAIFunctionsAgent, AgentExecutor, tool

llm = ChatOpenAI(temperature=0)

handler = LLMonitorCallbackHandler()

@tool
def get_word_length(word: str) -> int:
    """Returns the length of a word."""
    return len(word)

tools = [get_word_length]

prompt = OpenAIFunctionsAgent.create_prompt(
    system_message=SystemMessage(
        content="You are very powerful assistant, but bad at calculating lengths of words."
    )
)

agent = OpenAIFunctionsAgent(llm=llm, tools=tools, prompt=prompt, verbose=True)
agent_executor = AgentExecutor(
    agent=agent, tools=tools, verbose=True, metadata={"agent_name": "WordCount"}  # <- recommended, assign a custom name
)
agent_executor.run("how many letters in the word educa?", callbacks=[handler])
另一个示例： 
import os

from langchain_community.agent_toolkits.load_tools import load_tools
from langchain_community.callbacks.llmonitor_callback import LLMonitorCallbackHandler
from langchain_openai import ChatOpenAI
from langchain.agents import create_agent


os.environ["LLMONITOR_APP_ID"] = ""
os.environ["OPENAI_API_KEY"] = ""
os.environ["SERPAPI_API_KEY"] = ""

handler = LLMonitorCallbackHandler()
llm = ChatOpenAI(temperature=0, callbacks=[handler])
tools = load_tools(["serpapi", "llm-math"], llm=llm)
agent = create_agent("gpt-4.1-mini", tools)

input_message = {
    "role": "user",
    "content": "What's the weather in SF?",
}

agent.invoke({"messages": [input_message]})

​
用户追踪

用户追踪功能让您能够识别用户，追踪其成本、对话等信息。 
from langchain_community.callbacks.llmonitor_callback import LLMonitorCallbackHandler, identify

with identify("user-123"):
    llm.invoke("Tell me a joke")

with identify("user-456", user_props={"email": "user456@test.com"}):
    agent.invoke(...)

​
支持

如有集成问题，可通过 Discord 或电子邮件联系 LLMonitor 团队。
在 GitHub 上编辑此页面 或 提交 Issue。
通过 MCP 将这些文档连接 到 Claude、VSCode 等，获取实时答案。