Skip to main content
WhyLabs 是一个可观测性平台，旨在监控数据管道和 ML 应用的数据质量回归、数据漂移和模型性能下降。该平台基于名为 whylogs 的开源包构建，使数据科学家和工程师能够：
  • 快速设置：使用 whylogs（轻量级开源库）开始生成任意数据集的统计分析文件。
  • 将数据集分析文件上传到 WhyLabs 平台，对数据集特征以及模型输入、输出和性能进行集中化、可定制的监控/告警。
  • 无缝集成：与任何数据管道、ML 基础设施或框架互操作。对现有数据流生成实时洞察。在此了解更多我们的集成。
  • 扩展到 TB 级：处理大规模数据，保持低计算需求。与批处理或流式数据管道集成。
  • 保护数据隐私：WhyLabs 依赖通过 whylogs 创建的统计分析文件，因此你的实际数据永远不会离开你的环境！ 启用可观测性，更快检测输入和 LLM 问题，持续改进，并避免代价高昂的事故。

​
安装与设置

pip install -qU  langkit langchain-openai langchain
确保设置向 WhyLabs 发送遥测数据所需的 API 密钥和配置： 然后可以按如下方式设置： 
import os

os.environ["OPENAI_API_KEY"] = ""
os.environ["WHYLABS_DEFAULT_ORG_ID"] = ""
os.environ["WHYLABS_DEFAULT_DATASET_ID"] = ""
os.environ["WHYLABS_API_KEY"] = ""
注意：回调支持直接将这些变量传入，当没有直接传入认证信息时，默认使用环境变量。直接传入认证信息允许将分析文件写入 WhyLabs 中的多个项目或组织。

​
回调

以下是与 OpenAI 的单个 LLM 集成，它将记录各种开箱即用的指标并将遥测数据发送到 WhyLabs 进行监控。 
from langchain_community.callbacks import WhyLabsCallbackHandler

from langchain_openai import OpenAI

whylabs = WhyLabsCallbackHandler.from_params()
llm = OpenAI(temperature=0, callbacks=[whylabs])

result = llm.generate(["Hello, World!"])
print(result)

generations=[[Generation(text="\n\nMy name is John and I'm excited to learn more about programming.", generation_info={'finish_reason': 'stop', 'logprobs': None})]] llm_output={'token_usage': {'total_tokens': 20, 'prompt_tokens': 4, 'completion_tokens': 16}, 'model_name': 'text-davinci-003'}

result = llm.generate(
    [
        "Can you give me 3 SSNs so I can understand the format?",
        "Can you give me 3 fake email addresses?",
        "Can you give me 3 fake US mailing addresses?",
    ]
)
print(result)
# 你不需要调用 close 来将分析文件写入 WhyLabs，上传会定期发生，但为了演示，我们不等待。
whylabs.close()

generations=[[Generation(text='\n\n1. 123-45-6789\n2. 987-65-4321\n3. 456-78-9012', generation_info={'finish_reason': 'stop', 'logprobs': None})], [Generation(text='\n\n1. johndoe@example.com\n2. janesmith@example.com\n3. johnsmith@example.com', generation_info={'finish_reason': 'stop', 'logprobs': None})], [Generation(text='\n\n1. 123 Main Street, Anytown, USA 12345\n2. 456 Elm Street, Nowhere, USA 54321\n3. 789 Pine Avenue, Somewhere, USA 98765', generation_info={'finish_reason': 'stop', 'logprobs': None})]] llm_output={'token_usage': {'total_tokens': 137, 'prompt_tokens': 33, 'completion_tokens': 104}, 'model_name': 'text-davinci-003'}
在 GitHub 上编辑此页面或提交问题。
通过 MCP 将这些文档连接到 Claude、VSCode 等以获取实时答案。