Skip to main content
本页面介绍如何在 LangChain 中使用 Prediction Guard 生态系统。 分为两部分:安装与设置,以及特定 Prediction Guard 封装的参考。 此集成在 langchain-predictionguard 包中维护。

安装与设置

  • 安装 PredictionGuard LangChain 合作伙伴包:
pip install langchain-predictionguard
  • 获取 Prediction Guard API 密钥(如 此处 所述)并将其设置为环境变量(PREDICTIONGUARD_API_KEY

Prediction guard LangChain 集成

API描述端点文档导入使用示例
聊天构建聊天机器人聊天from langchain_predictionguard import ChatPredictionGuardChatPredictionGuard.ipynb
补全生成文本补全from langchain_predictionguard import PredictionGuardPredictionGuard.ipynb
文本嵌入将字符串嵌入到向量嵌入from langchain_predictionguard import PredictionGuardEmbeddingsPredictionGuardEmbeddings.ipynb

入门

聊天模型

Prediction guard 聊天

参见 使用示例
from langchain_predictionguard import ChatPredictionGuard

使用方法

# 如果未传递 predictionguard_api_key,默认行为是使用 `PREDICTIONGUARD_API_KEY` 环境变量。
chat = ChatPredictionGuard(model="Hermes-3-Llama-3.1-8B")

chat.invoke("Tell me a joke")

嵌入模型

Prediction guard 嵌入

参见 使用示例
from langchain_predictionguard import PredictionGuardEmbeddings

使用方法

# 如果未传递 predictionguard_api_key,默认行为是使用 `PREDICTIONGUARD_API_KEY` 环境变量。
embeddings = PredictionGuardEmbeddings(model="bridgetower-large-itm-mlm-itc")

text = "This is an embedding example."
output = embeddings.embed_query(text)

LLM

Prediction guard LLM

参见 使用示例
from langchain_predictionguard import PredictionGuard

使用方法

# 如果未传递 predictionguard_api_key,默认行为是使用 `PREDICTIONGUARD_API_KEY` 环境变量。
llm = PredictionGuard(model="Hermes-2-Pro-Llama-3-8B")

llm.invoke("Tell me a joke about bears")