Skip to main content
本指南帮助您使用 LangChain 快速上手 Baseten 嵌入模型。有关 BasetenEmbeddings 功能和配置选项的详细文档,请参阅 API 参考

概述

Baseten 提供面向生产应用的推理服务。基于 Baseten 推理栈构建,这些 API 为领先的开源或自定义模型提供企业级性能和可靠性:https://www.baseten.co/library/。

集成详情

设置

要访问 Baseten 嵌入模型,您需要创建一个 Baseten 账户、获取 API 密钥,并安装 langchain-baseten 集成包。 Baseten 嵌入仅作为专用模型提供。 使用此集成之前,您必须从 Baseten 模型库 部署一个嵌入模型。 嵌入功能使用 Baseten 的 Performance Client 以优化性能,该客户端会作为依赖项自动包含。

凭证

前往 https://app.baseten.co 注册 Baseten 并生成 API 密钥。完成后,设置 BASETEN_API_KEY 环境变量:
import getpass
import os

if not os.getenv("BASETEN_API_KEY"):
    os.environ["BASETEN_API_KEY"] = getpass.getpass("Enter your Baseten API key: ")
要启用模型调用的自动追踪,请设置您的 LangSmith API 密钥:
os.environ["LANGSMITH_TRACING"] = "true"
os.environ["LANGSMITH_API_KEY"] = getpass.getpass("Enter your LangSmith API key: ")

安装

LangChain Baseten 集成位于 langchain-baseten 包中:
pip install -qU langchain-baseten

实例化

现在我们可以使用您已部署模型的 URL 实例化嵌入对象:
from langchain_baseten import BasetenEmbeddings

embeddings = BasetenEmbeddings(
    model_url="https://model-<id>.api.baseten.co/environments/production/sync",  # Your model URL
    api_key="your-api-key",  # Or set BASETEN_API_KEY env var
)

索引与检索

嵌入模型通常用于检索增强生成(RAG)流程,既用于数据索引,也用于后续检索。更详细的说明请参阅我们的 RAG 教程 以下展示如何使用上面初始化的 embeddings 对象对数据进行索引和检索。本示例将在 InMemoryVectorStore 中索引并检索一个示例文档。
# Create a vector store with a sample text
from langchain_core.vectorstores import InMemoryVectorStore

text = "LangChain is the framework for building context-aware reasoning applications"

vectorstore = InMemoryVectorStore.from_texts(
    [text],
    embedding=embeddings,
)

# Use the vectorstore as a retriever
retriever = vectorstore.as_retriever()

# Retrieve the most similar text
retrieved_documents = retriever.invoke("What is LangChain?")

# show the retrieved document's content
retrieved_documents[0].page_content
'LangChain is the framework for building context-aware reasoning applications'

直接使用

在底层,向量存储和检索器实现会分别调用 embeddings.embed_documents(...)embeddings.embed_query(...) 来为文本创建嵌入。 您可以直接调用这些方法来满足自己的使用需求。

嵌入单条文本

您可以使用 embed_query 嵌入单条文本或文档:
single_vector = embeddings.embed_query(text)
print(str(single_vector)[:100])  # Show the first 100 characters of the vector
[0.013201533816754818, 0.02222288027405739, -0.036066457629203796, 0.027374643832445145, -0.01692997

嵌入多条文本

您可以使用 embed_documents 嵌入多条文本:
text2 = (
    "LangGraph is a library for building stateful, multi-actor applications with LLMs"
)
two_vectors = embeddings.embed_documents([text, text2])
for vector in two_vectors:
    print(str(vector)[:100])  # Show the first 100 characters of the vector
[0.013201533816754818, 0.02222288027405739, -0.036066457629203796, 0.027374643832445145, -0.01692997
[0.018247194588184357, 0.007369577884674072, -0.005529594141989946, 0.022589316591620445, -0.0699259

API 参考

有关 BasetenEmbeddings 功能和配置选项的详细文档,请参阅 API 参考