Skip to main content
Hugging Face Text Embeddings Inference (TEI) 是一个用于部署和服务开源文本嵌入及序列分类模型的工具包。TEI 支持对最流行的模型进行高性能特征提取，包括 FlagEmbedding、Ember、GTE 和 E5。
要在 LangChain 中使用它，首先安装 huggingface-hub。 
pip install -U huggingface-hub
然后使用 TEI 提供嵌入模型服务。例如，使用 Docker 可以按如下方式部署 BAAI/bge-large-en-v1.5： 
model=BAAI/bge-large-en-v1.5
revision=refs/pr/5
volume=$PWD/data # share a volume with the Docker container to avoid downloading weights every run

docker run --gpus all -p 8080:80 -v $volume:/data --pull always ghcr.io/huggingface/text-embeddings-inference:0.6 --model-id $model --revision $revision
Docker 的具体用法可能因底层硬件而异。例如，若要在 Intel Gaudi/Gaudi2 硬件上部署模型，请参阅 tei-gaudi 仓库 获取对应的 docker run 命令。 最后，实例化客户端并对文本进行嵌入。 
from langchain_huggingface.embeddings import HuggingFaceEndpointEmbeddings

embeddings = HuggingFaceEndpointEmbeddings(model="http://localhost:8080")

text = "What is deep learning?"

query_result = embeddings.embed_query(text)
query_result[:3]

[0.018113142, 0.00302585, -0.049911194]

doc_result = embeddings.embed_documents([text])

doc_result[0][:3]

[0.018113142, 0.00302585, -0.049911194]
Edit this page on GitHub or file an issue.
Connect these docs to Claude, VSCode, and more via MCP for real-time answers.