Skip to main content
IPEX-LLM 是一个用于在 Intel CPU 和 GPU（例如带 iGPU 的本地 PC、Arc、Flex 和 Max 等独立 GPU）上以极低延迟运行 LLM 的 PyTorch 库。
本示例介绍如何使用 LangChain 在 Intel GPU 上利用 ipex-llm 优化执行嵌入任务。这对于 RAG、文档问答等应用非常有帮助。
注意 建议仅配备 Intel Arc A 系列 GPU（Intel Arc A300 系列或 Pro A60 除外）的 Windows 用户直接运行此 Jupyter Notebook。对于其他情况（如 Linux 用户、Intel iGPU 等），建议在终端中使用 Python 脚本运行代码以获得最佳体验。

​
安装前提条件

要在 Intel GPU 上使用 IPEX-LLM，需要进行若干工具安装和环境准备的前提步骤。 如果您是 Windows 用户，请访问 在 Windows 上安装配备 Intel GPU 的 IPEX-LLM 指南，并按照安装前提条件更新 GPU 驱动程序（可选）并安装 Conda。 如果您是 Linux 用户，请访问 在 Linux 上安装配备 Intel GPU 的 IPEX-LLM，并按照安装前提条件安装 GPU 驱动程序、Intel® oneAPI Base Toolkit 2024.0 和 Conda。

​
设置

完成前提条件安装后，您应该已创建了包含所有前提条件的 conda 环境。在此 conda 环境中启动 jupyter 服务： 
pip install -qU langchain langchain-community
安装用于 Intel GPU 优化的 IPEX-LLM 以及 sentence-transformers。 
pip install --pre --upgrade ipex-llm[xpu] --extra-index-url https://pytorch-extension.intel.com/release-whl/stable/xpu/us/
pip install sentence-transformers
注意 您也可以使用 https://pytorch-extension.intel.com/release-whl/stable/xpu/cn/ 作为 extra-indel-url。

​
运行时配置

为获得最佳性能，建议根据您的设备设置若干环境变量：

​
适用于配备 Intel Core Ultra 集成 GPU 的 Windows 用户

import os

os.environ["SYCL_CACHE_PERSISTENT"] = "1"
os.environ["BIGDL_LLM_XMX_DISABLED"] = "1"

​
适用于配备 Intel Arc A 系列 GPU 的 Windows 用户

import os

os.environ["SYCL_CACHE_PERSISTENT"] = "1"
注意 每个模型第一次在 Intel iGPU/Intel Arc A300 系列或 Pro A60 上运行时，可能需要数分钟进行编译。 对于其他 GPU 类型，Windows 用户请参阅此处，Linux 用户请参阅此处。

​
基本用法

在初始化 IpexLLMBgeEmbeddings 时，在 model_kwargs 中将 device 设置为 "xpu" 会将嵌入模型放置在 Intel GPU 上，并从 IPEX-LLM 优化中受益： 
from langchain_community.embeddings import IpexLLMBgeEmbeddings

embedding_model = IpexLLMBgeEmbeddings(
    model_name="BAAI/bge-large-en-v1.5",
    model_kwargs={"device": "xpu"},
    encode_kwargs={"normalize_embeddings": True},
)

​
API 参考

sentence = "IPEX-LLM is a PyTorch library for running LLM on Intel CPU and GPU (e.g., local PC with iGPU, discrete GPU such as Arc, Flex and Max) with very low latency."
query = "What is IPEX-LLM?"

text_embeddings = embedding_model.embed_documents([sentence, query])
print(f"text_embeddings[0][:10]: {text_embeddings[0][:10]}")
print(f"text_embeddings[1][:10]: {text_embeddings[1][:10]}")

query_embedding = embedding_model.embed_query(query)
print(f"query_embedding[:10]: {query_embedding[:10]}")
在 GitHub 上编辑此页面 或提交问题。
通过 MCP 将这些文档连接 到 Claude、VSCode 等，获取实时解答。