Skip to main content

概述

本概述涵盖基于文本的嵌入模型。LangChain 目前不支持多模态嵌入。请参阅顶级嵌入模型
嵌入模型将原始文本(如句子、段落或推文)转换为固定长度的数字向量,该向量捕获其语义含义。这些向量允许机器基于含义而非精确词语来比较和搜索文本。 在实践中,这意味着具有相似想法的文本在向量空间中会被放置在相近的位置。例如,嵌入模型不仅能匹配短语*“机器学习”*,还能在使用不同措辞时,找出讨论相关概念的文档。

工作原理

  1. 向量化 — 模型将每个输入字符串编码为一个高维向量。
  2. 相似度评分 — 使用数学度量比较向量,以衡量底层文本的关联程度。

相似度度量

有几种常用的度量方法用于比较嵌入:
  • 余弦相似度 — 衡量两个向量之间的夹角。
  • 欧几里得距离 — 衡量点之间的直线距离。
  • 点积 — 衡量一个向量在另一个向量上的投影程度。
以下是计算两个向量之间余弦相似度的示例:
import numpy as np

def cosine_similarity(vec1, vec2):
    dot = np.dot(vec1, vec2)
    return dot / (np.linalg.norm(vec1) * np.linalg.norm(vec2))

similarity = cosine_similarity(query_embedding, document_embedding)
print("Cosine Similarity:", similarity)

接口

LangChain 通过 Embeddings 接口为文本嵌入模型(例如 OpenAI、Cohere、Hugging Face)提供了标准接口。 提供两个主要方法:
  • embed_documents(texts: List[str]) → List[List[float]]:嵌入文档列表。
  • embed_query(text: str) → List[float]:嵌入单个查询。
该接口允许使用不同的策略嵌入查询和文档,尽管在实践中大多数提供者处理它们的方式相同。

顶级集成

缓存

嵌入可以被存储或临时缓存,以避免重新计算它们。 可以使用 CacheBackedEmbeddings 来缓存嵌入。这个包装器将嵌入存储在键值存储中,其中文本被哈希化,哈希值用作缓存中的键。 初始化 CacheBackedEmbeddings 的主要支持方式是 from_bytes_store。它接受以下参数:
  • underlying_embedder:用于嵌入的嵌入器。
  • document_embedding_cache:任何用于缓存文档嵌入的 ByteStore
  • batch_size:(可选,默认为 None)在存储更新之间嵌入的文档数量。
  • namespace:(可选,默认为 "")用于文档缓存的命名空间。有助于避免冲突(例如,将其设置为嵌入模型名称)。
  • query_embedding_cache:(可选,默认为 None)用于缓存查询嵌入的 ByteStore,或设置为 True 以复用与 document_embedding_cache 相同的存储。
import time
from langchain_classic.embeddings import CacheBackedEmbeddings  
from langchain_classic.storage import LocalFileStore 
from langchain_core.vectorstores import InMemoryVectorStore

# 创建你的底层嵌入模型
underlying_embeddings = ... # 例如,OpenAIEmbeddings(), HuggingFaceEmbeddings() 等。

# 存储将嵌入持久化到本地文件系统
# 这不适用于生产环境,但对本地使用很有用
store = LocalFileStore("./cache/")

cached_embedder = CacheBackedEmbeddings.from_bytes_store(
    underlying_embeddings,
    store,
    namespace=underlying_embeddings.model
)

# 示例:缓存查询嵌入
tic = time.time()
print(cached_embedder.embed_query("Hello, world!"))
print(f"首次调用耗时: {time.time() - tic:.2f} 秒")

# 后续调用使用缓存
tic = time.time()
print(cached_embedder.embed_query("Hello, world!"))
print(f"第二次调用耗时: {time.time() - tic:.2f} 秒")
在生产环境中,您通常会使用更健壮的持久化存储,例如数据库或云存储。请参阅存储集成了解选项。

所有嵌入模型

Aleph Alpha

Anyscale

Ascend

AI/ML API

AwaDB

AzureOpenAI

Baichuan 文本嵌入

百度千帆

Baseten

Bedrock

Hugging Face 上的 BGE

Bookend AI

Clarifai

Cloudflare Workers AI

Clova 嵌入

Cohere

DashScope

Databricks

DeepInfra

EDEN AI

Elasticsearch

Embaas

Fake 嵌入

Qdrant 的 FastEmbed

Fireworks

Google Gemini

Google Vertex AI

GPT4All

Gradient

GreenNode

Hugging Face

IBM watsonx.ai

Infinity

Instruct 嵌入

IPEX-LLM CPU

IPEX-LLM GPU

Isaacus

Intel Extension for Transformers

Jina

John Snow Labs

LASER

Lindorm

Llama.cpp

LLMRails

LocalAI

MiniMax

MistralAI

Model2Vec

ModelScope

MosaicML

Naver

Nebius

Netmind

NLP Cloud

Nomic

NVIDIA NIMs

Oracle Cloud Infrastructure

Ollama

OpenClip

OpenAI

OpenVINO

Optimum Intel

Oracle AI Database

OVHcloud

Pinecone 嵌入

PredictionGuard

Perplexity

PremAI

SageMaker

SambaNova

自托管

Sentence Transformers

Solar

SpaCy

SparkLLM

TensorFlow Hub

Text Embeddings Inference

TextEmbed

Titan Takeoff

Together AI

Upstage

火山引擎

Voyage AI

Xinference

YandexGPT

智谱AI