Skip to main content
Pinecone 是一个功能丰富的向量数据库。
本 notebook 介绍如何使用底层基于 Pinecone 和混合搜索的检索器。 该检索器的逻辑来自此文档。 使用 Pinecone 需要 API 密钥和环境配置。 请参阅安装说明。 
pip install -qU  pinecone pinecone-text pinecone-notebooks

# Connect to Pinecone and get an API key.
from pinecone_notebooks.colab import Authenticate

Authenticate()

import os

api_key = os.environ["PINECONE_API_KEY"]

from langchain_community.retrievers import (
    PineconeHybridSearchRetriever,
)
我们希望使用 OpenAIEmbeddings，因此需要获取 OpenAI API 密钥。 
import getpass

if "OPENAI_API_KEY" not in os.environ:
    os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:")

​
设置 Pinecone

此步骤只需执行一次。 
import os

from pinecone import Pinecone, ServerlessSpec

index_name = "langchain-pinecone-hybrid-search"

# initialize Pinecone client
pc = Pinecone(api_key=api_key)

# create the index
if index_name not in pc.list_indexes().names():
    pc.create_index(
        name=index_name,
        dimension=1536,  # dimensionality of dense model
        metric="dotproduct",  # sparse values supported only for dotproduct
        spec=ServerlessSpec(cloud="aws", region="us-east-1"),
    )

WhoAmIResponse(username='load', user_label='label', projectname='load-test')
索引创建完成后，即可使用。 
index = pc.Index(index_name)

​
获取嵌入向量和稀疏编码器

嵌入向量用于稠密向量，分词器用于稀疏向量。 
from langchain_openai import OpenAIEmbeddings

embeddings = OpenAIEmbeddings()
将文本编码为稀疏值时，可以选择 SPLADE 或 BM25。对于领域外任务，推荐使用 BM25。 有关稀疏编码器的更多信息，请查阅 pinecone-text 库的文档。 
from pinecone_text.sparse import BM25Encoder

# or from pinecone_text.sparse import SpladeEncoder if you wish to work with SPLADE

# use default tf-idf values
bm25_encoder = BM25Encoder().default()
上述代码使用默认的 tf-idf 值。强烈建议将 tf-idf 值拟合到您自己的语料库，方法如下： 
corpus = ["foo", "bar", "world", "hello"]

# fit tf-idf values on your corpus
bm25_encoder.fit(corpus)

# store the values to a json file
bm25_encoder.dump("bm25_values.json")

# load to your BM25Encoder object
bm25_encoder = BM25Encoder().load("bm25_values.json")

​
加载检索器

现在可以构建检索器了！ 
retriever = PineconeHybridSearchRetriever(
    embeddings=embeddings, sparse_encoder=bm25_encoder, index=index
)

​
添加文本（如有必要）

可以选择性地向检索器添加文本（如果尚未添加）。 
retriever.add_texts(["foo", "bar", "world", "hello"])

100%|██████████| 1/1 [00:02<00:00,  2.27s/it]

​
使用检索器

现在可以使用检索器了！ 
result = retriever.invoke("foo")

result[0]

Document(page_content='foo', metadata={})
在 GitHub 上编辑此页 或 提交 issue。
将这些文档连接到 Claude、VSCode 等，通过 MCP 获取实时解答。