如果您要在 Cloudflare worker 中部署您的项目,您可以将 Cloudflare Vectorize 与 LangChain.js 一起使用。
这是一个功能强大且方便的选项,直接内置于 Cloudflare 中。
兼容性Cloudflare Vectorize 目前处于公开测试阶段,需要付费的 Cloudflare 帐户才能使用。
在 设置您的项目 之后,
通过运行以下 Wrangler 命令创建一个索引:
$ npx wrangler vectorize create <index_name> --preset @cf/baai/bge-small-en-v1.5
您可以 在官方文档中 查看 vectorize 命令的选项完整列表。
然后,您需要更新您的 wrangler.toml 文件以包含 [[vectorize]] 的条目:
[[vectorize]]
binding = "VECTORIZE_INDEX"
index_name = "<index_name>"
最后,您需要安装 LangChain Cloudflare 集成包:
请参阅 此部分 以获取有关安装 LangChain 包的一般说明。
npm install @langchain/cloudflare @langchain/core
下面是一个示例 worker,它将文档添加到向量存储、查询它或清除它,具体取决于使用的路径。它还使用 Cloudflare Workers AI Embeddings。
如果在本地运行,请务必将 wrangler 作为 npx wrangler dev --remote 运行!
name = "langchain-test"
main = "worker.ts"
compatibility_date = "2024-01-10"
[[vectorize]]
binding = "VECTORIZE_INDEX"
index_name = "langchain-test"
[ai]
binding = "AI"
// @ts-nocheck
import type {
VectorizeIndex,
Fetcher,
Request,
} from "@cloudflare/workers-types";
import {
CloudflareVectorizeStore,
CloudflareWorkersAIEmbeddings,
} from "@langchain/cloudflare";
export interface Env {
VECTORIZE_INDEX: VectorizeIndex;
AI: Fetcher;
}
export default {
async fetch(request: Request, env: Env) {
const { pathname } = new URL(request.url);
const embeddings = new CloudflareWorkersAIEmbeddings({
binding: env.AI,
model: "@cf/baai/bge-small-en-v1.5",
});
const store = new CloudflareVectorizeStore(embeddings, {
index: env.VECTORIZE_INDEX,
});
if (pathname === "/") {
const results = await store.similaritySearch("hello", 5);
return Response.json(results);
} else if (pathname === "/load") {
// Upsertion by id is supported
await store.addDocuments(
[
{
pageContent: "hello",
metadata: {},
},
{
pageContent: "world",
metadata: {},
},
{
pageContent: "hi",
metadata: {},
},
],
{ ids: ["id1", "id2", "id3"] }
);
return Response.json({ success: true });
} else if (pathname === "/clear") {
await store.delete({ ids: ["id1", "id2", "id3"] });
return Response.json({ success: true });
}
return Response.json({ error: "Not Found" }, { status: 404 });
},
};
您还可以传递 filter 参数以按先前加载的元数据进行过滤。
有关所需格式的信息,请参阅 官方文档。