按令牌分割 - 文本分割器集成指南

import { TokenTextSplitter } from "@langchain/textsplitters";
import { readFileSync } from "fs";

// 示例：读取一个长文档
const stateOfTheUnion = readFileSync("state_of_the_union.txt", "utf8");

import { TokenTextSplitter } from "@langchain/textsplitters";

// 示例：使用 cl100k_base 编码
const splitter = new TokenTextSplitter({ encodingName: "cl100k_base", chunkSize: 10, chunkOverlap: 0 });

const texts = splitter.splitText(stateOfTheUnion);
console.log(texts[0]);

议长女士，副总统女士，我们的第一夫人和第二先生。国会议员和内阁成员。最高法院大法官们。我的美国同胞们。

去年，COVID-19 让我们分离。今年，我们终于再次相聚。

今晚，我们作为民主党人、共和党人和独立人士相聚。但最重要的是，作为美国人。

我们彼此之间、对美国人民、对宪法负有责任。