按令牌分割 - 文本分割器集成指南

pip install --upgrade --quiet langchain-text-splitters tiktoken

from langchain_text_splitters import CharacterTextSplitter

# 这是一个我们可以分割的长文档。
with open("state_of_the_union.txt") as f:
    state_of_the_union = f.read()

text_splitter = CharacterTextSplitter.from_tiktoken_encoder(
    encoding_name="cl100k_base", chunk_size=100, chunk_overlap=0
)
texts = text_splitter.split_text(state_of_the_union)

print(texts[0])

议长女士、副总统女士、我们的第一夫人和第二先生。国会议员和内阁成员。最高法院大法官。我的美国同胞们。

去年，COVID-19 让我们分离。今年，我们终于再次相聚。

今晚，我们作为民主党人、共和党人和独立人士相聚。但最重要的是，作为美国人。

我们彼此之间、对美国人民、对宪法负有责任。

from langchain_text_splitters import RecursiveCharacterTextSplitter

text_splitter = RecursiveCharacterTextSplitter.from_tiktoken_encoder(
    model_name="gpt-4",
    chunk_size=100,
    chunk_overlap=0,
)

from langchain_text_splitters import TokenTextSplitter

text_splitter = TokenTextSplitter(chunk_size=10, chunk_overlap=0)

texts = text_splitter.split_text(state_of_the_union)
print(texts[0])

议长女士、副总统女士、我们的

pip install --upgrade --quiet  spacy

# 这是一个我们可以分割的长文档。
with open("state_of_the_union.txt") as f:
    state_of_the_union = f.read()

from langchain_text_splitters import SpacyTextSplitter

text_splitter = SpacyTextSplitter(chunk_size=1000)

texts = text_splitter.split_text(state_of_the_union)
print(texts[0])

议长女士、副总统女士、我们的第一夫人和第二先生。

国会议员和内阁成员。

最高法院大法官。

我的美国同胞们。



去年，COVID-19 让我们分离。

今年，我们终于再次相聚。



今晚，我们作为民主党人、共和党人和独立人士相聚。

但最重要的是，作为美国人。



我们彼此之间、对美国人民、对宪法负有责任。



并且我们坚定不移地决心，自由将永远战胜暴政。



六天前，俄罗斯的弗拉基米尔·普京试图动摇自由世界的根基，认为他可以使其屈服于他险恶的方式。

但他严重误判了。



他认为他可以入侵乌克兰，世界会屈服。

相反，他遇到了一堵他从未想象过的力量之墙。



他遇到了乌克兰人民。



从泽连斯基总统到每一位乌克兰人，他们的无畏、他们的勇气、他们的决心，激励着世界。

from langchain_text_splitters import SentenceTransformersTokenTextSplitter

splitter = SentenceTransformersTokenTextSplitter(chunk_overlap=0)
text = "Lorem "

count_start_and_stop_tokens = 2
text_token_count = splitter.count_tokens(text=text) - count_start_and_stop_tokens
print(text_token_count)

2

token_multiplier = splitter.maximum_tokens_per_chunk // text_token_count + 1

# `text_to_split` 不适合放在单个块中
text_to_split = text * token_multiplier

print(f"tokens in text to split: {splitter.count_tokens(text=text_to_split)}")

tokens in text to split: 514

text_chunks = splitter.split_text(text=text_to_split)

print(text_chunks[1])

lorem

# pip install nltk

# 这是一个我们可以分割的长文档。
with open("state_of_the_union.txt") as f:
    state_of_the_union = f.read()

from langchain_text_splitters import NLTKTextSplitter

text_splitter = NLTKTextSplitter(chunk_size=1000)

texts = text_splitter.split_text(state_of_the_union)
print(texts[0])

议长女士、副总统女士、我们的第一夫人和第二先生。

国会议员和内阁成员。

最高法院大法官。

我的美国同胞们。

去年，COVID-19 让我们分离。

今年，我们终于再次相聚。

今晚，我们作为民主党人、共和党人和独立人士相聚。

但最重要的是，作为美国人。

我们彼此之间、对美国人民、对宪法负有责任。

并且我们坚定不移地决心，自由将永远战胜暴政。

六天前，俄罗斯的弗拉基米尔·普京试图动摇自由世界的根基，认为他可以使其屈服于他险恶的方式。

但他严重误判了。

他认为他可以入侵乌克兰，世界会屈服。

相反，他遇到了一堵他从未想象过的力量之墙。

他遇到了乌克兰人民。

从泽连斯基总统到每一位乌克兰人，他们的无畏、他们的勇气、他们的决心，激励着世界。

市民们用身体阻挡坦克。

# pip install konlpy

# 这是一个我们想要分割成组成句子的长韩语文档。
with open("./your_korean_doc.txt") as f:
    korean_document = f.read()

from langchain_text_splitters import KonlpyTextSplitter

text_splitter = KonlpyTextSplitter()

texts = text_splitter.split_text(korean_document)
# 句子用 "\n\n" 字符分割。
print(texts[0])

春香传 从前在南原有一个叫李道令的官吏的儿子。

他的外貌像明亮的月亮一样英俊，他的学识和技艺超群。

另一方面，这个村子里住着一位绝世佳人，名叫春香。

春香的美貌如花，深受村民们的喜爱。

某个春日，李道令和朋友们出去玩，遇到了春香，一见钟情。

两人相爱了，很快交换了秘密的爱情誓言。

但好景不长。

李道令的父亲被调任到其他地方，李道令也必须离开。

在离别的痛苦中，两人约定重逢，彼此信任并等待。

然而，新上任的官府使道贪图春香的美貌，开始强迫她。

春香为了守护对李道令的爱，坚决拒绝了使道的要求。

愤怒的使道将春香关进监狱，并施以严酷的刑罚。

故事以李道令升任高官后，救出春香结束。

两人历经漫长考验后重逢，他们的爱情传遍世界，流传后世。

- 春香传 (The Tale of Chunhyang)

from transformers import GPT2TokenizerFast

tokenizer = GPT2TokenizerFast.from_pretrained("gpt2")

# 这是一个我们可以分割的长文档。
with open("state_of_the_union.txt") as f:
    state_of_the_union = f.read()
from langchain_text_splitters import CharacterTextSplitter

text_splitter = CharacterTextSplitter.from_huggingface_tokenizer(
    tokenizer, chunk_size=100, chunk_overlap=0
)
texts = text_splitter.split_text(state_of_the_union)

print(texts[0])

议长女士、副总统女士、我们的第一夫人和第二先生。国会议员和内阁成员。最高法院大法官。我的美国同胞们。

去年，COVID-19 让我们分离。今年，我们终于再次相聚。

今晚，我们作为民主党人、共和党人和独立人士相聚。但最重要的是，作为美国人。

我们彼此之间、对美国人民、对宪法负有责任。