Skip to main content
通过开源的 johnsnowlabs 库,访问 johnsnowlabs 生态系统中的企业 NLP 库,涵盖 200 多种语言的 21,000 余个企业 NLP 模型。 所有 24,000+ 模型,请参阅 John Snow Labs 模型中心

安装与设置

pip install johnsnowlabs
安装企业功能,请运行:
# 更多详情请参阅 https://nlp.johnsnowlabs.com/docs/en/jsl/install_licensed_quick
nlp.install()
您可以使用基于 gpucpuapple_siliconaarch 的优化二进制文件来嵌入查询和文档。 默认使用 CPU 二进制文件。 一旦会话启动,必须重启 notebook 才能在 GPU 和 CPU 之间切换,否则更改不会生效。

使用 CPU 嵌入查询:

document = "foo bar"
embedding = JohnSnowLabsEmbeddings('embed_sentence.bert')
output = embedding.embed_query(document)

使用 GPU 嵌入查询:

document = "foo bar"
embedding = JohnSnowLabsEmbeddings('embed_sentence.bert','gpu')
output = embedding.embed_query(document)

使用 Apple Silicon(M1、M2 等)嵌入查询:

documents = ["foo bar", 'bar foo']
embedding = JohnSnowLabsEmbeddings('embed_sentence.bert','apple_silicon')
output = embedding.embed_query(document)

使用 AARCH 嵌入查询:

documents = ["foo bar", 'bar foo']
embedding = JohnSnowLabsEmbeddings('embed_sentence.bert','aarch')
output = embedding.embed_query(document)

使用 CPU 嵌入文档:

documents = ["foo bar", 'bar foo']
embedding = JohnSnowLabsEmbeddings('embed_sentence.bert','gpu')
output = embedding.embed_documents(documents)

使用 GPU 嵌入文档:

documents = ["foo bar", 'bar foo']
embedding = JohnSnowLabsEmbeddings('embed_sentence.bert','gpu')
output = embedding.embed_documents(documents)

使用 Apple Silicon(M1、M2 等)嵌入文档:

```python
documents = ["foo bar", 'bar foo']
embedding = JohnSnowLabsEmbeddings('embed_sentence.bert','apple_silicon')
output = embedding.embed_documents(documents)

使用 AARCH 嵌入文档:

```python
documents = ["foo bar", 'bar foo']
embedding = JohnSnowLabsEmbeddings('embed_sentence.bert','aarch')
output = embedding.embed_documents(documents)
模型通过 nlp.load 加载,底层通过 nlp.start() 启动 Spark 会话。