Skip to main content
John Snow Labs 的 NLP 与 LLM 生态系统包含用于大规模前沿 AI、负责任 AI、无代码 AI 的软件库,以及针对医疗、法律、金融等领域的 20,000 余个模型。 模型通过 nlp.load 加载,Spark 会话在底层通过 nlp.start() 启动。 如需查看全部 24,000+ 个模型,请访问 John Snow Labs 模型中心

环境配置

pip install -qU  johnsnowlabs
# 如果您拥有企业许可证,可运行以下代码安装企业功能
# from johnsnowlabs import nlp
# nlp.install()

示例

from langchain_community.embeddings.johnsnowlabs import JohnSnowLabsEmbeddings
初始化 Johnsnowlabs 嵌入模型及 Spark 会话:
embedder = JohnSnowLabsEmbeddings("en.embed_sentence.biobert.clinical_base_cased")
定义一些示例文本。这些可以是您希望分析的任何文档,例如新闻文章、社交媒体帖子或产品评论。
texts = ["Cancer is caused by smoking", "Antibiotics aren't painkiller"]
为这些文本生成并打印嵌入向量。JohnSnowLabsEmbeddings 类会为每个文档生成一个嵌入向量,即文档内容的数值表示。这些嵌入向量可用于各种自然语言处理任务,例如文档相似度比较或文本分类。
embeddings = embedder.embed_documents(texts)
for i, embedding in enumerate(embeddings):
    print(f"Embedding for document {i + 1}: {embedding}")
为单段文本生成并打印嵌入向量。您也可以为单段文本(例如搜索查询)生成嵌入向量,这对于信息检索等任务非常有用,可以找到与给定查询相似的文档。
query = "Cancer is caused by smoking"
query_embedding = embedder.embed_query(query)
print(f"Embedding for query: {query_embedding}")