Skip to main content
Pipeshift 是一个面向开源 LLMs 的微调和推理平台
  • 您提供数据集,微调多个 LLMs,一键开始推理,并观察其扩展至数百万用户。

安装与设置

  • 安装 Pipeshift 集成包。
    pip install langchain-pipeshift
    
  • 通过在 Pipeshift 注册获取您的 Pipeshift API 密钥。

认证

您可以通过以下任一方式使用您的 Pipeshift API 密钥进行认证:
  1. 将 API 密钥作为 PIPESHIFT_API_KEY 添加到环境变量。
    os.environ["PIPESHIFT_API_KEY"] = "<your_api_key>"
    
  2. 通过将 api_key 传递给 pipeshift LLM 模块或聊天模块
    llm = Pipeshift(api_key="<your_api_key>", model="meta-llama/Meta-Llama-3.1-8B-Instruct", max_tokens=512)
    
                        OR
    
    chat = ChatPipeshift(api_key="<your_api_key>", model="meta-llama/Meta-Llama-3.1-8B-Instruct", max_tokens=512)
    

聊天模型

参见 示例
from langchain_pipeshift import ChatPipeshift

LLM

参见 示例
from langchain_pipeshift import Pipeshift