Skip to main content
Shale Protocol 为开源 LLM 提供生产就绪的推理 API。由于托管在高度可扩展的 GPU 云基础设施上，它是一个即插即用的 API。 我们的免费套餐每个密钥每日支持最多 1K 次请求，因为我们希望消除任何人使用 LLM 构建生成式 AI 应用的障碍。 借助 Shale Protocol，开发者/研究人员可以免费创建应用并探索开源 LLM 的能力。 本页介绍如何将 Shale-Serve API 与 LangChain 集成。 截至 2023 年 6 月，该 API 默认支持 Vicuna-13B。我们将在未来版本中支持更多 LLM，例如 Falcon-40B。

​
使用方法

​
1. 在 https://shaleprotocol.com 找到我们 Discord 的链接，通过 Discord 上的”Shale bot”生成 API 密钥。无需信用卡，无免费试用期。这是一个永久免费套餐，每个 API 密钥每天限制 1K 次请求

​
2. 使用 https://shale.live/v1 作为 OpenAI API 的直接替代

例如 
from langchain_openai import OpenAI
from langchain_core.prompts import PromptTemplate
from langchain_core.output_parsers import StrOutputParser

import os
os.environ['OPENAI_API_BASE'] = "https://shale.live/v1"
os.environ['OPENAI_API_KEY'] = "ENTER YOUR API KEY"

llm = OpenAI()

template = """Question: {question}

# Answer: Let's think step by step."""

prompt = PromptTemplate.from_template(template)


llm_chain = prompt | llm | StrOutputParser()

question = "What NFL team won the Super Bowl in the year Justin Beiber was born?"

llm_chain.invoke(question)
在 GitHub 上编辑此页面 或 提交问题。
连接这些文档 到 Claude、VSCode 等，通过 MCP 获取实时答案。