Skip to main content
与 Konko 相关的所有功能
Konko AI 提供完全托管的 API,帮助应用开发者
  1. 选择适合其应用的开源或专有 LLM
  2. 更快构建应用,借助与主流应用框架的集成和完全托管的 API
  3. 微调较小的开源 LLM,以极低的成本实现行业领先的性能
  4. 使用 Konko AI 符合 SOC 2 标准的多云基础设施,部署生产规模的 API,满足安全性、隐私性、吞吐量和延迟 SLA,无需基础设施配置或管理

安装与设置

  1. 登录我们的 Web 应用,创建 API 密钥,通过我们的端点访问对话补全补全模型。
  2. 启用 Python 3.8+ 环境
  3. 安装 SDK
pip install konko
  1. 将 API 密钥设置为环境变量(KONKO_API_KEYOPENAI_API_KEY
export KONKO_API_KEY={your_KONKO_API_KEY_here}
export OPENAI_API_KEY={your_OPENAI_API_KEY_here} #Optional
更多详情请参阅 Konko 文档

LLM

探索可用模型: 首先浏览 Konko 上的可用模型。每个模型面向不同的使用场景和能力。 另一种查找 Konko 实例上运行模型列表的方式是通过此端点 查看使用示例

端点使用示例

  • 使用 mistralai/Mistral-7B-v0.1 补全:
    from langchain_community.llms import Konko
    llm = Konko(max_tokens=800, model='mistralai/Mistral-7B-v0.1')
    prompt = "Generate a Product Description for Apple Iphone 15"
    response = llm.invoke(prompt)
    

对话模型

查看使用示例
  • 使用 Mistral-7B 进行对话补全:
    from langchain.messages import HumanMessage
    from langchain_community.chat_models import ChatKonko
    chat_instance = ChatKonko(max_tokens=10, model = 'mistralai/mistral-7b-instruct-v0.1')
    msg = HumanMessage(content="Hi")
    chat_response = chat_instance([msg])
    
如需进一步帮助,请联系 support@konko.ai 或加入我们的 Discord