Together AI 集成

pip install -U langchain-together

# 使用 Together AI 查询聊天模型

from langchain_together import ChatTogether

# 从我们的 50 多个模型中选择：https://docs.together.ai/docs/inference-models
chat = ChatTogether(
    # together_api_key="YOUR_API_KEY",
    model="meta-llama/Llama-3-70b-chat-hf",
)

# 从模型流式传输响应
for m in chat.stream("Tell me fun things to do in NYC"):
    print(m.content, end="", flush=True)

# 如果您不想使用流式传输，可以使用 invoke 方法
# chat.invoke("Tell me fun things to do in NYC")

# 使用 Together AI 查询代码和语言模型

from langchain_together import Together

llm = Together(
    model="codellama/CodeLlama-70b-Python-hf",
    # together_api_key="..."
)

print(llm.invoke("def bubble_sort(): "))