Azure认知服务工具包集成

pip install -qU langchain-community
pip install -qU azure-ai-formrecognizer
pip install -qU azure-cognitiveservices-speech
pip install -qU azure-ai-textanalytics

# 仅限Windows / Linux
pip install -qU azure-ai-vision

import os

os.environ["OPENAI_API_KEY"] = "sk-..."
os.environ["AZURE_COGS_KEY"] = ""
os.environ["AZURE_COGS_ENDPOINT"] = ""
os.environ["AZURE_COGS_REGION"] = ""

## 创建工具包
from langchain_community.agent_toolkits import AzureCognitiveServicesToolkit

toolkit = AzureCognitiveServicesToolkit()
toolkit.get_tools()

['Azure Cognitive Services Image Analysis',
 'Azure Cognitive Services Form Recognizer',
 'Azure Cognitive Services Speech2Text',
 'Azure Cognitive Services Text2Speech']

## 在Agent中使用
from langchain.agents import create_agent
from langchain_openai import OpenAI

llm = OpenAI(temperature=0)

agent = create_agent(
    model=llm,
    tools=toolkit.get_tools(),
)

agent.invoke(
    "用这些食材我能做什么？ "
    "https://images.openai.com/blob/9ad5a2ab-041f-475f-ad6a-b51899c50182/ingredients.png"
)

{
  "action": "Azure Cognitive Services Image Analysis",
  "action_input": "https://images.openai.com/blob/9ad5a2ab-041f-475f-ad6a-b51899c50182/ingredients.png"
}

{
  "action": "Final Answer",
  "action_input": "你可以用这些食材做煎饼、煎蛋卷或乳蛋饼！"
}

audio_file = agent.invoke("给我讲个笑话并大声读出来。")

audio_file

{
  "action": "Azure Cognitive Services Text2Speech",
  "action_input": "为什么鸡要穿过操场？为了到另一边的滑梯！"
}

{
  "action": "Final Answer",
  "action_input": "/tmp/tmpa3uu_j6b.wav"
}

from IPython import display

display.Audio(audio_file)

agent.invoke(
    """患者是一位54岁男性，过去几个月有进行性心绞痛病史。
患者今年7月进行了心脏导管检查，显示右冠状动脉完全闭塞和左主干病变50%，
有强烈的冠心病家族史，一位兄弟52岁时死于心肌梗死，
另一位兄弟已接受冠状动脉搭桥手术。患者于2001年7月进行了负荷超声心动图检查，
未显示室壁运动异常，但由于体型原因检查较困难。患者进行了六分钟，
前外侧导联仅有轻微ST段压低，考虑为疲劳和手腕疼痛所致，即其心绞痛等同症状。由于患者症状加重、
家族史以及左主干病变伴右冠状动脉完全闭塞病史，被转诊进行血运重建和开胸手术。

列出所有诊断。
"""
)

{
  "action": "azure_cognitive_services_text_analyics_health",
  "action_input": "患者是一位54岁男性，过去几个月有进行性心绞痛病史。患者今年7月进行了心脏导管检查，显示右冠状动脉完全闭塞和左主干病变50%，有强烈的冠心病家族史，一位兄弟52岁时死于心肌梗死，另一位兄弟已接受冠状动脉搭桥手术。患者于2001年7月进行了负荷超声心动图检查，未显示室壁运动异常，但由于体型原因检查较困难。患者进行了六分钟，前外侧导联仅有轻微ST段压低，考虑为疲劳和手腕疼痛所致，即其心绞痛等同症状。由于患者症状加重、家族史以及左主干病变伴右冠状动脉完全闭塞病史，被转诊进行血运重建和开胸手术。"
}

{
  "action": "Final Answer",
  "action_input": "文本包含以下诊断：进行性心绞痛、冠心病、心肌梗死和冠状动脉搭桥手术。"
}