Как делать асинхронные звонки в Amazon Bedrock ⇐ Python

[Anonymous]

Мы пытались совершать звонки параллельно с LLMS, размещенными в коренной породе, от Lambda -слоя (в Python), только чтобы обнаружить, что Boto3 не поддерживает асинхрон. Есть обходной путь? Я смотрю на aiobotocore /aioboto3, но я не нахожу ни одного примера с коренной породой. < /P>
Любой подсказка ценится и большое спасибо! является минимальной выборкой кода, который я намеревался использовать, но работает последовательно вместо параллельной: < /p>
nest_asyncio.apply()

# async summaries
async def _into_comment(segments: list[str]):
bedrock = boto3.client(
service_name="bedrock-runtime",
aws_access_key_id=aws_access_key,
aws_secret_access_key=aws_secret_key,
aws_session_token=aws_session_token,
region_name=aws_region
)

async def sum_up(segment: str):
body = json.dumps({
"max_tokens": 256,
"messages": [{"role": "user", "content": f"Sumarize this: {segment}"}],
"anthropic_version": "bedrock-2023-05-31"
})
return bedrock.invoke_model(body=body, modelId=model_id)

summaries = await asyncio.gather(*[sum_up(segment) for segment in segments])
return summaries

summaries = asyncio.run(_into_comment(segments))


Подробнее здесь: https://stackoverflow.com/questions/785 ... on-bedrock