Как совершать асинхронные вызовы в Amazon Bedrock ⇐ Python

[Anonymous]

Мы пытались совершать вызовы параллельно с LLM, размещенными в Bedrock, из лямбда-слоя (в Python), но обнаружили, что boto3 не поддерживает асинхронность. Есть ли обходной путь? Я изучаю aiobotocore/aioboto3, но не нашел ни одного примера с Bedrock.
Любой намек приветствуется и большое спасибо!
Это представляет собой минимальный образец кода, который я намеревался использовать, но он выполняется последовательно, а не параллельно:
nest_asyncio.apply()

# async summaries
async def _into_comment(segments: list[str]):
bedrock = boto3.client(
service_name="bedrock-runtime",
aws_access_key_id=aws_access_key,
aws_secret_access_key=aws_secret_key,
aws_session_token=aws_session_token,
region_name=aws_region
)

async def sum_up(segment: str):
body = json.dumps({
"max_tokens": 256,
"messages": [{"role": "user", "content": f"Sumarize this: {segment}"}],
"anthropic_version": "bedrock-2023-05-31"
})
return bedrock.invoke_model(body=body, modelId=model_id)

summaries = await asyncio.gather(*[sum_up(segment) for segment in segments])
return summaries

summaries = asyncio.run(_into_comment(segments))


Подробнее здесь: https://stackoverflow.com/questions/785 ... on-bedrock