Я создаю платформу на основе LLM, которая в настоящее время поддерживает такие возможности, как конвейеры RAG, отслеживание производительности моделей и мониторинг/оптимизацию затрат.
Моя цель — превратить ее в надежную систему промышленного уровня, и я пытаюсь лучше понять реальные проблемы, с которыми сталкиваются специалисты-практики при работе с LLM в больших масштабах. Вместо сбора общих запросов на функции я ищу информацию, основанную на практическом опыте.
В частности, я ищу информацию по следующим вопросам:
1. Отсутствующие, но важные функции
Какие обязательные возможности часто упускаются из виду при разработке платформ LLM, но становятся необходимыми в реальном использовании?
2. Режимы сбоя и крайние случаи
Какие сценарии сбоя должны быть четко обработаны?
(например, сбои извлечения данных, галлюцинации, скачки задержки, сбои инструментов/агентов и т. д.)
3. Проблемы с удобством использования
Каковы наиболее распространенные болевые точки, с которыми сталкиваются пользователи при взаимодействии с платформами LLM (как разработчики, так и нетехнические пользователи)?
4. Сбор действенных отзывов
Каковы эффективные способы структурирования вопросов обратной связи с пользователями, чтобы ответы были конкретными, действенными и удобными для реализации, а не расплывчатыми предложениями?
Меня особенно интересуют уроки, извлеченные из команд, которые внедрили конвейеры LLM в производство, особенно в отношении масштабирования, надежности и пользовательского опыта.
Любые конкретные примеры, контрольные списки или с трудом заработанные идеи были бы очень желательны. ценно
