30 октября состоялся SberZvuk Tech Days — первый онлайн-хакатон аудиосервиса СберЗвук с целью привлечения в команду специалистов, а также усиления бренда СберЗвук и СберЗвук Бизнес как продуктовой IT-компании на рынке. В течение двух дней участники хакатона работали над созданием алгоритмов фильтрации видеоконтента, общались с менторами, прокачивали экспертизу и участвовали в розыгрыше денежных призов. Благодаря слаженной работе и поддержке команды облачных технологий SberCloud в процессе запуска за короткие сроки была организована инфраструктура, а также предоставлен необходимый инструментарий для проведения хакатона в удаленном автоматизированном формате.
 |
Хакатон стал отличной возможностью за короткое время познакомиться с большим количеством близких нам по духу разработчиков, заинтересованных в технологиях машинного обучения, — специалистов, которые нужны команде большого аудиосервиса. Мы смогли показать потенциальным кандидатам, как устроен рабочий процесс и как проходят обсуждения, какой технологический стек используется у нас при разработке продуктов и ревью кода. Спасибо организаторам за помощь в проведении хакатона, а вовлеченным участникам за нестандартные идеи и подходы — это было круто! — сказал Игорь Попов, руководитель отдела анализа данных СберЗвука.
|  |
Задания для участников: разработка и Data Science
Одним из заданий была разработка веб-сервиса, результаты которого нужно было выгрузить в S3-хранилище.
| |
В ходе выполнения задания основные проблемы у участников возникали из-за отсутствия опыта с работой хранилища и виртуальными машинами, но почти все справились с созданием самого веб-сервиса. В основном был использован фреймворк FastAPI — здорово, что участники с ним знакомы и активно использовали его в своей разработке. Некоторые даже не стали ограничиваться одним сервисом и разработали пайплайн для обработки видео из нескольких. В качестве программного брокера сообщений использовали в основном RabbitMQ, отметил Дмитрий Троян, Backend-разработчик СберЗвука.
| |
| |
На хакатоне решали задачу про компьютерное зрение. Перед участниками стояла задача фильтрации нежелательного аудио- и видеоконтента, участники применяли различные подходы к решению, использовали обученные нейронные сети. В целом каждый справился с обеими задачами, было предложено несколько интересных решений — особенно это коснулось аудиоконтента, добавила Анастасия Малашева, ML-инженер СберЗвука.
| |
Команда SberCloud о проведении Tech Days
Хакатон SberZvuk Tech Days — отличная возможность для middle- и senior python-разработчиков проявить себя и прокачать скиллы до высокого уровня. Чтобы участники могли создать сервисы для фильтрации пользовательского контента и не ограничивали себя в креативе, мы подумали о необходимой ИТ-инфраструктуре. Команда SberCloud.Advanced предоставила участникам облачные сервисы — объектное хранилище Object Storage Service для работы с большим объемом данных и виртуальный сервер Elastic Cloud Server для любых сценариев применения.
Как участники использовали сервисы в ходе хакатона
OBS позволил разместить файлы с результатами анализа аудиодорожки и видеоряда, а виртуальный сервер ECS команды использовали для запуска своего кода и проведения машинного обучения.
Получить в короткие сроки все ресурсы для работы над алгоритмом фильтрации не так просто, но вместе с партнерами из SberCloud мы довольно быстро подготовили 63 виртуальных сервера и такое же количество объектных хранилищ. Все операции выполняли с помощью программного инструмента Terraform — можно один раз сконфигурировать и оперативно получить весь пул требуемых ресурсов.
На подготовку и предоставление ресурсов понадобилось чуть больше одного рабочего дня с учетом времени на увеличение лимитов в облаке. В итоге участникам не нужно было искать свои мощности для выполнения задания и не пришлось ограничивать себя в плане креатива.
Что дальше?
| |
Для проведения следующего хакатона мы хотели бы использовать вычислительные ресурсы GPU или мощности Christofari[1] и Christofari Neo[2]. В целом мы используем многие сервисы SberCloud, в первую очередь, это Cloud Container Engine[3], Distributed Message Service for Kafka[4], Distributed Cache Service for Redis[5], Document Database Service[6], Object Storage Service[7], Elastic Cloud Server[8], а также тестируем и изучаем возможности сети доставки контента CDN[9]. Мы рады, что совсем недавно у SberCloud появилась третья ресурсная зона доступности AZ3[10] — это еще одна классная возможность для использования облачных технологий, сказал Павел Касьян,руководитель управления DevOps и SRE СберЗвука.
| |
Примечания
