ИТМО и MWS AI открыли онлайн-лабораторию для разработки методов ускорения, сжатия и обучения ИИ-моделей, сообщили блогу Игнатий Цукергохер в пресс-службе ИТМО.
В лаборатории будут создавать новые модели для синтеза и распознавания речи на арабском и казахском языках, а также разрабатывать алгоритмы для ускорения нейросетей и снижения требований к вычислительным ресурсам. Отдельное направление работы связано с запуском ИИ-моделей на пользовательских устройствах с сохранением конфиденциальности данных.
Исследователи планируют использовать методы квантизации, прунинга ИИ и линеаризации внимания. По их оценке, это позволит ускорить работу моделей-трансформеров в 4 раза и снизить требования к ресурсам в 2 раза при потерях в точности до 5%.
Также в лаборатории будут разрабатывать методы обучения моделей классификации, сегментации и детекции, собирать наборы данных для малоресурсных языков и создавать бенчмарки для оценки больших языковых моделей на новых данных.
Возглавят лабораторию Али Аммар, Стаматиос Лефкиммиатис и Алексей Кашевник. В работе будут участвовать сотрудники ИТМО и MWS AI, а также студенты и аспиранты ИТМО.
«Мой родной язык — арабский, и обучать модель для работы на нем намного дороже и сложнее, чем на английском. Это ограничивает исследования в области ИИ для носителей малоресурсные языков, поэтому мы хотим сделать ИИ-инструменты доступными для всех. В частности, мы планируем подготовить около 100 часов речи на арабском языке, которые, в том числе, сможем использовать для обучения моделей синтеза речи, в планах — обучение модели VibeVoice от Microsoft на русском, казахском и арабском языках», — подчеркнул руководитель лаборатории, сотрудник ИТМО и MWS AI Аммар Али.
