Компания утверждает, что это позволило ускорить запуск продуктов и сэкономить более 1 млрд рублей инвестиций в собственную инфраструктуру.
MTS AI - один из центров компетенций в области ИИ в России. Компания разрабатывает продукты и решения на базе генеративного ИИ, технологии обработки естественного языка и компьютерного зрения. Среди сервисов компании: AI-сервис речевой аналитики — WordPluse, платформа синтеза и распознавания речи на базе нейронных сетей и методов машинного обучения — Audiogram, сервис генерации и автодополнения кода для оптимизации процесса разработки — Kodify, а также голосовые и текстовые ассистенты для автоматизации коммуникации бизнеса с клиентами.
В основе практически всех сервисов компании лежат ML-модели. Они обучаются на данных, объемы которых могут достигать тысяч ТБ. Для ускорения обучения моделей компания применяет GPU. Закупка соответствующего оборудования требует серьезных инвестиций в инфраструктуру. MTS AI предпочла перенести обучение в облако. Теперь ML-платформа для обучения ключевых моделей компании развернута на виртуальной инфраструктуре. Уже обученные модели продолжают инференс в облаке, это, кстати, упрощает их обслуживание.
Для решения сложных задач, клиенты MTS AI могут использовать услуги компании, основанные на использовании LLM (больших языковых моделей). Это LLM для работы с текстами, а также поиска и анализа информации - Cotype и ее облегченная версия - Cotype Nano, on-premise сервис генерации и автодополнения кода для оптимизации процесса разработки - Kodify.
Обучение LLM еще более затратная и сложная задача, чем работа с ML-моделями. Если обучать и дообучать LLM на GPU потребительского уровня - на это уйдет много времени (и энергии). Для ускорения этого процесса в несколько десятков раз MTS AI использует суперкомпьютер МТС GROM.
Работу с моделями ИИ в облаке можно разделить на 3 этапа:
- На первом этапе - деплой и предобучение;
- На втором - глубокое обучение на суперкомпьютере (некоторые нейросети проходят дообучение на VI с GPU. Не совсем понял, что здесь имеется в виду под VI -Variational Inference? - в этом случае, конечно, без GPU не обойтись. Или речь о Virtual Infrastructure?);
- На третьем этапе - модели переходят на инференс, который происходит в облаке MWS
«Для работы с моделями искусственного интеллекта требуется большое количество различного оборудования. Чем больше моделей вы внедряете, тем оно разнообразнее. Для более простых моделей нужны более слабые карты, для более мощных — более производительные, для обучения LLM — суперкомпьютер, для инференса может применяться ещё один вид GPU. При работе с моделями on-prem все эти мощности пришлось бы закупать самостоятельно либо работать со всеми моделями на одном виде GPU, что привело бы к значительному увеличению инвестиционных затрат или нерациональному использованию инфраструктуры. Переезд в облако позволяет нам использовать ровно тот объём вычислительных ресурсов, который необходим и не тратить огромные суммы на закупку серверов. Лишь для того, чтобы закупить оборудование для обучения LLM, нам пришлось бы проинвестировать в инфраструктуру более миллиарда рублей. А благодаря использованию мощностей MWS мы можем перераспределить инвестиции на новые проекты. Кроме того, облачная модель потребления позволяет нам ускорять запуск новых продуктов, так как отпадает необходимость ждать поставки оборудования», — отметил директор по LLM-продуктам MTS AI Сергей Пономаренко.
--
Комментариев нет:
Отправить комментарий