MWS Cloud сообщает о запуске платформы для хранения и обработки данных - MWS Data Lakehouse. Платформа позволяет работать практически с любыми типами данных, структурированными, неструктурированными и векторными, что позволяет создать единую среду для выполнения задач различного типа - от построения оперативных бизнес-отчетов до обучения и инференса ML-моделей и LLM. По данным MWS, платформа позволяет на 40% экономичнее использовать хранилище за счет исключения дублирования данных между различными системами, а также в 2.5 раза нарастить эффективность работы обслуживающего персонала за счет централизации и автоматизации функций администрирования, вдвое сократить затраты времени расчетов аналитических витрин.
Что можно делать с помощью платформы?
Хранить и обрабатывать, например, информацию о продажах и заказах, о спросе на товары, данные логистики, информацию о платежах и предоставляемых услугах. Поверх платформы можно запустить инструменты для обучения и инференса ML и больших языковых моделей.
Можно, например, развернуть модель для прогнозирования спроса на товар исходя из накопившейся информации о продажах, или спрогнозировать процент возврата кредитов, или найти наиболее оптимальный маршрут поставок. Компания может развернуть как свои сервисы для работы с ИИ, так и использовать готовые MLOps-инструменты MWS.
Основные особенности
MWS Data Lakehouse – Cloud Native платформа, которая позволяет независимо масштабировать слои хранения и вычислений, что дает возможность эффективно использовать имеющиеся ресурсы и размещать в ней петабайты данных.
В качестве инфраструктуры для развёртывания платформы могут использоваться различные решения, среди которых, Kubernetes, объектное S3 совместимое хранилище, что позволяет снизить затраты компаний на 40% в сравнении с размещением в классических DWH-хранилищах с которых давно пора мигрировать. В платформу также встроены инструменты централизации контроля доступа, аудита и шифрования, динамического маскирования чувствительных данных, которые соответствуют современным требованиям информационной безопасности (GDPR/HIPAA).
Платформа совместима с Greenplum и Postgres, что необходимо для миграционных сценариев. Это позволяет заказчикам сохранить свои исторические активы, сократить цикл реализации проекта по миграции, а также снизить затраты и риски, связанные с переходом на новое решение.
Платформа обладает поддержкой широкого спектра данных, включая открытые форматы Apache Parquet и Iceberg. Как заявляет MWS, система оптимизирована под разнообразные рабочие нагрузки: от SQL-запросов до задач машинного обучения. Для повышения эффективности предусмотрена возможность запускать параллельно несколько вычислительных кластеров под разные продуктовые команды, приложения и типы запросов без дублирования данных и дополнительной репликации.
Администрировать сервис можно через единый интерфейс, позволяющий централизованно управлять пользователями, кластерами и масштабированием. Поддерживается динамическое изменение ресурсов вычислительных кластеров, обеспечивая непрерывность работы и отсутствие простоев при масштабировании.
«Lakehouse в данным момент является самой передовой технологией для работы с данными в мире. Десятки тысяч западных компании уже используют ее для работы с BigData. MWS Data Lakehouse позволяет компаниям на 40% эффективнее хранить данные в сравнении с DWH и Data Lake, в 2 раза сократить время расчетов аналитических витрин и в 2,5 раза экономить время ИТ-специалистов за счет централизации и автоматизации функций администрирования. Архитектура платформы позволяет компаниям работать как со структурированными, так и с неструктурированными данными, что особенно важно для обучения и инференса моделей искусственного интеллекта. Это делает успешное внедрение ИИ в бизнес-процессы компании практически невозможным без использования платформы», — отметил CEO MWS Cloud, исполнительный директор МТС Web Services Игорь Зарубинский.
Платформа является частью комплекса сервисов MWS по работе с данными – MWS Data. Всего в него входит более 25 продуктов для хранения, обработки и трансформации данных, а также сервисы бизнес-аналитики и AI-агенты для работы с данными.
- -
