Сервис основан на использовании AI-агента на основе LLM. Как и другие AI-агенты MWS, это часть недавно представленной b2b-платформы MWS Data.
Агент парсит все базы данных компании, формируя краткое описание – что найдено и как связаны данные между собой. MWS утверждает, что это позволяет ускорить описание данных в 10 раз, обеспечив экономию в десятки миллионов рублей.
Рынок автоматизации описаний данных оценивается в 3.5 млрд рублей.
AI-агент может работать с IT-системами компании, как из облака, так и из защищенного контура клиента. Решение интегрируется со всеми популярными дата-каталогами, такими как DataHub, OpenMetadata, а также дата-каталогом от MWS. AI-агент может проанализировать, как таблицы связаны между собой, какие в них хранятся данные и определить другие их характеристики. Например, если столбец таблицы подписан как «Выручка», AI-агент опишет, по какой методике она рассчитывалась, округленные ли это цифры, если это «Сумма сделки» – то подписывается, в какой валюте она указана, до налогообложения или после.
Также сервис может выявлять, в каких базах данных хранится критическая информация, такая как паспортные данные (номер, серия, дата выдачи), персональные данные (ФИО, место жительства, телефон), банковские данные (pin, cvv, имя держателя). Это важно для соблюдения требований законодательства о защите персональных данных, повышения информационной безопасности и предотвращения утечек чувствительной информации.
На первом этапе AI-агент получает мета-данные (общие сведения о том, как называются таблицы и столбцы в них), а также подключается к Confluence компании, где также могут храниться дополнительные сведения о БД. Это позволяет сервису получить более полное представление о структуре и назначении данных, повысить точность описаний и учесть бизнес-контекст, зафиксированный в документации. Далее AI-агент описывает сами таблицы и столбцы, находит критичные данные. После окончания анализа AI-агент предоставляет структурированный отчет с полным описанием всех обнаруженных таблиц, связей между ними и загружает результаты в дата-каталог.
Confluence — это корпоративная платформа для совместной работы и управления знаниями, которую компании используют для создания, редактирования документов, через нее делятся документами, базами знаний, техническими спецификациями, рабочими процессами и другими видами информации.
В будущем AI-агент сможет строить пайплайны данных от поиска нужного источника (например, с мастер-данными) до дообогащения данных и доставки их до BI-систем или ML-моделей с обязательными проверкам качества данных.
Также AI-агент сможет обнаруживать аномалии, помогая распознавать резкие отклонения в данных, которые могут сигнализировать о неполадках или подозрительных событиях.
«Компании традиционно накапливают огромное количество данных. Очень часто бывает, что вместо понятных обозначений столбцы в базах данных подписываются различными аббревиатурами, понятными лишь автору или аналитику, который с ними работал. А иногда даже верно подписанные данные без дополнительной информации о себе становятся бесполезными. MWS Data Scoutпозволяет аналитикам и дата-сайентистам быстрее находить нужную информацию, не тратить время на разбор таблиц вручную и не создавать дубликаты. Кроме того, за счёт использования сервиса снижается зависимость от отдельных сотрудников, ведь, когда знания о данных есть только в голове отдельного сотрудника, при уходе человека теряется контекст. Каталог помогает сохранить эти знания. Также AI-агент даёт понимание семантики: он описывает те характеристики данных, которые далеко не всегда можно подписать в базе. По нашим оценкам, использование MWS Data Scout может принести компаниям значительную экономию — от 50 млн рублей, которые раньше затрачивались на квалификацию данных и рутинные процессы обработки», — отметил директор по продуктам MWS Cloud Михаил Тутаев.
- -