Реализация проекта по нормализации данных в ЗАО «Связьстройдеталь»

В рамках проекта по созданию системы управления нормативно-​справочной информацией (НСИ) на предприятии ЗАО «Связьстройдеталь» были проведены работы по методологическому обеспечению ведения НСИ, разработаны онтологические словари предметной области, нормализованы позиции справочника «Номенклатура» и проведено обучение сотрудников компании по работе с MDM системой.

В процессе работ по нормализации был использован специализированный модуль «Seman­tic MDM», предназначенный для разбора неструктурированной информации, который запускается независимо от MDM системы и принимает на вход данные в формате XLS.

При выполнении разбора данных пользователю доступны настраиваемые библиотеки словарей и масок, обеспечивающие автоматизированный отбор и преобразование записей по выбранным шаблонам. Широкие возможности по повышению уровня автоматизации предоставляет модуль машинного обучения (Machine Learn­ing, ML), входящий в состав «Seman­tic MDM» и реализующий сервис по разбору исходных строк на основе правил, накопленных в процессе нормализации данных. Пример результата работы модуля ML представлен на следующей схеме: слева – различные варианты представления неструктурированных данных, справа – автоматически сформированное эталонное наименование объекта НСИ.

В процессе нормализации данных пользователю доступны массовая замена значений, назначение единиц измерения, перевод в верхний или нижний регистр, контроль качества данных в виде подсветки кириллицы, латиницы и цифр, функционал по управлению статусами обработки позиций с возможностью выгрузки отклонённых записей.

Нормализованные и структурированные данные загружаются непосредственно в справочники «Seman­tic MDM», а также в прикладные системы через таблицы импорта.

В результате выполнения проекта заказчик получил инструментарий для разбора неструктурированных данных в среде «Seman­tic MDM» и методологическую основу ведения НСИ, которая позволяет сократить затраты на формирование консолидированной отчетности за счет унификации описаний информационных объектов НСИ.