Суверенитет ЗаСвободу.РФ За качество отвечаю! Управляйте качеством данных | idatametric / diqs | AfterShock.news

DiQS - СИСТЕМА МОНИТОРИНГА КАЧЕСТВА ДАННЫХ
УПРАВЛЯЙТЕ КАЧЕСТВОМ ДАННЫХ
idatametric.ru/

aftershock.news - Главный сайт проекта
zen.yandex.ru/aftershock - видео - Дзен-лента АШ-Live (видео)
zen.yandex.ru/aftershock.news - Дзен-лента АШ
Телеграм: t.me/brekotins
Сбербанк Visa: 4274 3200 7822 7363
www.donationalerts.com/r/afte...
По вопросу размещения рекламных интеграций - обращайтесь на email agent_aftershock@mail.ru

00:00 Сегодня в видео
00:32 Качество данных
04:39 Интервью эксперта

Сегодня хочу рассказать об одной из страниц, в моей бывшей ИТ практике. Благо рассказать есть много чего. Все-таки почти 20 лет вел проекты в ИТ индустрии. В большинстве IT проектов встает вопрос проверки качества данных.

Такое бывает, например при переносе данных из старой системы в другую. Например, когда я работал на внедрении системы Нордис/2 в компании Алекта, То на каждом предприятии сталкивался с тем, что данные, которые мы берем у заказчика, не являются корректными. То есть, информация в одних таблицах не соответствует информации в других таблицах.

Чтоб было понимание о чем речь, давайте перечислю некоторые из ошибок:

Данные не являются актуальными. Например, сотрудника уже год как уволили, а зарплату он так и продолжает получать.
Данные не являются полными. Наличие требуемых наборов данных, записей, столбцов, атрибутов и их корректность. К примеру, загружаем информацию по персоналу, а часть сотрудников не внесены. Соответственно такие сотрудники могут не получить заработную плату. ну или можно не внести инфор... »»»

DiQS - СИСТЕМА МОНИТОРИНГА КАЧЕСТВА ДАННЫХ
УПРАВЛЯЙТЕ КАЧЕСТВОМ ДАННЫХ
idatametric.ru/

aftershock.news - Главный сайт проекта
zen.yandex.ru/aftershock - видео - Дзен-лента АШ-Live (видео)
zen.yandex.ru/aftershock.news - Дзен-лента АШ
Телеграм: t.me/brekotins
Сбербанк Visa: 4274 3200 7822 7363
www.donationalerts.com/r/afte...
По вопросу размещения рекламных интеграций - обращайтесь на email agent_aftershock@mail.ru

00:00 Сегодня в видео
00:32 Качество данных
04:39 Интервью эксперта

Сегодня хочу рассказать об одной из страниц, в моей бывшей ИТ практике. Благо рассказать есть много чего. Все-таки почти 20 лет вел проекты в ИТ индустрии. В большинстве IT проектов встает вопрос проверки качества данных.

Такое бывает, например при переносе данных из старой системы в другую. Например, когда я работал на внедрении системы Нордис/2 в компании Алекта, То на каждом предприятии сталкивался с тем, что данные, которые мы берем у заказчика, не являются корректными. То есть, информация в одних таблицах не соответствует информации в других таблицах.

Чтоб было понимание о чем речь, давайте перечислю некоторые из ошибок:

Данные не являются актуальными. Например, сотрудника уже год как уволили, а зарплату он так и продолжает получать.
Данные не являются полными. Наличие требуемых наборов данных, записей, столбцов, атрибутов и их корректность. К примеру, загружаем информацию по персоналу, а часть сотрудников не внесены. Соответственно такие сотрудники могут не получить заработную плату. ну или можно не внести информацию о ребенке, и он не получит подарок на новый год.
Согласованность Непротиворечивость значений внутри набора данных, отсутствие расхождений в значениях между наборами данных, корректность определения связей по значениям между всеми наборами данных. Например, в разных наборах данных я везде должен быть Брекотным Сергеем Валерьевичем. Ни Владимировичем, ни Петровичем, а именно Валерьевичем.
Поэтому приходилось каждый раз придумывать велосипед для проверки данных.
Когда же мы проводили массовый старт сразу на 35 предприятиях, то вставала в полный рост задача проверки качества данных уже до момент внесения информации в новую систему. И это надо было всячески автоматизировать.
Данные загружались в 20 шаблонах в екселе. Мы написали приложение на MS Access, которое подключалось к файлам, проверяла и формировала реестры ошибок, которые требовалось исправить. Стоит ли говорить, что в файлах, которые присылали в первый раз бывало внимание, до 200 тысяч ошибок. А в конечном варианте, у нас в одной системе при миграции данных было более 400 проверок.
Но за 3 месяца все данные на 40 тысяч сотрудников в 35 филиалах были загружены и проведен расчет заработной платы. Проект был успешным. Специалисты поймут сложность такого проекта.

Уже работая в Сахалинской энергии на позиции руководителя сектора по управлению портфелем информационных технологий на очередном проекте встал вопр...