Построение цифровой платформы NESTRO DATA АО «Зарубежнефть» с использованием корпоративного хранилища данных

Евгений Гальцов
Заместитель директора по управлению
данными и развитию бизнеса АО «Зарубежнефть»
Е-mail: EGaltsov@nestro.ru

Андрей ВЕНЕДИКТОВ
Начальник отдела по управлению
данными АО «Зарубежнефть»
Е-mail: AVenediktov@nestro.ru

Евгений ТОИЧКИН
Руководитель направления отдела
по управлению данными АО «Зарубежнефть»
Е-mail: EToichkin@nestro.ru

Владимир КУРИЦИН
Начальник управления информационных технологий АО «Зарубежнефть»
Е-mail: VKuritsin@nestro.ru

Дмитрий ТУРЧАНОВСКИЙ
Заместитель генерального директора по ИТ,
к. э. н., ООО «ЗН Цифра»
Е-mail: DTurchanovsky@nestro.ru

Максим ВЛАСЮК
Директор ПАО «Arenadata»
(промышленный сектор)
Е-mail: m.vlasyuk@arenadata.io

Предпосылки проекта

Конкуренция в нефтегазовой отрасли продолжает расти, вынуждая компании улучшать эффективность бизнес-­процессов. Одним из ключевых инструментов для достижения этих целей является автоматизация процессов работы с данными. Так, в рамках стратегии цифровой трансформации перед компанией «Зарубежнефть» была поставлена задача создания цифровой платформы по управлению данными, которая станет централизованным источником «единой версии правды» по всем направлениям деятельности холдинга.
Для реализации этой задачи в 2020 г. был запущен проект по созданию корпоративной платформы управления данными NESTRO DATA. До запуска проекта компании группы хранили информацию в различных системах, что приводило к следующим проблемам:
отсутствие централизованного источника данных;
невозможность получения свод­ной информации по геолого-­промыс­ловым данным;
высокие трудозатраты на подготовку отчётности для руководства;
сложности в автоматизации отчётности, что делало процесс её формирования долгим и непрозрачным.
Для устранения перечисленных проблем и повышения эффективности процессов управления данными были поставлены следующие цели:
создание единой платформы управления данными;
повышение качества и достоверности данных;
автоматизация и ускорение формирования отчётности;
снижение затрат и увеличение прибыли за счёт оптимизации работы с данными.

Выбор технологического стэка

При выборе решений для платформы «Зарубежнефть» опиралась на директивы по импортозамещению, рассматривая продукты, входящие в реестр отечественного ПО. С учетом того, что АО «Зарубежнефть» первой из крупных производственных компаний реализовала подобную платформу только на отечественных инструментах, можно констатировать, что компания сработала на импортоопережение и создание импортонезависимой платформы.
АО «Зарубежнефть» построила единое хранилище, используя аналитическую СУБД Arenadata DB и систему для потоковой realtime-­обработки данных Arenadata Streaming. Кроме того, специалисты компании внедрили систему бизнес-­аналитики, файловое хранилище, электронный каталог файлового хранилища и систему визуализации геологической информации.
Проект NESTRO DATA стал уникальным для российского нефтегазового рынка, так как на момент его реализации аналогичные решения в отрасли либо отсутствовали, либо использовали зарубежные системы. Корпоративное хранилище данных обеспечило сбор, хранение и обработку данных из систем-­источников с возможностью быстрого доступа к ним для специалистов.
Для этого были созданы 5 компонентов цифровой платформы:
корпоративное хранилище данных (Arenadata DB);
корпоративная шина данных (Arenadata Streaming);
каталог и хранилище неструктурированных данных («Форсайт»);
система бизнес-­аналитики («Форсайт»);
система визуализации геологической информации (REPOS).
Сложная разветвлённая сеть ИТ-инфраструктуры АО «Зарубежнефти» стала серьёзным вызовом для проекта. Активы холдинга расположены в разных странах, в каждой из которой использовались локальные информационные системы. Поэтому в единое информационное пространство были объединены все производственные системы, применяемые в странах присутствия Группы. Это позволило получить доступ к единому набору данных независимо от местоположения и специфики систем.

Ключевым этапом проекта стала разработка единой методологии данных. Данные из разных систем, которые, несмотря на общий смысл, имели разные названия, были приведены к единому формату и дополнены аналитиками из разных систем-­источников для их сопоставления. Отчёты при этом формировались автоматически и обновлялись с заданной периодичностью, что значительно ускорило их подготовку, согласование и исключило искажение информации из-за человеческого фактора.
В настоящее время цифровая платформа стала единым источником ключевых показателей по всем направлениям деятельности Группы компаний:
добыча;
геология и разработка;
развитие бизнеса;
переработка и сбыт;
экономика и финансы;
энергетические проекты;
правовые и корпоративные вопросы.
В компании выстроена методология построения дашбордов. Необходимо четко понимать, на какой вопрос отвечает дашборд, для чего он служит? Каждый виджет на дашборде также имеет цель: для чего он существует именно на этом дашборде?

Каждый дашборд проходит в процессе реализации последовательность стадий (рис. 2):

Концепция. Подготовка примера дашборда и описание: цель, название, структура дашборда (набор виджетов), схематическое изображение, пример реальных данных для будущего макета.
Макет. Разработка макета будущего дашборда, обеспечение согласования макета с бизнесом.
Прототип. Разработка прототипа дашборда (MVP) на основании утвержденного макета в аналитической платформе, без автоматизации сбора и хранения данных. Прототип утверждается. Автоматизация реализуется дополнительно при необходимости.
Детальное проектирование. Бизнес на основании шаблона и прототипа заполняет детальное описание будущего дашборда (постановку на реализацию): формирует требования, указывает показатели и источники данных, бизнес-­логику работы каждого виджета и элемента дашборда.
Разработка. Полноценная разработка дашборда в системе в соответствии с требованиями бизнеса.
Внедрение. Представление готового дашборда бизнесу, инструктаж пользователей и передача в промышленную эксплуатацию в составе системы.

Правила построения и визуализации дашбордов:
На дашборде должны быть данные по определенному функциональному направлению деятельности, в соответствии с бизнес-­процессом. За дашбордом должен быть закреплен:
владелец бизнес-­процесса (владелец данных) – отвечающий за набор ключевых элементов данных, а также визуальное представление дашборда;
менеджер бизнес-­процесса (распорядитель данных) – отвечающий за описание требований к ключевым элементам данных и требований к ролевой модели;
методолог бизнес-­процесса (менеджер по качеству данных) – отвечающий за формирование правил качества данных и организацию работ по контролю качества данных.
Данные на дашборде не должны пересекаться с другими дашбордами и не дублироваться в разных местах. Дашборд не должен быть перегружен.
Для отображения данных необходимо:
использовать среднесуточные/среднемесячные значения показателей;
уходить от таблиц и использование трендов/тенденций с помощью диа­грамм/гистограмм;
использование сравнения «план-факт»;
использовать достаточное количество исторических данных.
Важно предусмотреть возможность детализации и обобщения данных за счет функциональности drill-down в виджете, что позволяет сэкономить место на дашборде, не вынося дополнительные кнопки и отдельные виджеты.
Дашборд должен акцентировать внимание пользователя на важных отклонениях в данных. Акценты должны быть выделены цветом: положительные отклонения подсвечиваются зеленым цветом, отрицательные – красным. В графиках визуализация отклонений обеспечивается соотношением столбцов/линий сопоставимых показателей.

Подписи на данных в виджетах не должны перегружать дашборд и нести ущерб читаемости: по умолчанию в графиках подписывается только показатель факта использовать функционал вывода информации при наведении на элемент.
При разработке системы использовался корпоративный стиль и концепция дизайна с «темной темой» интерфейса с контрастными элементами для лучшего восприятия информации. Основной цвет для визуализации – зеленый и его оттенки. Второй по значимости цвет – жёлто-­оранжевый. Красный – использовать только для «негативных» показателей.
В первую очередь должны быть представлены показатели, имеющие в своей основе возможность отслеживать изменение в динамике, а также сопоставляться с данными за предыдущие периоды.
Выбор типов виджетов, наилучшим образом отображающих данные для конкретных метрик и целей:
для динамичных (исторических) показателей – для визуализации трендов во времени – это комбинированная диаграмма, линейная диаграмма, гистограмма, гистограмма с накоплением в разрезе года;
для статичных показателей – при визуализации показателя на заданный момент времени: для отображения долей в составе показателя – круговая диаграмма, для сравнения показателей – гистограмма с накоплением в разрезе показателей, факторный анализ, таблица с данными, плоское дерево, КПЭ план/факт.

Система визуализации показателей по всем направлениям деятельности Группы компаний – это вершина, «видимая часть айсберга» промышленной цифровой платформы NESTRO DATA, в основе которой лежат такие ключевые элементы как корпоративное хранилище данных, корпоративная шина данных и корпоративная система управления нормативно-­справочной информацией.

Текущие результаты

Внедрение платформы NESTRO DATA в компании привело к положительным изменениям в работе с данными. Платформа обеспечивает высокое качество данных и позволила оптимизировать процессы их сбора, обработки и анализа. Благодаря единой информационной среде, сотрудники компании могут принимать решения, опираясь на достоверную и полную информацию, и это позволило достичь улучшения следующих показателей:
Ускорение процесса обработки данных. Сократив время работников, необходимое на консолидацию, проверку и очистку данных, удалось перераспределить его на выполнение других аналитических задач.
Монетизация дополнительной добычи нефти. Повысив качество и доступность производственных и геологических данных, для анализа и подбора ГТМ и мониторинга ППД, добились снижения темпов падения, что повлияло на увеличение добычи и, соответственно, прибыли.
Повышение доходности финансовых инструментов. Оперативное получение структурированной информации по остаткам на счетах позволило улучшить управление финансовыми инструментами.
В рамках проекта, помимо непосредственно создания цифровой платформы «NESTRO DATA», были выполнены важные организационные и методологические задачи, обеспечивающие системную работу нового инструмента в компании:
создан Центр компетенций по управлению данными;
разработана Стратегия управления данными;
регламентированы процессы по ключевым направлениям для дальнейшей передачи платформы в процесс, управление централизованного управления нормативно-­справочной информацией, управление интеграцией и интероперабельностью данных в Группе компаний АО «Зарубежнефть».
С учетом Стратегии управления данными, основными задачами на период до 2028 г. являются:
использование предиктивной аналитики при работе с данными;
развитие каталога неструктурированных данных;
разработка новых компонент платформы NESTRO DATA.
Платформа NESTRO DATA развивается. Помимо добавления новых показателей, предстоит решать задачу по развитию блока качества данных, бизнес-­глоссария, каталога неструктурированных данных. Все это позволит консолидировать актуальные версии различных видов документов, повысить функциональность поиска определенных наборов данных, отслеживать происхождение и поток данных, повысить грамотность – знание процессов и принципов, необходимых для эффективного управления и использования данных.
Фактически это ключевой этап перехода к data-центричному управлению компанией «Зарубежнефть». Проект будет продолжаться поэтапно в соответствии со Стратегией управления данными. В будущем платформа позволит проводить более глубокий анализ данных, оценивать вероятности наступления событий и возможные риски.