Айрат АРИФУЛЛИН
Аналитик, «ВЫГОН Консалтинг»
E-mail: aarifullin@vygon.consulting
Всеволод МАРКИН
Аналитик, «ВЫГОН Консалтинг»
E-mail: vmarkin@vygon.consulting
Глобальные тренды развития больших языковых моделей
Генеративный искусственный интеллект (GenAI) – тип искусственного интеллекта, модели которого могут создавать новый контент (модальность), такой как текст, изображения, музыка, видео, код, синтетические данные и многое другое, на основе вводимых данных и запросов (рис. 1) [1, 2, 3]. Одной из основных отличительных особенностей этого вида ИИ является объем информации, который необходим для его обучения: триллион гигабайтов мультимодальных данных, которые в большинстве случаев находятся в неструктурированном виде. Наибольшее внимание в данной статье будет уделено частному случаю генеративного ИИ – большой языковой модели (БЯМ).
Большие языковые модели – это нейронные сети, специализирующиеся на задачах обработки естественного языка и обладающие способностью генерировать текст и изображения на основе входных данных (рис. 1) [3]. Для обучения БЯМ используются большие дата-сеты, или другими словами – набор данных, размер которых в мега-моделях достигает 10–30 трлн токенов. Лидерами мировой ИИ-индустрии выступают западные компании OpenAI, Google, Anthropic, Mistral, Meta (признана экстремистской и запрещена в РФ), разработавшие такие топовые модели, как ChatGPT, Gemini, Claude 3, Mistral, LLaMa. Однако перечисленный список топовых генеративных моделей далеко неисчерпывающий: ежемесячно в мире появляются порядка 8–10 новых вариантов больших языковых моделей, качество каждой из которых может значительно превосходить предыдущие. Стоит также отметить и тот факт, что создание нейросети «с нуля» – это не единственный способ разработать новую вариацию: существует множество бесплатных дата-сетов различного наполнения, позволяющих сконструировать модель под собственные потребности на базе существующих БЯМ.
Для оценки качества БЯМ разработано большое число бенчмарков на базе экзаменационных вопросов для школьников, студентов и аспирантов по естественным наукам (химия, биология), математике, программированию и др. Интеллектуальные способности генеративных моделей с каждым годом растут. Процент правильных ответов БЯМ на запросы пользователей по бенчмарку MMLU (Massive Multitask Language Understanding – сборник экзаменационных вопросов по различным областям знаний, разработанный специально для тестирования нейросетей ведущими университетами США) вырос более чем в 2,5 раза. Это происходит за счет повышения качества и объема обучающих дата-сетов.
Тенденция роста интеллектуальных способностей генеративного ИИ требует привлечения всё бо́льшего количества вычислительных мощностей – графических процессоров (GPU – graphics processing unit) (рис. 2). Так, для создания мега-моделей (свыше 1 трлн параметров) необходимо использовать более 25 тыс. GPU нового поколения H100. Цена одной такой карты достигает 30 тыс. долл. В 2023 г. ведущие разработчики GenAI разместили рекордные заказы на H100, что обещает появление новых моделей с супервозможностями.
Потенциал БЯМ огромен: если сегодня модели способны на краткое изложение текста и ответы на простые вопросы, то уже завтра они смогут автоматизировать типовые интеллектуальные операции, а послезавтра – использоваться в качестве автономных роботов. Наиболее продвинутый тип генеративного ИИ – это мультиагентные системы (MAC), в рамках которых могут применяться различные модели. Каждая из них будет решать свой ограниченный круг задач, иметь экспертизу и доступ к внешним инструментам, в т. ч. к специализированному ПО. Ожидается, что в перспективе именно МАС будут способны выполнять сложный функционал, требующий многоступенчатых логических рассуждений.
Перспективы генеративного ИИ в нефтегазовой отрасли: общие задачи
Российские нефтегазовые компании уже более 10 лет используют классический искусственный интеллект для работы с большими структурированными данными на всех этапах жизненного цикла производства углеводородного сырья – от моделирования геологоразведки и диагностики состояния трубопроводов до разработки многокомпонентных рецептур моторных масел (например, система «Алхимик» компании «Газпром нефть») [4].
Однако, несмотря на широкое использование классического ИИ, интерес российской нефтегазовой отрасли к генеративным моделям пока только пробуждается: единственным известным случаем попытки применения GenAI является система «Акела», разработанная компанией «Татнефть» совместно с национальным исследовательским университетом ИТМО [5]. Других примеров применения генеративных моделей в отечественном ТЭК на момент подготовки данной статьи в открытых источниках найти не удалось. По нашей информации, ряд компаний инициировали пилотные проекты.
В условиях санкций, пересмотра экспортной стратегии и энергоперехода ключевой задачей каждой компании нефтегазового сектора становится поиск инновационных технологий с последующей оценкой их эффективности и внедрением в операционный цикл. Генеративный ИИ, включая большие языковые модели, может стать основным инструментом для ответа на эти вызовы [3].
ИИ генеративных моделей представляет собой перспективную технологию, способную решать широкий спектр задач в различных областях. Рассмотрим несколько классов задач, которые может выполнять GenAI (рис. 3).
Генеративный ИИ может значительно облегчить работу аналитиков и инженеров. Ежегодно в мире публикуется более 25 ТБ данных в сфере научно-исследовательских и опытно-конструкторских работ (НИОКР) по нефтегазовой тематике, включая базы данных по новым патентам, материалы аналитических агентств, правительственных организаций, научных и отраслевых изданий, а также деловых СМИ. Чтобы оставаться в курсе последних событий и тенденций, аналитики вынуждены тратить более 80% рабочего времени на изучение быстро меняющегося отраслевого информационного поля. Этот процесс сейчас является трудоемким и в значительной степени ручным.
Применение БЯМ в качестве «интеллектуального ассистента» может существенно сократить время, затрачиваемое на выполнение таких задач, как распознавание текстовых документов, поиск в базе знаний, обобщение документов и построение ключевых выводов. Так, например, GenAI сможет повысить автоматизацию функциональных процессов, связанных с инженерией и научно-технической экспертизой. Речь прежде всего идет о прикладной экспертизе, 59% которой может быть автоматизировано. В целом потенциал автоматизации работы профессиональных групп, связанных с инженерией, при использовании нейросетей вырастет почти в 2 раза – до 57% [3].
К классу более сложных интеллектуальных задач, которые могут быть решены с помощью БЯМ, относятся подбор технологий и анализ существующих трендов, оценка состояния производственного объекта или процесса, генерация рекомендаций по предотвращению поломок оборудования, а также прикладная экспертиза для проведения ремонтов. Ключевая ценность от использования GenAI в решении таких задач заключается в повышении эффективности работы инженерного и полевого персонала за счет сокращения времени между выявлением проблемы и подготовки рекомендаций по улучшению процесса [3].
И наконец, еще более сложные многоуровневые инженерные задачи – проектирование процессов, оборудования и инфраструктуры, а также создание (инжиниринг) новых продуктов и технологий – могут быть решены с помощью ранее упомянутых мультиагентных систем [3]. Возможная схема использования МАС приведена на рис. 4.
GenAI в нефтегазовой геологии
Одной из перспективных областей для применения технологий GenAI является нефтегазовая геология, где точность и скорость обработки баз данных могут значительно повысить эффективность поисков, разведки и оценки УВС. На основе описанных выше общеотраслевых задач можно выделить 3 ключевых инструмента генеративного ИИ для нефтегазовой геологии: интеллектуальный ассистент геолога, генератор недостающей геологической информации и мультиагентная система для геологического моделирования.
Огромный объем геологических знаний, накопленный в научной литературе, производственных отчетах, пояснительных записках к геологическим картам, зачастую остается разрозненным и трудным для быстрого доступа и анализа. Обучение моделей GenAI на больших массивах текстовых геологических документов позволит создать интеллектуального ассистента геолога. Такая система сможет предоставлять по запросу как общую теоретическую информацию (определения терминов, описание процессов и т. п.), так и давать сводки по геологическому строению конкретных регионов и стратиграфических подразделений. База знаний ассистента может динамически пополняться и обновляться по мере поступления новых публикаций. Геологи смогут в диалоговом режиме оперативно получать нужные сведения, ссылки на первоисточники, иллюстративные материалы. Это ускорит процесс принятия решений, подготовки документации, снизит риски упущения важной информации.
Данный инструмент является наименее сложным среди выбранных, уже сегодня в мире существуют качественные кейсы подобных языковых геологических моделей. В качестве примеров можно привести китайскую БЯМ GeoGalactica (крупнейшая геологическая БЯМ, обученная на 65 миллиардах токенов специализированного текстового корпуса и 30 млрд параметров), а также индустриальную БЯМ Aramco Metabrain AI (созданная компанией Saudi Aramco модель, обученная на 7 трлн токенов и 200 млрд параметров). Для отечественной геологии необходимо создать собственную языковую модель, которая позволит учесть обширные и специфические знания о геологическом строении регионов РФ [6, 7].
Геологоразведочные проекты часто сталкиваются с проблемой неполноты и фрагментарности исходных данных. Бывает, что сейсмическая съемка неравномерно покрывает территорию исследования, в скважинах отсутствуют некоторые каротажные кривые или целые интервалы, керновый материал получен не в полном интересующем геологов объеме. GenAI-модели могут восполнить подобные пробелы за счет генерации синтетических данных. Так, алгоритмы могут достраивать 3D-сейсмокубы по 2D-профилям, прогнозировать значения каротажных кривых в пропущенных интервалах на основе комплекса имеющихся измерений, генерировать высокодетальные цифровые модели керна по ограниченному описанию образцов или отдельным фотографиям шлифов. Получаемые синтетические данные должны быть согласованы с реальными измерениями и отражать естественную изменчивость геологической среды.
Генератор геологической информации по сравнению с интеллектуальным ассистентом геолога значительно более ресурсоемкий инструмент для создания и внедрения в реальный нефтегазовый бизнес. Однако уже сегодня разрабатываются подходы к генерации геологических данных. Например, один из участников отечественного рынка сейсмического моделирования – компания «ГридПоинт Дайнамикс» – активно внедряет технологии генеративного ИИ в свои продукты. Компания «РН-БашНИПИнефть» работает над решениями в области генерации цифрового 3D-керна из данных растровой электронной микроскопии (РЭМ). Российская компания Polar eQuelle совместно с РГУ нефти и газа им. И. М. Губкина в рамках разработки ПО LithologAI используют фотографии шлифов горных пород для исследования керна.
Другим перспективным направлением применения GenAI является создание МАС для геологического моделирования. В контексте геологического моделирования такие системы могут описывать различные геологические процессы и объекты: осадконакопление, тектонические движения, миграция флюидов, формирование ловушек и залежей углеводородов. Каждый агент обладает своим набором правил поведения и параметров, которые определяют его взаимодействие с другими агентами и средой. Важным преимуществом мультиагентных систем является их способность учитывать неопределенности и множественные сценарии развития геологических процессов.
Обучая МАС на большом объеме геологических данных (сейсмические данные, данные бурения, каротажа, керна и т. д.), можно создавать реалистичные модели формирования и эволюции осадочных бассейнов, прогнозировать зоны развития коллекторов и покрышек, моделировать процессы генерации, миграции и аккумуляции углеводородов.
GenAI в добыче УВС
В процессе добычи углеводородов ключевым аспектом является обеспечение надежности и бесперебойной работы оборудования. Генеративный ИИ способен сыграть значительную роль в его предиктивном техническом обслуживании, что позволяет не только предотвращать непредвиденные поломки, но и снижать эксплуатационные расходы. Системы предиктивного обслуживания, оснащенные БЯМ, анализируют данные с датчиков в реальном времени и используют алгоритмы машинного обучения для предсказания потенциальных неисправностей и оптимизации графиков технического обслуживания.
Такие прогнозы и рекомендации позволяют перейти от планово-предупредительного ремонта к предиктивному обслуживанию, при котором ремонтные работы проводятся не по фиксированному расписанию, а на основе фактического состояния оборудования. Это помогает снизить риски незапланированных простоев, продлить срок службы оборудования и оптимизировать затраты на техническое обслуживание.
Стоит отметить, что подобные системы предиктивного технического обслуживания на основе БЯМ уже применяются в различных промышленных отраслях за рубежом. Ведущие компании-вендоры (C3.ai, Dataiku, SparkCognition и др.) предлагают готовые решения, в т. ч. для нефтегазовой отрасли [8, 9]. Они включают в себя платформы для сбора и анализа промышленных данных, модули машинного обучения и БЯМ для генерации прогнозов и рекомендаций.
Крупные нефтегазовые компании активно внедряют эти технологии в свои операции. К примеру, Shell использует платформу предиктивного обслуживания от C3.ai для мониторинга состояния критически важного оборудования на своих добывающих платформах. Анализируя данные в реальном времени, система способна заблаговременно выявлять потенциальные проблемы и генерировать рекомендации по обслуживанию, что позволяет Shell повысить надежность оборудования, сократить незапланированные простои и оптимизировать затраты на техническое обслуживание.
GenAI в транспортировке углеводородов
Транспортировка УВС является критически важным звеном между добывающими активами и перерабатывающими мощностями. Оптимизация работы трубопроводных систем, а также обеспечение их безопасности и надежности – ключевые задачи сектора midstream. Генеративный ИИ может выступать в качестве рекомендательной системы для принятия решений в области транспортировки углеводородов. Обучаясь на огромных массивах исторических данных и учитывая множество факторов, таких как состояние инфраструктуры, погодные условия, геополитические риски и рыночные тренды, БЯМ способны предлагать оптимальные сценарии транспортировки. Эти рекомендации могут включать выбор наиболее эффективных маршрутов, определение приоритетности отгрузок, планирование профилактического обслуживания и принятие превентивных мер для снижения рисков аварий и простоев. Использование нейросетей в качестве рекомендательной системы позволяет инженерам, принимающим решения, получать своевременные и обоснованные рекомендации, основанные на комплексном анализе данных, что повышает качество управленческих решений и способствует оптимизации операционной деятельности.
Учитывая обширность и сложность трубопроводных сетей, а также удаленность многих их участков, использование БЯМ как рекомендательной системы становится не только технологически продвинутым, но и экономически выгодным решением. Это повышает общую безопасность и надежность процессов транспортировки углеводородов, обеспечивая более эффективное управление инфраструктурой.
GenAI в переработке УВС
Использование генеративных моделей открывает большие возможности и для разработки новых рецептур нефтепродуктов, что позволяет повысить конкурентоспособность перерабатывающих предприятий России на мировом рынке. Потенциал подобных технологий можно оценить, рассмотрев пример созданной в Китае мультимодальной модели GIT-Mol для молекулярных наук [10].
Разработанная китайскими учеными система интегрирует графические и текстовые данные в единую систему, что позволяет с высокой точностью генерировать новые молекулы и предсказывать их свойства. Эта модель не только позволила улучшить точность предсказаний на 10%, но и повысить достоверность генерации на 20,2% по сравнению с базовыми показателями. Такие возможности могут быть адаптированы и для нефте- и газохимической индустрий [10].
В контексте создания новых рецептур продуктов переработки нефти и газа подобный подход может включать анализ сложных химических структур и процессов, что требуется для оптимизации, например, составов топлив, полимеров и пластиков. Использование генеративных моделей позволяет быстро анализировать большие объемы данных о свойствах сырья и продуктов, симулировать и моделировать химические процессы и взаимодействия на молекулярном уровне, а также предсказывать результаты изменений в рецептурах.
Кроме того, БЯМ могут применяться для прогнозирования спроса на различные продукты переработки. Анализ исторических данных о потреблении и учет макроэкономических факторов, таких как динамика ВВП, уровень промышленного производства и цены на энергоносители, проводятся с помощью классических моделей ИИ. На основе этого анализа БЯМ генерируют точные прогнозы спроса на краткосрочную и среднесрочную перспективы. Используя эти прогнозы, нейросеть может подготовить рекомендации по оптимизации производственных планов нефте- и газоперерабатывающих заводов, управлению запасами и своевременному реагированию на изменения рыночной конъюнктуры. Применение сгенерированных БЯМ рекомендаций позволяет повысить маржинальность и снизить риски перепроизводства или дефицита отдельных видов продуктов.
Проблемы использования существующих БЯМ для поиска и анализа отраслевой информации
Лучшие на апрель 2024 г. современные генеративные языковые модели (GPT‑4, Claude 3 и Gemini 1) предлагают значительные возможности для автоматизации аналитических задач. Однако, в условиях специализированных отраслей, таких как нефтегазовая промышленность, возникают вопросы их профессиональной компетентности и безопасности применения. В исследовании «ВЫГОН Консалтинг» анализируются результаты тестирования этих моделей. В качестве предмета для тестирования был использован запрос российской нефтегазовой компании на подбор технологии бурения в неустойчивых аргиллитах, опубликованный на открытой онлайн-платформе для организации работы бизнеса с квалифицированными внештатными специалистами «Профессионалы 4.0». При тестировании основной акцент был сделан на анализе возможностей БЯМ обрабатывать специфическую отраслевую информацию без предварительного специализированного обучения [3].
Результаты показали, что существующие коммерческие БЯМ не обладают необходимым уровнем специализации и точности для выполнения сложных отраслевых задач. Большинство моделей сталкиваются с проблемами «заморозки» данных в обучающем корпусе и недостатком страновой специфики, что приводит к выдаче некорректных или «сгаллюцинированных» (выдуманных) ответов. По состоянию на апрель 2024 г. коммерческие БЯМ существенно уступают человеку в сложных отраслевых знаниях, предоставляя верные ответы только на те вопросы, которые требуют минимальных умственных усилий.
Для погружения готовых БЯМ в отраслевую тематику в рамках исследования «ВЫГОН Консалтинг» был проведен эксперимент с использованием метода RAG (Retrieval-Augmented Generation – генерация ответа на основе извлеченных актуальных данных) [3]. Для проведения эксперимента была создана специализированная база данных, содержащая актуальные отраслевые материалы. Эта база использовалась для поддержки БЯМ в процессе ответа на сложные запросы.
Использование RAG значительно улучшило качество ответов на запросы, связанные с анализом технологий бурения в неустойчивых аргиллитах. Модель смогла точно определить и назвать конкретные технологии и методы, что было невозможно при использовании традиционных БЯМ без доступа к актуализированной информации. Количество ошибок и «галлюцинаций» значительно сократилось. По результатам эксперимента был сделан вывод о том, что БЯМ, усовершенствованную с помощью RAG, можно использовать в роли «интеллектуального ассистента» для решения конкретных отраслевых задач.
Помимо отсутствия отраслевых знаний со страновой спецификой тестирование показало другие недостатки существующих генеративных моделей. В частности, коммерческие иностранные БЯМ строго соблюдают введенный Западом санкционный режим и ограничивают доступ к любой информации, которая может быть использована для отраслевого развития, импортозамещения и обеспечения технологического суверенитета России. Кроме того, использование иностранных БЯМ с открытыми параметрами потенциально может создать угрозу IT-безопасности (внешние атаки на информационную инфраструктуру, промышленный шпионаж и т. д.) [3].
Единая технологическая платформа для создания отечественных отраслевых БЯМ
Один из ключевых факторов, влияющих на стоимость создания нефтегазовой БЯМ – это выбор подхода, предполагающий ответ на вопрос: будет ли использована существующая модель или создана принципиально новая? Обучение «с нуля» отечественной БЯМ с широкой отраслевой экспертизой может потребовать до 100 млрд руб., не включая расходы на разработку и исследования (R&D-инженеров). Ни одна отечественная нефтегазовая компания не готова взять на себя такие затраты. Стоимость донастройки на отраслевых данных (fine-tuning) существующих российских БЯМ (GigaChat «Сбера» и YandeхGPT) для получения модели, способной хорошо ориентироваться в узкой отраслевой области, например, в нефтегазовой геологии, может достигать 100 млн руб. В этом случае затраты отраслевых заказчиков будут дублироваться, т. к. решаемые в нефтегазовых предприятиях инженерные проблемы, в которых может использоваться генеративный ИИ, практически совпадают.
Поэтому наиболее эффективным подходом к развитию генеративного ИИ в российском ТЭК является консолидация усилий всех заинтересованных сторон – IT-разработчиков, нефтегазовых компаний, экспертных и научных организаций, профильных ФОИВ (Минэнерго и Минпромторг) – для создания единой технологической платформы. Она позволит сократить расходы на разработку отраслевой прикладной модели, обеспечить оперативный обмен информацией и ускорить выполнение главной задачи, стоящей сейчас перед нашей страной – обеспечения технологического суверенитета и конкурентоспособности России на мировых рынках энергоносителей.