Clustering of lithotypes based on visual features of cores using convolutional neural networks and K-Means

Full Text

Введение

Литология – область геологии, изучающая геологические породы и их характеристики, которая имеет важное значение в геологии, геофизике, нефтегазовой промышленности. Основные задачи литологии включают в себя классификацию горных пород, определение их происхождения, изучение условий их образования и изменения со временем. Литологические исследования керна проводятся при помощи различных методов, включая визуальное исследование образцов горных пород, микроскопический анализ шлифов, химический анализ, методы каротажа керна [1] с использованием современных технологий, таких как гиперспектральная визуализация и методы машинного обучения.

Традиционный анализ литологии требует высокой квалификации геологов и обширного опыта в визуальном определении пород. Такие методы, несмотря на свою эффективность, могут быть трудоёмкими и затратными по времени, особенно при обработке большого объёма образцов. Применение методов машинного обучения и автоматизированных технологий в области литологического анализа позволяет улучшить эффективность и точность оценок, сокращая временные затраты и обеспечивая более быстрый доступ к информации о горных породах. Перспективным направлением является определение литологии по фотографиям кернового материала, т.е. образцов горных пород, выбуриваемых колонковым методом в процессе строительства скважин. Для определения литологии и проведения попытки сопоставления с лабораторным макроописанием керна на основе изображений керна в данной работе используется метод кластеризации. Кластеризация – это задача разделения данных на группы (кластеры) на основе их сходства в текстуре. Применение методов кластеризации к изображениям керна может обеспечить эффективное разделение образцов по литологическим типам без явного указания эталонов или классов, что делает этот подход особенно ценным в условиях неполных или неоднозначных данных.

В последние годы активно проводятся исследования по применению методов машинного обучения для точной классификации литологии в образцах керна, извлечённых из буровых скважин. В работе Corina A. и Hovda S. [2] используются вероятностные нейронные сети для классификации литологии с данными каротажа для точного моделирования проницаемости керна. He J. и др. [3] представляют многослойный персептронный классификатор, использующий анализ фаций и статистическую классификацию, где применяется обучающий набор данных, включающий данные каротажа и последовательности фаций. Zhang P. и др. [4] предлагают метод глубокого обучения с использованием свёрточной нейронной сети (далее – CNN, англ. Convolutional Neural Networks) для определения литологии на основе изображений, используя записи журнала регистрации по скважине. Caja M. и др. [5] выявляют литологию на основе фотографий тонких срезов шламового материала, используя анализ изображений и обучение модели методу опорных векторов для определения категории каждого пикселя на изображении. Все эти исследования демонстрируют потенциал методов машинного обучения в области буровых работ и классификации литологии, а также предоставляют практические методики для повышения точности и эффективности анализа геологических данных.

Материалы и методы

В целях кластеризации литологии необходимо выявить определенные закономерности (признаки) в структуре горных пород на изображениях керна. Для выявления этих признаков используются CNN. Архитектура CNN, направленная на распознавание образов, входит в состав технологий глубокого обучения, применяемых в различных областях, связанных с компьютерным зрением, таких как классификация текста, анализ настроений, машинный перевод, классификация изображений [6], распознавание речи, обнаружение и распознавание таблиц [7], распознавание рукописного текста [8, 9] и др.

CNN принимают изображения в качестве входных данных и автоматически присваивают настраиваемые веса и смещения различным объектам и признакам, что позволяет нейросети автоматически выделять и распознавать эти объекты и признаки. Это достигается с помощью последовательности слоёв, начиная со свёрточных слоёв, которые используют определённое количество ядер и нейронных весов для извлечения объектов и признаков. Затем функции активации изменяют масштаб объектов в нелинейной форме. Для уменьшения размерности объектов и выборки используются методы среднего и максимального объединения. Извлечённые объекты передаются в полностью связанные слои, где выполняются окончательная классификация и генерация прогнозов [10].

Основное различие между CNN и другими методами машинного обучения заключается в том, что CNN способны выполнять задачи без необходимости создания пользовательских функций вручную. Процесс обучения включает в себя автоматическое определение наилучших признаков для представления имеющихся данных. Во время обучения параметры нейросети инициализируются, и данные передаются через слои. Затем выходные данные нейросети сравниваются с исходными данными, используя функции потерь, и ошибка обратно распределяется для обновления фильтров и весов всех слоёв [11]. Этот процесс повторяется до достижения конвергенции нейросети. После обучения нейросеть генерирует прогнозы, обрабатывая данные в режиме прямой передачи и считывая выходные данные с конечного уровня.

После успешного извлечения признаков c изображений керна с помощью имеющихся моделей следующим этапом является применение кластеризации на основе алгоритма К-средних (K-Means). Алгоритм кластеризации K-Means был представлен в работе Steinhaus H. [12], широко используется в области машинного обучения и отличается эффективностью. Алгоритм K-Means – итеративный процесс, цель которого состоит в минимизации суммарного квадратичного отклонения точек каждого кластера от их центроидов, т.е. среднего значения точек в кластере. Каждая точка представляет собой вектор признаков изображений керна, полученных на предыдущем этапе выявления признаков.

Один из важных аспектов применения K-Means заключается в выборе оптимального числа кластеров K. Для определения этого параметра используется метод оценки силуэта [13], основанный на идее измерения степени сходства между объектами внутри кластера и степени различия между кластерами: чем выше среднее значение силуэта для всех объектов данных, тем лучше кластеризация. Значение показателя силуэта варьируется от -1 до 1: чем ближе значение силуэта к 1, тем лучше кластеризация, поскольку это означает, что объекты находятся ближе к своим собственным кластерам, чем к другим кластерам. Значение ближе к -1 указывает на неправильное присвоение объектов кластерам.

После завершения процесса кластеризации оценивается качество полученных кластеров с помощью таких метрик, как инерция, силуэтный коэффициент, индекс Дэвиса-Боулдина, Индекс Калински-Харабаса, который позволяет оценить степень разделения кластеров и их плотность. Эти результаты помогают определить, насколько эффективно алгоритм K-Means справился с задачей кластеризации литологических типов на основе изображений кернов. Результатом кластеризации является группировка изображений кернов в кластеры схожих по признакам объектов, что облегчает дальнейший анализ и интерпретацию данных.

Набор данных

Исходные изображения представляют собой 4–6 м кернового материала, сложенных в один лоток по одному метру. Для дальнейшей работы образцы керна необходимо было разделить на отдельные метровые изображения кернов. Для автоматизации разделения на отдельные изображения была обучена нейронная модель Faster R-CNN. Для данной модели был создан первый набор данных, включающий 100 размеченных изображений керна с использованием инструмента VGG Image Annotator [14]. Для оптимизации процесса сбора датасета инструментарий был модифицирован в виде веб-приложения, использующего фреймворк Flask, что позволяет нескольким пользователям одновременно взаимодействовать с инструментом (рис. 1). После обучения модели изображения керна были обрезаны на метровые и сохранены в отдельные файлы, что составило конечный датасет из изображений метровых кернов.

 

Рисунок 1. Модифицированный инструмент разметки метровых кернов

Figure 1. Modified meter core marking tool

 

Далее каждые метровые фрагменты керна были разделены на фрагменты размером 32 x 32 пикселя, используя метод скользящего окна. Окно перемещалось с шагом 10 пикселей как в горизонтальном, так и в вертикальном направлениях, охватывая все участки изображения (рис. 2).

 

Рисунок 2. Процесс создания датасета

Figure 2. Dataset creation process

 

Извлечение признаков с помощью CNN

Качество и эффективность кластеризации напрямую зависит от точности и эффективности извлечения признаков из изображений керна: чем более информативные и репрезентативные признаки удаётся выделить из данных изображений, тем более точные и интерпретируемые кластеры могут быть сформированы, что способствует более качественному анализу и интерпретации литотипов. Для извлечения признаков использовались свёрточные нейронные сети VGG16, VGG19 и ResNet50

Группа VGG [15] разработала 6 глубоких свёрточных нейронных сетей, из которых VGG16 и VGG19 показали лучшие результаты. В свою очередь, они считают глубину наиболее важным параметром для оценки эффективности нейросети в распознавании и точной классификации CNN. В архитектуре данных нейросетей использовались фильтры размером 3 × 3 пикселя, включая последовательные фильтры для создания более широкого поля размером 5 × 5 пикселя. Также применялись 3 фильтра по 3 × 3 пикселя для формирования поля размером 7 × 7 пикселей. После каждой операции максимального объединения количество фильтров в архитектуре может удваиваться.

Архитектура нейросети VGG16 [15] включает 4 основные операции:

1. Свертка (ConvNet). Этот этап извлекает признаки из изображений и сохраняет пространственную связь между пикселями, анализируя объекты в меньших квадратах с использованием свёрточных слоев размером 3 × 3 пикселя.
2. Линейный блок с исправлением нелинейности (функции активации ReLU). Функции активации, такие как ReLU, добавляют нелинейность после свёрточных слоев.
3. Объединение в пул, или субдискретизация. Следующий слой после ReLU используется для уменьшения количества объектов, выбирая самые значимые элементы из карт объектов.
4. Полностью подключенный слой. Последний слой собирает дескрипторы объектов, преобразуя их в вектор. VGG16 использует свёрточные слои с увеличением глубины и завершается тремя полносвязными слоями с 4096 узлами, завершаясь классификатором Softmax.

Отмечено, что нейросеть VGG16 состоит из 13 свёрточных слоев и трех полносвязных слоев. Аналогично архитектура VGG19 включает 16 свёрточных слоев и 3 полносвязных слоя. Обе нейросети используют набор небольших свёрточных фильтров размером 3 × 3 пикселя с шагом 1, с последующими нелинейными слоями. Глубокие архитектуры позволяют более эффективно анализировать сложные объекты, что приводит к повышенной точности прогнозирования.

Модель ResNet50 (Residual Network с 50 слоями) представляет собой архитектуру глубоких нейронных сетей, применяемую в области обработки изображений и задач компьютерного зрения [16]. Она состоит из 50 слоев и оснащена ключевой особенностью – блоками с остаточными соединениями (residual connections). Эти соединения позволяют эффективно обучать глубокие нейросети, предотвращая проблемы, связанные с затуханием градиента. Остаточные соединения позволяют пропускать входные данные через блок нейронов, облегчая процесс обучения и обеспечивая эффективность даже при большой глубине сети. Модель может адаптироваться к разным задачам благодаря гибкости блоков различной глубины. Важной особенностью является использование сверток 1 × 1, 3 × 3 и 1 × 1 для извлечения призна- ков на разных уровнях абстракции.

Для извлечения признаков использовались модели VGG16 (рис. 3), VGG19 (рис. 4) и ResNet50 (рис. 5) с предобученными весами на датасете ImageNet, при этом были исключены полносвязные слои, необходимые для классификации. На входе моделей подавались изображения размером 32 × 32 пикселя, а на выходе были получены векторы размером 512, содержащие характерные признаки изображения.

 

Рисунок 3. Архитектура VGG16

Figure 3. VGG16 architecture

 

Рисунок 4. Архитектура VGG19

Figure 4. VGG19 architecture

 

Рисунок 5. Архитектура модели ResNet50

Figure 5. ResNet50 model architecture

 

Результаты и их обсуждение

Ниже изложено краткое описание исходной фотографии кернового материала (рис. 6). Данное описание было получено на основе заключения лабораторных исследований керна.

 

Рисунок 6. Исходная фотография кернового материала

Figure 6. Original photo of core material

 

1-й метр слева:

• верхняя часть среза представлена песчаником мелкозернистым, цвет серый, с тонкими прослойками органических растительных остатков, слоистость горизонтально-наклонная, прерывистая;
• ближе к средней части район выбуривания 2-го и 3-го штуфов представлен массивным мелкозернистым песчаником, цвет серый;
• в нижней части разрез имеет резкую смену литологии с песчаника на алевролит, насыщенный органикой, цвет тёмно-серый, скрыто-слоистый, с тонкими трещинами по наслоению, о чём свидетельствует преобладание тёмных цветов.

2-й метр:

• срез представлен в верхней части массивным мелкозернистым песчаником с глинистым цементом, цвет серый с буроватым оттенком;
• ниже в районе выбуривания 3-го штуфа видна резкая граница изменения литологии переход к песчанику мелкозернистому, цвет светло-серый, с карбонатным цементом.

3-й метр:

• представлен песчаником мелкозернистым с переслаиванием алевролитов, цвет красновато-бурый (гидроксиды железа), мелкие вкрапления пирита с массивной однородной текстурой;
• в средней части фото идёт чередование тонких прослоев песчаника мелкозернистого серого и алевролита тёмно-серого глинистого, с тонкими открытыми трещинами по наслоению (возможно, следы биотурбации в нижней части);
• в нижней части фото песчаник светло-серый, мелкозернистый, с редкими тонкими прослоями глинистого материала с тонкими открытыми трещинами.

4-й метр:

• в верхней части срез представлен аргиллитами с тонким переслаиванием алевролитов и песчаником, местами однородным, коричневым, мелкозернистым, с включениями пирита (до района 1-го выбуренного штуфа);
• в средней части срез представлен серым мелкозернистым песчаником с серией глинистых слойков с включениями пирита и трещинами по наслоению, что свидетельствует о смене обстановки накопления материала;
• в нижней части среза нетрудно заметить изменение литологии – это переход от песчаников к темноцветным алевролитам с переслаиванием однородного песчаника коричневого, мелкозернистого, с включениями пирита.

В качестве входных данных для кластеризации было использовано исходное изображение керна. Эксперименты проводились с применением алгоритма кластеризации K-Means и свёрточных моделей VGG16, VGG-19 и ResNet50, предназначенных для выявления признаков.

Эксперимент 1. В данном эксперименте использовалась модель VGG16 для выявления признаков. После отключения последних слоёв (полносвязных слоёв) создается нейросеть на основе исходной, где выходом этой модели является выход 19-го слоя исходной модели VGG16. Этот выход используется для дальнейшей обработки и анализа признаков изображений.

Эксперимент 2. В этом эксперименте для выявления признаков используется архитектура VGG19. Модель VGG19 с отключенными последними слоями (полносвязные слои). Выходом этой модели является выход 22-го слоя исходной модели VGG19.

Эксперимент 3. В этом эксперименте для выявления признаков используется архитектура ResNet50. В данной архитектуре также были отключены последние слои (полносвязные слои). Выходом этой модели является выход 52-го слоя исходной модели ResNet50.

После использования моделей на полноценном датасете извлекаются признаки в виде набора векторов. Для разделения изображений на кластеры используются эти признаки в качестве входных данных для алгоритма кластеризации K-Means. Для определения оптимального количества кластеров был выбран диапазон от 5 до 35 (с шагом 5) с применением метода оценки силуэта. Результаты оценки силуэта представлены на рис. 7–12.

 

Рисунок 7. Индекс силуэта для кластеризации с количеством 5 кластеров

Figure 7. Silhouette clustering index with 5 clusters

 

Рисунок 8. Индекс силуэта для кластеризации с количеством 10 кластеров

Figure 8. Silhouette clustering index with 10 clusters

 

Рисунок 9. Индекс силуэта для кластеризации с количеством 15 кластеров

Figure 9. Silhouette clustering index clustering with 15 clusters

 

Рисунок 10. Индекс силуэта для кластеризации с количеством 20 кластеров

Figure 10. Silhouette clustering index with 20 clusters

 

Рисунок 11. Индекс силуэта для кластеризации с количеством 25 кластеров

Figure 11. Silhouette clustering index with 25 clusters

 

Рисунок 12. Индекс силуэта для кластеризации с количеством от 30 кластеров

Figure 12. Silhouette clustering index with 30 clusters

 

При выборе конкретного количества кластеров (К) нужно следить за тем, чтобы все кластеры имели оценку силуэта выше средней оценки набора данных, обозначенной красной пунктирной линией на оси X. Кластер с K = 10 удаляется, поскольку не соответствуют этому условию. Также необходимо обращать внимание на размеры кластеров. Ширина кластера представляет собой количество точек данных. Например, при K = 5 (бирюзовый) и K = 15 (красный) кластер имеет почти вдвое большую, по сравнению с другими кластерами, ширину. Однако этот бирюзовый / красный кластер разбивается на подкластеры при K = 20, 25, 30, что приводит к кластерам, близким по размеру. Учитывая, что кластеры больше 20 не дают существенного улучшения, выбирают 20 как оптимальное количество кластеров.

На рис. 13 представлены результаты клас- теризации с использованием модифицированной модели VGG16. На рис. 14 отображены результаты кластеризации с использованием модифицированной модели VGG19. На рис. 15 представлены результаты кластеризации с использованием модифицированной модели ResNet50. В табл. 1 представлены метрики оценки качества кластеризации на основе алгоритма K-Means и различных модифицированных нейросетей.

 

Рисунок 13. Результаты кластеризации с использованием модели VGG16

Figure 13. Clustering results using the VGG16 model

 

Рисунок 14. Результаты кластеризации с использованием модели VGG19

Figure 14. Clustering results using the VGG19 model

 

Рисунок 15. Результаты кластеризации с использованием модели ResNet50

Figure 15. Clustering results using the ResNet50 model

 

Taблица 1. Метрики оценки качества кластеризации

Table 1. Metrics for assessing clustering quality

Метрики / Metrics	VGG16	VGG19	ResNet50
Инерция / Inertia	14 339 303 424,0	14 929 252 352,0	3 042 697 472,0
Индекс силуэта / Silhouette index	0,0393	0,0217	-0,0026
Индекс Дэвиса-Боулдина / Davis-Bouldin Index	2,8269	2,6669	3,1924
Индекс Калински-Харабаса / Kalinski-Harabas index	35 314,39	38 011,47	22 864,16

 

Для оценки качества кластеризации рассмотрим следующие метрики:

• инерция в кластеризации измеряет сумму квадратов расстояний между каждой точкой внутри кластера и его центроидом. Более низкое значение инерции свидетельствует о более компактных и однородных кластерах. Эта метрика полезна для определения оптимального числа кластеров и оценки качества кластеризации в методах, таких как k-средних [13];
• индекс силуэта представляет собой метрику качества кластеризации, измеряющую, насколько хорошо объекты внутри кластера схожи между собой и насколько отличны от объектов в других кластерах. Значения индекса силуэта находятся в диапазоне от -1 до 1: значение ближе к 1 указывает на хорошую кластеризацию, а ближе к -1 – на некорректное разделение объектов [13];
• индекс Дэвиса-Боулдина является метрикой внутренней качественной оценки кластеризации. Он оценивает, насколько кластеры компактны и однородны с учётом минимизации внутрикластерных расстояний и максимизации межкластерных расстояний. Более низкое значение индекса Дэвиса-Боулдина указывает на более оптимальную и отделимую кластеризацию [13];
• в случае индекса Калински-Харабаса высокие значения указывают на более компактные и отделимые кластеры. Меньшие значения могут свидетельствовать о более разреженных кластерах или более широких диапазонах размеров кластеров [13].

Результаты кластеризации с использованием модифицированной модели ResNet50 показывают следующее: показатель инерции значительно ниже, что указывает на более компактные кластеры; показатель индекса силуэта отрицательный, что указывает на некорректное разделение объектов; значение индекса Дэвиса-Боулдина выше, чем у двух других моделей, что может свидетельствовать о менее компактных и менее однородных кластерах; значение индекса Калински-Харабаса меньше, чем у VGG моделей, что также может указывать на более разреженные кластеры. Таким образом, модель ResNet50 показывает менее оптимальные результаты и, следовательно, может быть менее подходящей для кластеризации изображений керна.

Результаты кластеризации с использованием модифицированных моделей VGG16 и VGG19 очень схожи друг с другом и имеют небольшие колебания в значениях. Низкое значение инерции у модели VGG16 свидетельствует о более компактных и однородных кластерах. Значения индекса силуэта у модели VGG16 ближе к 1, что указывает на хорошую кластеризацию. Показатель индекса Дэвиса-Боулдина у модели ниже VGG19, чем у VGG16, и указывает на более оптимальную и отделимую кластеризацию. Индекс Калински-Харабаса имеет высокое значение у модели VGG19, что может указывать на компактность и отделимость кластеров. В целом выбор между моделями будет зависеть от конкретных требований задачи.

Выводы

Анализ метрик указывает на то, что в задаче кластеризации изображений кернов модели VGG16 и VGG19 демонстрируют схожие результаты. В модели VGG16 наилучшие показатели у метрик инерции и индекса силуэта, а у модели VGG19 лучшие показатели в метриках индекса Дэвиса-Боулдина и индекса Калински-Харабаса. Эти факторы свидетельствуют о более компактных, разделимых и различимых кластерах.

Визуальный анализ также подтверждает, что модели группы VGG показывают лучшие результаты по сравнению с ResNet50.

Эти результаты предоставляют важные практические исследовательские выводы, которые могут быть полезны в геологических исследованиях и применении методов глубокого обучения для анализа керна. Дальнейшие исследования могут углубить анализ других моделей и методов кластеризации, а также расширить область применения данного подхода в геологии.

ДОПОЛНИТЕЛЬНО

Источник финансирования. Авторы заявляют об отсутствии внешнего финансирования при проведении исследования.

Конфликт интересов. Авторы декларируют отсутствие явных и потенциальных конфликтов интересов, связанных с публикацией настоящей статьи.

Вклад авторов. Все авторы подтверждают соответствие своего авторства международным критериям ICMJE (все авторы внесли существенный вклад в разработку концепции, проведение исследования и подготовку статьи, прочли и одобрили финальную версию перед публикацией). Наибольший вклад распределён следующим образом: Әбдіманап Ғ.C. – сбор и обработка данных, Бостанбеков К.А. – разработка алгоритма кластеризации, Алимова А.Н. – обработка результатов, сбор и написание статьи, Салиев Н.Б. – литологическое описание керна, Нурсеитов Д.Б. – концепция исследования и общая редакция статьи.

ADDITIONAL INFORMATION

Funding source. This study was not supported by any external sources of funding.

Competing interests. The authors declare that they have no competing interests.

Authors’ contribution. All authors made a substantial contribution to the conception of the work, acquisition, analysis, interpretation of data for the work, drafting and revising the work, final approval of the version to be pub- lished and agree to be accountable for all aspects of the work. The greatest contribution is distributed as follows: Galymzhan S. Abdimanap – data collection and processing; Kairat A. Bostanbekov – development of clustering algorithm; Anel N. Alimova – processing of results, writing of the article; Nurlan B. Saliev– lithologic description of the core; Daniyar B. Nurseitov – research concept and article editing.

About the authors

Galymzhan S. Abdimanap

KMG Engineering; Satbayev University

Email: g.abdimanap@kmge.kz
ORCID iD: 0000-0003-1676-4075
Kazakhstan, Astana; Almaty

Kairat A. Bostanbekov

KMG Engineering

Email: k.bostanbekov@kmge.kz
ORCID iD: 0000-0003-2869-772X

PhD

Kazakhstan, Astana

Anel N. Alimova

KMG Engineering

Author for correspondence.
Email: a.alimova@kmge.kz
ORCID iD: 0000-0002-5155-2417

PhD

Kazakhstan, Astana

Nurlan B. Saliev

Satbayev University

Email: saliyevnurlan@gmail.com
ORCID iD: 0009-0001-6537-6960
Kazakhstan, Almaty

Daniyar B. Nurseitov

KMG Engineering; Satbayev University

Email: d.nurseitov@kmge.kz
ORCID iD: 0000-0003-1073-4254

Cand. Sc. (Physics and Mathematics), professor (associate)

Kazakhstan, Astana; Almaty

References

Supplementary files