A computer vision dataset for personal protective equipment and tool segmentation in oil well workovers

Full Text

Введение

В условиях современной промышленности вопросы обеспечения производственной безопасности приобретают всё более важное значение, требуя постоянного внимания и внедрения инновационных решений. Одним из ключевых аспектов повышения уровня безопасности труда и предотвращения производственных инцидентов является использование современных технологий, таких как анализ изображений (методы компьютерного зрения) и методы машинного обучения.

Методы компьютерного зрения, основанные на анализе изображений и видеоданных, сталкиваются с рядом технических и методологических трудностей. В условиях реальных производственных площадок изображения часто характеризуются значительным уровнем шума, сложными фоновыми элементами и переменными условиями освещения, что существенно осложняет автоматическое распознавание и классификацию таких объектов, как средства индивидуальной защиты СИЗ, инструменты, оборудование и т.д. Более того, существующие алгоритмы, как правило, требуют больших объёмов высококачественно размеченных данных для обучения, и их способность адаптироваться к различным производственным сценариям остаётся ограниченной.

Одной из ключевых проблем является нехватка качественных и разнообразных данных, которые адекватно отражали бы реальные условия на производственных площадках. Без таких данных затруднительно создавать надёжные алгоритмы, способные эффективно функционировать в широком диапазоне ситуаций. Это ограничивает возможности автоматизации мониторинга и раннего предупреждения о потенциальных опасностях, что, в свою очередь, снижает общую эффективность систем безопасности. Таким образом, существует необходимость в разработке специализированных датасетов, охватывающих различные производственные сценарии и содержащих высококачественные аннотации.

Датасет, представленный в данной статье, служит ценным ресурсом для разработки и тестирования алгоритмов компьютерного зрения, направленных на автоматическое обнаружение потенциально опасных условий и предотвращение несчастных случаев на рабочем месте. Описаны методика сбора данных, особенности создания датасета, а также приведены примеры возможных применений и результаты анализа. Датасет охватывает различные сценарии и ситуации на производственных площадках, что делает его уникальным инструментом для выявления потенциальных опасностей, обучения персонала и разработки эффективных стратегий управления рисками. Вместе с тем предложенный датасет представляет собой лишь начальный шаг в разработке более точных и эффективных систем мониторинга и предотвращения несчастных случаев на производстве. Полученные результаты могут стать основой для создания новых методов и технологий, способствующих повышению безопасности и защиты работников на производственных площадках.

Существующие методы обнаружения СИЗ и инструментов в производственной среде можно условно разделить на методы, основанные на датчиках, и методы, основанные на компьютерном зрении. Методы, использующие датчики, часто применяют технологии позиционирования для мониторинга перемещений работников и контроля использования СИЗ. Kelm A. и др. [1] разработали мобильный портал радиочастотной идентификации (далее – RFID, англ. Radio Frequency IDentification) для автоматизированного контроля соблюдения правил ношения СИЗ. При прохождении работников, оснащённых RFID-метками на СИЗ, через контрольные точки система автоматически регистрирует информацию о соблюдении норм безопасности. Zhang H. и др. [2] интегрировали технологию RFID с интернетом вещей (далее – IoT, англ. Internet of Things), позволяя передавать данные в облако, где они доступны через веб- и мобильные приложения. Однако данный подход требует от работников ношения дополнительных устройств для передачи и получения данных. Сенсорные методы обнаружения шлемов основаны на специализированном оборудовании, которое не подвержено влиянию внешних факторов, таких как погода или освещение. Эти методы обеспечивают стабильную работу и могут применяться на большинстве строительных площадок. Однако подходы, основанные на использовании датчиков, требуют значительных инвестиций в покупку, установку и обслуживание оборудования.

В последние годы активно развиваются исследования по применению методов машинного обучения и компьютерного зрения для повышения безопасности труда на производстве. В этой области создаются специализированные датасеты, содержащие изображения средств индивидуальной защиты. Например, Wang Z. и др. [3] представили набор данных, включающий 1330 изображений и 9209 объектов, относящихся к 6 классам, в то время как Wu J. и др. [4] создали датасет, содержащий 3174 изображения СИЗ, где преобладает класс касок, включающий 18893 объекта. Vukicevic A.M. и др. исследовате-ли [5] применяли набор данных, состоящий из изображений, взятых из интернета, и общедоступных датасетов СИЗ. Многие из существующих датасетов включают изображения касок, жилетов и людей, что зачастую является недостаточным для полноценного анализа. В отличие от них, в представленном нами датасете содержится 16 классов, которые отражают реальные производственные условия.

Материалы и методы

Сбор и обработка данных

Для формирования датасета были использованы видеоматериалы, полученные на месторождении Жетыбай от бригады капитального ремонта скважин в количестве 300 файлов. Эти видеофайлы подверглись тщательному ручному анализу, в результате которого был отобран 91 файл, соответствующий следующим критериям качества: отсутствие чёрного экрана, достаточное освещение, корректный ракурс камеры, наличие активности на сцене и минимальный уровень зашумленности кадров. Для преобразования видеоматериалов в изображения и последующей систематизации данных были созданы соответствующие папки (рис. 1). Разметка данных осуществлялась с использованием инструмента CVAT [6] от компании CVAT.AI (рис. 2), который был установлен на локальном сервере для повышения удобства и эффективности процесса.

 

Рисунок 1. Инструментарий по разметке CVAT. Систематизация данных

Figure 1. CVAT annotation interface. Dataset class structure and label setup

 

Рисунок 2. Инструментарий по разметке CVAT

Figure 2. CVAT annotation interface

 

Для ускорения процесса разметки объектов на изображениях в инструмент CVAT [6] была интегрирована универсальная модель предварительной сегментации объектов – Segment Anything Model (далее – SAM) от компании META. Это решение позволило автоматически выделять объекты на изображениях, что значительно упростило и ускорило процесс разметки.

Изначально была вручную размечена первая партия изображений, полученных из 10 видео, после чего эти данные использовались для обучения модели YOLOv8 [7]. В дальнейшем изображения проходили предварительную обработку через обученную модель перед загрузкой в CVAT [6] для разметки. Такой подход позволил оптимизировать трудозатраты на разметку данных и повысить эффективность процесса создания и анализа датасета.

В процессе разметки были выделены 16 классов: технологические трубы, гидравлический ключ, элеватор, человек, каска, очки, жакет, перчатки, штаны, ботинки, а также негативные классы СИЗ: каска-негатив, очки-негатив, жакет-негатив, перчатки-негатив, штаны-негатив, ботинки-негатив. Негативные классы предназначены для случаев, когда работник не использует специальную защитную одежду, а надевает обычную одежду.

В табл. 1 приведены данные, отражающие распределение различных объектов по 16 классам. Описание классов, выделенных в процессе разметки датасета с указанием количества объектов, следующее:

1) Технологические трубы – это трубы, используемые для подъёма нефти и газа на поверхность и эксплуатации скважин. Служат для спуска и подъёма насосного оборудования и транспортировки флюидов в процессе добычи;

2) Гидравлический ключ – это инструмент, используемый в нефтегазовой промышленности для затягивания и откручивания резьбовых соединений труб при бурении и ремонте скважин. Работает на основе гидравлического привода, что обеспечивает высокую точность и силу при работе с трубами;

3) Элеватор – это подъёмное устройство, используемое для захвата, подъёма и спуска труб, колонн или других элементов при бурении и ремонте скважин. Обеспечивает надёжное крепление труб и безопасность операций на буровой площадке;

4) Человек – работник, выполняющий различные операции на месторождении, включая монтаж, обслуживание оборудования, ремонт оборудования и другие технические задачи;

5) Каска – СИЗ, предназначенное для защиты головы работников от травм. Является обязательным элементом защитной экипировки на производстве;

6) Жакет – специальная защитная куртка, являющаяся частью СИЗ и обеспечивающая защиту верхней части тела от внешних воздействий;

7) Штаны – специальные защитные брюки, часть СИЗ, защищающие нижнюю часть тела от механических травм, грязи и химикатов;

8) Очки – защитные очки, используемые для защиты глаз работников от пыли, химических веществ, осколков и других опасностей;

9) Перчатки – защитные перчатки, используемые для защиты рук работников от механических, химических и термических повреждений;

10) Ботинки – защитная обувь, предназначенная для защиты ног работников от производственных рисков, таких как падение тяжёлых предметов и острые поверхности;

11) Каска-негатив – негативный класс, обозначающий случай, когда работник не носит каску, что противоречит требованиям безопасности;

12) Жакет-негатив – негативный класс, фиксирующий ситуации, когда работник не носит защитный жакет, что может представлять риск;

13) Штаны-негатив – негативный класс, указывающий на ситуации, когда работник не носит защитные штаны, что может угрожать безопасности;

14) Очки-негатив – негативный класс, обозначающий отсутствие защитных очков;

15) Перчатки-негатив – негативный класс, обозначающий случаи, когда работник не использует защитные перчатки в ситуациях, требующих их ношения;

16) Ботинки-негатив – негативный класс, указывающий на отсутствие защитной обуви у работников в ситуациях, где её ношение требуется по стандартам безопасности.

Этот набор классов и их количественное распределение охватывают различные аспекты производственной деятельности и соблюдения требований безопасности, что способствует разработке более точных алгоритмов анализа и контроля на производственных площадках. Датасет включает данные, собранные в различных временных промежутках и при разных метеорологических условиях, что значительно повышает его информационную ценность. Количество объектов в датасете составляет 89902 ед., сделанных в дневное время, и 80988 ед., зафиксированных в ночных условиях. На рис. 3 представлено визуальное распределение объектов по классам.

Небольшое количество объектов негативных классов объясняется тем, что видеоматериалы были собраны в условиях, где соблюдаются строгие стандарты безопасности.

 

Таблица 1. Распределение классов в датасете

Table 1. Class distribution in the dataset

Наименование классов Name of classes	Количество объектов Number of objects
Технологические трубы / Casing_pipe	41 370
Гидроключ / Wrench	11 466
Элеватор / Elevator	2 553
Человек / Person	20 299
Каска / PPE_helmet	15 329
Жакет / PPE_jacket	17 858
Штаны / PPE_bib&brace	15 798
Очки / PPE_glasses	261
Перчатки / PPE_gloves	20 701
Ботинки / PPE_boots	24 211
Отсутствие каски / Helmet_negative	59
Отсутствие жакета / Jacket_negative	545
Отсутствие штанов / Bib&brace_negative	115
Отсутствие очков / Glasses_negative	185
Отсутствие перчаток / Gloves_negative	34
Отсутствие ботинок / Boots_negative	106
Итого / TOTAL	170 890

 

Рисунок 3. Визуальное распределение классов в датасете

Figure 3. Visual distribution of dataset classes

 

Устье месторождения обычно имеет ограниченное число работников и минимальный набор оборудования, необходимого для выполнения операций. В таких условиях вероятность появления нарушений, таких как отсутствие каски или куртки, минимальна, поскольку работники обязаны строго соблюдать требования по ношению СИЗ.

Анализ статистических данных позволяет выявить разнообразие операций и оборудования, присутствующих на устье месторождения, и подчёркивает важность соблюдения стандартов безопасности и использования соответствующих защитных средств работниками в различных рабочих процессах.

Предложенный датасет предоставляет возможность разрабатывать алгоритмы для анализа соблюдения работниками требований по ношению СИЗ, а также для определения текущих рабочих процессов на основе распознавания таких инструментов, как трубы, гидравлический ключ и элеватор. Кроме того, он может быть использован для выявления потенциально опасных ситуаций на производственных площадках и отслеживания числа опущенных или поднятых труб.

Модель сегментации объектов

Сегментация объектов – это метод компьютерного зрения, объединяющий преимущества обнаружения объектов и семантической сегментации [8]. В отличие от других алгоритмов, таких как детекция объектов или классификация изображений, сегментация объектов (экземпляров) направлена на идентификацию каждого отдельного экземпляра на изображении, присваивая каждому пикселю уникальную метку, соответствующую конкретному объекту. Bai M. и др. [9] применили полносвязные свёрточные сети (FCN, англ. Fully Connected Networks) для моделирования энергии преобразования водораздела, что позволило разделить изображение на несколько областей с использованием энергетической сегментации. Gao N. и др. [10] предложили метод сегментации объектов без использования региональных предложений. Вместо этого их подход основан на вычислении аффинности между пикселями, определяя вероятность того, что два пикселя принадлежат одному объекту. Это позволяет сегментировать объекты на изображении за один проход без предварительного выделения областей.

В работе Dai J. и др. [11] показана модель сегментации экземпляров, основанная на каскадной структуре общих свёрточных признаков. Эта модель разбивает процесс сегментации на три подзадачи, что позволяет улучшить точность сегментации. He K. и др. [12] представили Mask R-CNN (англ Region-Based Convolutional Neural Network – регионально ориентированная свёрточная нейронная сеть), которая осуществляет сегментацию экземпляров путём добавления параллельного выхода маски через расширение для Faster R-CNN. В данной работе используется модель YOLOv8 [7], являющаяся усовершенствованной версией оригинального алгоритма YOLO (англ. You only look once – «Стоит только раз взглянуть») [8].

Одной из причин выбора YOLOv8 является её способность выполнять детектирование объектов в режиме реального времени. Архитектура YOLO изначально была разработана для оптимального баланса между скоростью и точностью, что делает её идеальной для приложений с минимальными задержками, таких как видеонаблюдение, автономные транспортные системы и промышленные решения. В сравнении с методами, такими как Faster R-CNN, YOLOv8 обеспечивает существенно более высокую скорость без значительных потерь в точности.

YOLOv8 включает архитектурные улучшения, такие как адаптивное усиление признаков (adaptive feature fusion) и оптимизированная передача информации (improved feature propagation). Эти нововведения повышают точность обнаружения объектов по сравнению с предыдущими версиями и конкурентными моделями, обеспечивая лучшую производительность в сложных условиях, например, при наличии шумных фонов или малых объектов.

Также YOLOv8 отличается компактностью и может быть эффективно развернута на устройствах с ограниченными вычислительными ресурсами, что особенно важно для промышленных или полевых систем. Более того, YOLOv8 поддерживает не только детектирование, но и сегментацию и классификацию объектов, что делает её универсальной и удобной для многоцелевых задач.

Таким образом, YOLOv8 была выбрана как основная модель для выполнения задач детектирования в данном исследовании благодаря её высокой производительности в реальном времени, точности, гибкости настройки и активной поддержке разработчиков, что делает её оптимальным решением для широкого спектра задач в компьютерном зрении.

Результаты и обсуждение

Для обучения искусственной нейронной сети исходный датасет был разделён на несколько подмножеств, чтобы обеспечить максимально эффективное использование его потенциала. Первоначальный набор данных включал 12928 изображений, из которых 10342 были выделены для обучения, а оставшиеся 2 586 – для тестирования и валидации.

Процесс обучения модели включал 300 эпох – полных проходов по обучающему датасету, что обеспечило достаточное количество итераций для адаптации модели к разнообразным условиям среды. Анализ матрицы ошибок, отражающей доли истинных и ложных предсказаний, показал, что модель успешно справляется с задачей классификации. Средняя точность модели составила 86% (рис. 4), что свидетельствует о высокой способности к корректному распознаванию объектов на изображениях.

 

Рисунок 4. Матрица ошибок

Figure 4. Normalized сonfusion matrix

 

Для более обобщённой оценки точности и полноты использовалась метрика F-мера, или F1-оценка. На рис. 5 показана зависимость F1 от уровня уверенности модели по ограничивающим прямоугольникам: значение F1 достигает 84% при уровне уверенности 0,271. Аналогично, на рис. 6 представлена зависимость F1 от уровня уверенности модели для сегментации объектов, где F1-оценка составляет 77% при уровне уверенности 0,268. Эти результаты демонстрируют высокую адаптивность и точность модели в различных условиях и типах предсказаний.

 

Рисунок 5. Кривая F1 – Уверенность по ограничивающим прямоугольникам

Figure 5. F1 – Confidence curve for bounding boxes

 

Рисунок 6. Кривая F1 – Уверенность по сегментации экземпляров

Figure 6. F1 – Confidence curve for instance segmentation

 

Заключение

Созданный датасет для автоматической сегментации СИЗ и инструментов на производственных площадках является ключевым шагом в разработке и тестировании алгоритмов компьютерного зрения. Датасет охватывает 16 классов объектов, что позволяет проводить анализ различных производственных сценариев и условий.

Проведённое обучение модели на основе YOLOv8 показало высокие результаты. Средняя точность предсказаний составила 86%, что подтверждает способность модели эффективно распознавать объекты и классы на изображениях. Модель продемонстрировала способность к анализу и прогнозированию наличия СИЗ и инструментов на производственных площадках. Это важно для разработки систем автоматического мониторинга и контроля безопасности на рабочих местах.

Полученные результаты показывают, что разработанный датасет и обученная модель могут быть основой для создания новых методов и технологий в области компьютерного зрения, направленных на улучшение производственной безопасности.

Дополнительно

Источник финансирования. Авторы заявляют об отсутствии внешнего финансирования при проведении исследования.

Конфликт интересов. Авторы декларируют отсутствие явных и потенциальных конфликтов интересов, связанных с публикацией настоящей статьи.

Вклад авторов. Все авторы подтверждают соответствие своего авторства международным критериям ICMJE (все авторы внесли существенный вклад в разработку концепции, проведение исследования и подготовку статьи, прочли и одобрили финальную версию перед публикацией). Наибольший вклад распределён следующим образом: Алимова А.Н. – разметка датасета и написание статьи; Әбдіманап Ғ.C. – сбор, разметка датасета и обучение модели; Бостанбеков К.А. – обучение модели; Курметбек Б., Болтайханова Т.Т. – разметка датасета; Нурсеитов Д.Б. – концепция исследования, разметка датасета и общая редакция статьи.

Additional information

Funding source. This study was not supported by any external sources of funding.

Competing interests. The authors declare that they have no competing interests.

Authors’ contribution. All authors made a substantial contribution to the conception of the work, acquisition, analysis, interpretation of data for the work, drafting and revising the work, final approval of the version to be published and agree to be accountable for all aspects of the work. The greatest contribution is distributed as follows: Anel N. Alimova – dataset annotation and article writing; Galymzhan S. Abdimanap – data collection, dataset annotation, andmodel training; Kairat A. Bostanbekov – model training; Bekbolat Kurmetbek, Tomiris T. Boltaykhanova – dataset annotation; Daniyar B. Nurseitov – research concept, dataset annotation, and overall article editing.

About the authors

A. N. Alimova

KMG Engineering

Author for correspondence.
Email: a.alimova@kmge.kz
ORCID iD: 0000-0002-5155-2417

PhD

Kazakhstan, Astana

G. S. Abdimanap

KMG Engineering; Satbayev University

Email: g.abdimanap@kmge.kz
ORCID iD: 0000-0003-1676-4075
Kazakhstan, Astana; Almaty

K. A. Bostanbekov

KMG Engineering

Email: k.bostanbekov@kmge.kz
ORCID iD: 0000-0003-2869-772X

PhD

Kazakhstan, Astana

B. Kurmetbek

KMG Engineering

Email: b.kurmetbek@kmge.kz
ORCID iD: 0009-0001-7510-2445
Kazakhstan, Astana

T. T. Boltaykhanova

KMG Engineering

Email: tomiris.boltaikhanova@gmail.com
ORCID iD: 0009-0009-9965-7419
Kazakhstan, Astana

D. B. Nurseitov

KMG Engineering; Satbayev University

Email: d.nurseitov@kmge.kz
ORCID iD: 0000-0003-1073-4254

Cand. Sc. (Physics and Mathematics), associate Professor

Kazakhstan, Astana; Almaty

References

Supplementary files