Технологія Сагара Лехака передбачає використання мультисенсорних зображень та штучного інтелекту на основі дронів для підвищення швидкості, точності та надійності виявлення наземних мін та нерозірваних боєприпасів

Щонайменше 57 країн світу мають на своїх територіях бойові протипіхотні міни. Тільки у 2024 році 1945 людей загинули від мін, а 4325 осіб отримали поранення, 90% з яких були цивільними особами. Майже половина з них були дітьми. У тому ж році під час розмінування було знешкоджено 105 640 мін. З новими конфліктами, зокрема російсько-українською війною, кількість мін продовжує зростати. Про це йдеться у дослідженні Сагара Лехака, докторанта кафедри візуалізації Рочестерського технологічного інституту (США) на сторінках The Conversation, переказ якого пропонує Foreign Ukraine.

​​Мої дослідження зосереджені на використанні мультисенсорних зображень та штучного інтелекту на основі дронів для підвищення швидкості, точності та надійності виявлення наземних мін та нерозірваних боєприпасів. Йдеться про досягнення таких результатів: розробка методів об’єднання даних з різних типів датчиків, створення еталонних наборів даних для розробки та оцінки систем виявлення мін, а також підвищення надійності методів виявлення мін за допомогою штучного інтелекту шляхом включення оцінок невизначеності.

Кілька датчиків зверху

Виявлення мін досі значною мірою залежить від наземних методів, кожен з яких має серйозні обмеження. Ручні металошукачі часто мають труднощі із надійним виявленням мін із низьким вмістом металів або переважно пластикових мін. Георадар може виявляти неметалеві об’єкти, але погано працює на вологій або нерівній місцевості, або на землі, вкритій рослинністю, і часто генерує високий рівень хибних спрацьовувань.

Ручне зондування та навчені тварини для виявлення мін залишаються ефективними методами виявлення мін, але цей процес повільний, ресурсоємний і наражає саперів на значний ризик. За масштабів розгортання мін, які спостерігаються в Україні та інших конфліктних та постконфліктних регіонах, одних лише наземних досліджень не вистачає.

Операції з розмінування дедалі частіше використовують аерофотознімки з дронів для пришвидшення розвідки мін, особливо для мін, встановлених на поверхні землі. Однак камуфляж, рослинність та зміна умов освітлення часто роблять ці міни майже невидимими на звичайних зображеннях.

У попередніх дослідженнях, проведених мною та моїми колегами, розглядалося, чи може аерозондування реально замінити або підтримати традиційні наземні обстеження. Ми оцінили доцільність заміни ручних металошукачів на повітряну систему металошукання для виявлення мін та нерозірваних боєприпасів.

Результати показали, що магнітне зондування, встановлене на дроні, може виявляти металеві цілі із точністю, порівнянною із наземними методами, на контрольованому тестовому полігоні, одночасно зменшуючи ризик для людини та збільшуючи швидкість обстеження приблизно у 10 разів.

Наша теплова карта, створена повітряним електромагнітним індукційним металошукачем над тестовим полігоном, виділяє ймовірні місця розташування закопаних мін та нерозірваних боєприпасів, ілюструючи, як зондування на основі дронів може безпечно та ефективно обстежувати ділянки, де розміщені міни.

Аерозондування виграє від додаткових датчиків. RGB-камери, які виявляють кольорові зображення видимого світла, фіксують візуальні особливості мін. Теплові датчики виявляють різницю температур між мінами та землею навколо них. Мультиспектральні та гіперспектральні датчики ідентифікують сигнатури різних матеріалів.

Радар із синтезованою апертурою виявляє зміни на поверхні землі. LiDAR відображає тонкі поверхневі збурення. А магнітометри виявляють підземні металеві компоненти. Разом ці датчики можуть враховувати різноманітні типи мін та умови розгортання, які зустрічаються в реальних умовах.

Незважаючи на свій потенціал, мультисенсорні системи виявлення мін на базі дронів залишаються недостатньо вивченими. Прогрес обмежується відсутністю загальнодоступних наборів даних для порівняння із даними, отриманими з різних типів датчиків, з використанням реалістичного розгортання мін і точної інформації про наземні умови, тобто фактичного положення та глибини цільових мін. Без таких наборів даних, дослідники не можуть точно порівнювати алгоритми, перевіряти результати тестів або розробляти моделі штучного інтелекту, які добре працюють поза тестовими середовищами.

Створення наборів даних для виявлення мін

Щоб вирішити цю проблему, наша команда разом з кількома іншими дослідниками співпрацювала із некомерційною організацією Demining Research Community для збору комплексного набору даних. Ми використовували контрольоване випробувальне поле Demining Research Community у штаті Оклахома, яке включало понад 140 цілей з інертних мін та нерозірваних боєприпасів.

Ми зібрали великий, геоприв’язаний, мультисенсорний набір даних, використовуючи як наземні, так і дронні платформи на різних висотах. Ми використовували гіперспектральні, мультиспектральні, теплові, RGB, LiDAR, радіолокаційні станції зі синтезованою апертурою, георадар, електромагнітні індукційні металошукачі та магнітометри. Ми опублікували частину цієї колекції, зокрема набір гіперспектральних даних видимого та ближнього інфрачервоного діапазонів, отриманий на висоті 20 метрів.

Ми розширили ці зусилля на міжнародний рівень завдяки співпраці із Королівською військовою академією Бельгії під час масштабної кампанії зі збору даних. Разом ми розгорнули понад 110 копій мін PFM-1 на різноманітній місцевості та з різними рослинними умовами. Щоб імітувати реалістичні мінні поля, ми розкидали інертні міни, аби наблизити їх до розсіювання у повітрі.

Ми точно обстежили та геолокували кожну міну за допомогою базових станцій GPS. Потім ми зібрали дані на різних висотах за допомогою дронів, оснащених гіперспектральними, мультиспектральними, тепловими, RGB, LiDAR та поляризаційними датчиками, які зменшують відблиски.

Інші дослідницькі групи, учасники та галузеві партнери, включаючи виробників датчиків, зібрали додаткові набори даних на тому ж тестовому полі. Ці набори даних зараз обробляються та будуть опубліковані у відкритому доступі найближчим часом.

Наскільки нам відомо, це будуть перші загальнодоступні набори даних такого роду, що відкривають нові можливості не лише для досліджень у галузі виявлення наземних мін, але й для спільноти штучного інтелекту та дистанційного зондування.

Роблячи ці набори даних доступними для громадськості, ми прагнемо пришвидшити дослідження з об’єднання мультисенсорних даних, підвищити надійність систем виявлення мін на основі штучного інтелекту та допомогти подолати розрив між академічними дослідженнями та потребами галузевих розробників і гуманітарних організацій.

Вимірювання надійності

Але навіть якщо ви ретельно калібруєте свої датчики за допомогою нашого набору даних, вам все одно потрібно визнавати обмеження цієї технології. У таких застосуваннях, як виявлення мін, одна помилка може бути фатальною. Основна частина моїх досліджень зосереджена на надійності та оцінці невизначеності штучного інтелекту. У нещодавньому дослідженні ми розробили міру невизначеності моделі штучного інтелекту щодо її прогнозів.

Замість того, аби змушувати моделі завжди видавати впевнені прогнози, ми розробляємо методи, які дозволяють системам сказати: «Я не впевнений». Наша мета — надати метрику невизначеності поряд із прогнозами: чим шумніші або неоднозначніші вхідні дані, тим вищий показник невизначеності. Ця інформація може допомогти операторам розмінування ухвалювати безпечніші та обґрунтованіші рішення, особливо у складних або невизначених умовах.

З випуском цих наборів даних ми вважаємо, що для дослідників у галузі штучного інтелекту та дистанційного зондування з’являться нові можливості для дослідження об’єднання мультисенсорних даних. Набори даних включають широкий спектр цілей за розміром, формою та орієнтацією, причому всі дані повністю геоприв’язані та мають точну наземну репутацію.

Оскільки кожну ціль спостерігали кілька датчиків на різних висотах, дослідники зможуть проводити аналіз окремих датчиків порівняно із комбінованими підходами до зондування. Це сприятиме розробці надійніших, безпечніших та швидших алгоритмів виявлення мін, адаптованих до реальних потреб.

По суті, це дослідження стосується не алгоритмів чи дронів, а людей. Йдеться про фермерів, які повертають свої землі, дітей, які безпечно ходять до школи, та громад, які відбудовуються без страху. Поєднуючи штучний інтелект, дрони та відкриту науку, ми прагнемо перетворити виявлення наземних мін з повільної та небезпечної практики на безпечніший, розумніший та масштабованіший процес, який допоможе перетворити постконфліктні ландшафти на місця, де життя може знову процвітати.