Алгоритм определения городских транспортных целей с применением метода мультимодального слияния на БПЛА

Аннотация

Ван Цзяньюань, Чэнь Сяотун, Чжан Юэ, Ши Донхао, Чэнь Цзинбао

Дата поступления статьи: 27.07.2024

Использование небольших беспилотных летательных аппаратов (БПЛА) для таких городских целей, как автомобили, на малых высотах, со временем стало основным методом распознавания. Для решения таких назревших проблем, как невозможность работы монитора видимого диапазона в ночное время под влиянием освещения, низкая точность однорежимных сетей из-за нечёткости рамки целевых объектов в инфракрасном излучении при эксплуатации дрона, в данной статье предлагается мультимодальный алгоритм определения городских целей на основе объединения изображений и сети глубокого обучения на дроне. Во-первых, был создан набор данных многомодального слияния на основе набора регистрационных данных из видимого - инфракрасного диапазона DUT-VTUAV и алгоритма слияния изображений TIF; во-вторых, была выбрана наиболее подходящая облегченная сеть YOLO v5n путём сравнения точности обнаружения, скорости и количества параметров существующих сетей серии YOLO для БПЛА; наконец, был создан алгоритм определения целей посредством объединения алгоритма слияния изображений и модели определения объектов. Сравнительные эксперименты, проведённые на основе наборов данных об автомобилях, показывают, что алгоритм, предложенный в этой статье, значительно повышает точность работы по сравнению с одномодальным методом, достигая mAP 99,6%, позволяя завершить слияние изображений, полученных, исходя из диапазона визуального наблюдения и инфракрасного излучения, а также улучшает процесс определения за 0,3 секунды, демонстрируя высокую производительность в режиме реального времени.

Ключевые слова: определение объектов, YOL, мультимодальное слияние, слияние данных, алгоритм TIF

1.2.2 - Математическое моделирование, численные методы и комплексы программ

.