Версия для слабовидящих

                                

Номер Соглашения о предоставлении субсидии: 14.578.21.0264

Тема: «Разработка и исследование робототехнического комплекса для выполнения подводно-технических работ в условиях ограниченной видимости с использованием комплексной системы 3D зрения высокого разрешения»

Приоритетное направление: Информационно-телекоммуникационные системы (ИТ)

Критическая технология: Технологии информационных, управляющих, навигационных систем

Период выполнения: 31.05.2018 – 31.12.2020

Индустриальный партнер: Акционерное общество «Научно-производственное объединение «Андроидная техника»

Цель проекта: создание робототехнического комплекса (РТК) для выполнения работ под водой в условиях ограниченной видимости на основе комплексной системы 3D зрения высокого разрешения. В ходе проекта будет разработана технология управления подводным РТК на базе технического 3D зрения, которая позволит:

– повысить точность выполняемых подводным РТК действий;

– создавать конкурентоспособные на мировом рынке отечественные образцы подводной робототехники, необходимые для эффективной эксплуатации морской инфраструктуры, исследований морского дна в целях геологоразведки или поиска артефактов и др.

Этап № 1: 31.05.2018 – 31.12.2018

В ходе выполнения проекта по Соглашению о предоставлении субсидии № 14.578.21.0264 с Минобрнауки России в рамках федеральной целевой программы «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014 – 2020 годы» на этапе № 1 в период с 31.05.2018 по 31.12.2018 выполнялись следующие работы:

- аналитический обзор современной научно-технической, нормативной, методической литературы, проведение сравнительного анализа эффективности систем и алгоритмов построения 3D реконструкций объектов подводной обстановки на базе оптических (или других типов) камер и средств;

- проведение анализа существующих методов и алгоритмов комплексирования технического зрения;

- определение технических требований к комплексной системе 3D зрения высокого разрешения;

- разработка структурной схемы комплексной системы 3D зрения высокого разрешения;

- разработка структурной схемы исполнительной части ЭО РТК;

- определение технических требований к универсальному захвату с тремя исполнительными группами звеньев для работы с объектами массой до 5 кг;

- определение технических требований к манипуляторам с рабочим органом, обеспечивающим выполнение силовых и точных действий с внешними объектами;

- аналитический обзор требований, предъявляемых к оптическим камерам и другим средствам, обеспечивающим получение, обработку и передачу информации оператору;

- разработка схемы деления ЭО РТК;

- патентные исследования;

- анализ влияния податливости приводов и положения точки позиционирования на точность положения захвата;

- анализ тенденций развития и перспектив применения манипуляторов для осуществления действий с предметами в подводном пространстве, а также аналитический обзор научно-технической и методической литературы по способам управления манипуляторами;

- разработка кинематической схемы манипулятора с универсальным захватом для работы с объектами массой до 5 кг;

- разработка кинематической схемы манипулятора с рабочим органом, обеспечивающим выполнение силовых действий на внешние объекты с усилием до 200 Н.

При этом были получены следующие результаты:

  1. Выполнен обзор научно-технической и методической литературы по системам технического зрения (СТЗ), проведен анализ методов и алгоритмов 3D реконструкции подводных сцен и объектов. Также выполнен обзор существующих разработок РТК для выполнения подводно-технических работ, построенные с применением электрической, гидравлической и комбинированной (гибридной) энергетическими установками.
  2. Разработана архитектура СТЗ 3D высокого разрешения для осуществления действий РТК с предметами в подводном пространстве. Отличительными особенностями СТЗ являются:

– возможность нескольких вариантов построения 3D реконструкции подводных сцен и объектов в зависимости от характера решаемых задач (по перекрывающимся изображениям, поступающим с двух камер (стереопары), установленных на корпусе РТК; с помощью камер, расположенных на манипуляторах; с использованием стереопары и камер, установленных на манипуляторах, в режиме совмещения их изображений);

– возможность комплексирования датчиков различной физической природы (оптических камер с 3D звуковизором и/или инерциальной навигационной системы (ИНС), 3D звуковизора с ИНС), позволяющая повысить точность, робастность СТЗ;

– калибровка внутренних и внешних параметров камер в реальных подводных условиях.

  1. Разработаны кинематические схемы манипулятора с универсальным захватом и манипулятора с рабочим органом, обеспечивающим выполнение силовых действий на внешние объекты. Проведен кинематический анализ на предмет достижения ими всех крайних точек рабочего пространства РТК. Выполнен сравнительный анализ схем построения манипуляторных модулей по числу степеней подвижности; по усредненному показателю рабочего угла шарнира; по метрическим и объемным показателям.
  2. Разработаны два варианта универсальных захватных модулей (антропоморфного захватного модуля с зависимыми движениями звеньев исполнительных групп; универсального захватного модуля с независимыми движениями звеньев исполнительных групп).

Результаты проекта будут способствовать развитию отечественной подводной робототехники. Можно выделить следующие наиболее значимые сферы применения подводных РТК, построенных на базе результатов проекта:

– исследование океана, морской флоры и фауны;

– выполнение тонких манипуляции с биологическими и хрупкими объектами под водой;

– исследование морского дна в целях геологоразведки или поиска артефактов;

– обследование объектов подводной инфраструктуры.

Внедрение результатов проекта позволит:

– снизить риск для водолазов при выполнении опасных подводно-технических работ;

– повысить производительность труда при выполнении работ под водой за счет исключения непосредственного участия человека;

– получить базовую технологию для создания отечественных подводных робототехнических систем нового поколения, имеющих широкую функциональность и высокую автономность при выполнении работ под водой за счет внедрения комплексной системы оценки окружающей обстановки и интеллектуальной системы управления.

Этап № 2: 01.01.2019 – 31.12.2019

В ходе выполнения проекта по Соглашению о предоставлении субсидии № 14.578.21.0264 с Минобрнауки России в рамках федеральной целевой программы «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014 – 2020 годы» на этапе № 2 в период с 01.01.2019 по 31.12.2019 получены следующие результаты.

  1. Основные результаты проекта

В ходе второго этапа реализации проекта были решены следующие задачи:

  1. Разработаны алгоритмы для реализации следующих функций системы технического зрения (СТЗ):

– комплексирование информации, поступающей от стереопары и камеры одного из манипуляторов РТК;

– реконструкции 3D рабочего пространства РТК;

– построение 3D изображений объектов, находящихся в рабочем пространстве РТК;

– распознавание объектов подводной инфраструктуры созданной человеком.

  1. Разработаны методики:

– построения базы знаний по контролю движения РТК;

– обучения системы управления РТК по действиям оператора.

  1. Разработаны математические модели системы управления ЭО РТК. Выполнена программная реализация математических моделей в форме компьютерных имитационных моделей, проведено компьютерное моделирование.
  2. Разработаны составные элементы исполнительной системы:

– манипуляторы со специальным рабочим органом и с универсальным захватом;

– специальный рабочий органа для выполнения силовых действий на объекты с усилием до 200 Н;

– универсальный захват для работы с объектами массой до 5 кг;

–базовый модуль экспериментального образца (ЭО) РТК в бионическом дизайне.

  1. Эскизная конструкторская документация на:

– систему 3D зрения для ЭО РТК

– лабораторный стенд для проведения испытаний ЭО РТК

– задающее устройство копирующего типа;

– на исполнительную часть ЭО РТК.

Характеристики алгоритмов:

1) алгоритмы реконструкции 3D рабочего пространства ЭО РТК по информации, поступающей со стереокамеры:

- алгоритм позволяет визуально обнаруживать объекты и определять их координаты.

2) алгоритмы построения 3D изображений объектов, находящихся в рабочем пространстве РТК:

- алгоритм позволяет выполнять слежение за подводными объектами произвольной формы, движение объектов может быть управляемым и неуправляемым, сопровождаться столкновением с предметами, находящимися в рабочем пространстве РТК, пропадать из поля зрения камер и затем снова появляться.

3) алгоритм распознавания объектов инфраструктуры созданной человеком:

- позволяет выделять линии близкие к прямым в подводной среде, для локализации объектов и отделения объектов искусственного происхождения от возможных контрастных областей на изображении.

Состав РТК:

1) Задающее устройство копирующего типа;

2) Исполнительная система;

2.1) Манипуляторы;

2.2) Специальный рабочий орган;

2.3) Универсальный захват;

3) Система 3D зрения;

3.1) Модуль дальнего обзора;

3.2) Модуль ближнего обзора;

3.3) Модули основного и дополнительного освещения.

  1. Охраноспособные результаты интеллектуальной деятельности (РИД), полученные в рамках прикладного научного исследования и экспериментальной разработки
  2. Программа для ЭВМ «Программа организации интерфейса между задающим устройством копирующего типа и манипуляторным робототехническим комплексом», свидетельство о государственной регистрации программы для ЭВМ № 2019661635 от 04.09.2019
  3. Программа для ЭВМ «Программа расчета назначенной траектории движения узловых элементов манипулятора робототехнического комплекса», свидетельство о государственной регистрации программы для ЭВМ № 2019662095 от 17.09.2019
  4. Программа для ЭВМ «Программа слежения за объектами в рабочем пространстве антропоморфного робота», свидетельство о государственной регистрации программы для ЭВМ № 2019663003 от 08.10.2019
  5. Программа для ЭВМ «Программа организации интерфейса между задающим устройством копирующего типа и манипуляторным робототехническим комплексом», свидетельство о государственной регистрации программы для ЭВМ № 2019663217 от 11.10.2019
  6. Программа для ЭВМ «Программа организации интерфейса между задающим устройством копирующего типа и манипуляторным робототехническим комплексом», свидетельство о государственной регистрации программы для ЭВМ № 2019663218 от 11.10.2019
  1. Назначение и область применения результатов проекта

Результаты проекта будут способствовать развитию отечественной подводной робототехники. Можно выделить следующие наиболее значимые сферы применения подводных РТК, построенных на базе результатов проекта:

– исследование океана, морской флоры и фауны;

– выполнение тонких манипуляции с биологическими и хрупкими объектами под водой;

– исследование морского дна в целях геологоразведки или поиска артефактов;

– обследование объектов подводной инфраструктуры.

В результате проекта в 2019 году получены РИД, которые могут быть применены в создании двух видов продукции: подводный РТК и задающее устройство копирующего типа (далее ЗУКТ).

  1. Эффекты от внедрения результатов проекта

Внедрение результатов проекта позволит:

– снизить риск для водолазов при выполнении опасных подводно-технических работ;

– повысить производительность труда при выполнении работ под водой за счет исключения непосредственного участия человека;

– получить базовую технологию для создания отечественных подводных робототехнических систем нового поколения, имеющих широкую функциональность и высокую автономность при выполнении работ под водой за счет внедрения комплексной системы оценки окружающей обстановки и интеллектуальной системы управления.

Внедрение в производство и эксплуатацию разработанных на данном этапе ЗУКТ и программных алгоритмов системы управления РТК позволит повысить уровень автоматизации управления РТК. Одним из эффективных подходов является подход, основанный на идеологии обучения робота выполнению различных операций по результатам действия оператора (подход «Programming by Demonstration», PbD). Подход PbD обеспечивает естественный способ программирования роботов, показывая выполнение желаемой задачу. PbD - это приложение имитационного обучения, означающее, что робот должен имитировать демонстрируемое движение, сначала интерпретируя демонстрацию, а затем воспроизводя ее согласно своему собственному сценарию действий.

Подход PbD исключает недостатки построения управления по математическим моделям, что делает его интересным для реализации при построении управления для многозвенного манипулятора, особенно учитывая требования к функционированию манипулятора в условиях неопределенности.

Реализация различных методов обучения РТК определяется данными, получаемыми от «оператора-учителя». Возможны два подхода к обучению движения манипулятора оператором. Обучение при помощи джойстика позволяет контролировать положение конечной точки манипулятора по отношению к объекту выполняемой операции. При этом отсутствует контроль поведения всех звеньев манипулятора в целом. Обучение движению манипулятора, при помощи ЗУКТ соответствующего манипулятору, позволяет детализировать движение всех звеньев манипулятора по движению руки «оператора-учителя», выполняемому по технологической карте рассматриваемой операции, в результате чего многозвенному (антропоморфному) манипулятору будет передана вся динамика естественного движения руки оператора в шести степенях свободы.

По анализу литературы, PbD подход, в настоящее время в основном применяется для манипуляционных сервисных роботов. По применению PbD подхода для подводных манипуляторов информации в специализированной литературе нет.

Предлагаемый подход, реализованный в РИД станет базисом для построения интеллектуальных систем управления для манипуляторных робототехнических комплексов, работающих в сложных средах, в т.ч. под водой.

  1. Формы и объемы коммерциализации результатов проекта

Предполагаемое к созданию в результате проекта ЗУКТ позволит управлять дистанционно подводными РТК, оснащенными манипуляторами. Таким образом, основным потенциальным рынком продукции, созданной с использованием результата проекта, является рынок подводной робототехники. По исследованиям аналитиков из Research and Markets мировой рынок дистанционно управляемых роботов оценивался в $1,2 млрд. в 2014 году и, как ожидается покажет среднегодовой темп роста в 20,11% к 2019 году.

На сегодняшний день данный рынок в России достаточно мал. Это связано с подводными работами на относительно небольших рабочих глубинах (в основном до 60 метров) и невысокой стоимостью труда коммерческих водолазов. Для большинства работ можно привлечь имеющиеся водолазные службы. До недавнего времени позиция российских компаний состояла в том, что такие подводные аппараты для больших глубин или специальных задач было проще купить за рубежом, чем разрабатывать дорогостоящих роботов самим. Однако после ввода санкций в 2014 году все автономные аппараты с глубинами более 100 метров стали запрещены к поставке в РФ, а значит будет расти спрос на разработки отечественных робототехнических комплексов.

Коммерциализации результатов проекта предполагается путем продажи завершенного изделия (РТК с системой 3D зрения и интеллектуального управления) и/или его отдельных компонентов и технологий (в том числе в виде лицензий), на которые будут получены соответствующие охранные документы. Среди потенциальных потребителей данной продукции можно выделить производителей подводных аппаратов (например, предприятия Объединенной судостроительной корпорации), предприятия военно-промышленного комплекса, научно-исследовательские центры, занимающиеся исследованиями Мирового океана.

Исключительное право на использование РИД, полученных в результате проекта в 2019 году, передано индустриальному партнеру АО "НПО "Андроидная техника" по соответствующим лицензионным договорам. Проведен анализ рынка продукции, планируемой к созданию с использованием РИД, составлен план маркетинга продукции, планируемой к созданию с использованием РИД.

Этап № 3: за 2020 год

  1. Основные результаты проекта

Основные технические результаты

В ходе реализации проекта были созданы экспериментальный образец (ЭО) робототехнического комплекса (РТК), управляемый с помощью задающего устройства копирующего типа (ЗУКТ), и ЭО комплексной системы технического 3D зрения (3D СТЗ).

Основные характеристики одного ЭО РТК с ЗУКТ:

  1. Максимальное рассогласование движений манипулятора при управлении с задающего устройства копирующего типа не превышает 0.08 рад;
  2. Манипулятор для перемещения специального рабочего органа обеспечивает:

– грузоподъемность 15 кг:

– ротацию захвата на угол ± 45°;

– линейную скорость захвата не более 30 мм/с;

– обратную связь с оператором.

  1. Специальный рабочий орган:

– имеет грузоподъемность 15 кг;

– имеет рабочие элементы, обеспечивающие усилие не более 200 Н;

– имеет раскрытие и захват (зажим) объектов с размерами сечения не менее 20x20 мм;

– имеет рабочую поверхность для взаимодействия с внешними объектами площадью не менее 150x100 мм;

– обеспечивает восприятие силовой нагрузки со стороны внешних объектов, в направлении перпендикулярном продольной оси специального захвата, не менее 200 Н.

  1. Манипулятор для перемещения универсального захвата обеспечивает:

– грузоподъемность 5 кг;

– пространственную ориентацию захвата. Его поворот вокруг двух осей, относительно предшествующего звена манипулятора = 20°, ротацию = 40°;

– обратную связь с оператором;

– линейную скорость захвата не более 30 мм/с.

  1. Универсальный захват:

– имеет грузоподъемность 5 кг;

– выполняет зажим объекта с максимальным линейным размером не более 120 мм (при втором линейном размере в поперечном сечении не более 50 мм);

– имеет три исполнительных группы звеньев;

– развивает усилие на каждой исполнительной группе звеньев не менее 50 Н;

– обеспечивает многоконтактый способ взаимодействия звеньев исполнительных групп с объектами;

– обеспечивает устойчивость объекта массой 5 кг в захвате, при перемещении с линейной скоростью не более 0.01 м/с в любом направлении;

– обеспечивает регистрацию углов относительного поворота звеньев с точностью не более 0.8°.

  1. Основные характеристики ЗУКТ:

– масса ЗУКТ – 6 кг;

– количество степеней подвижности – 33 шт.;

– количество электродвигателей – 6 шт.;

– количество датчиков – 33 шт.;

– обратная связь – в наличии.

  1. В систему управления заложены функции контроля опасных движений МРТК (контроль самостолкновений и столкновений с объектами внешней среды);
  2. В систему управления ЭО РТК также заложена функций управления по целеуказаниям от 3D СТЗ (оператор выбирает цель, 3D СТЗ выдает в качестве целеуказания координаты геометрического центра цели).

Основные характеристики ЭО 3D СТЗ:

  1. Подводный модуль стереозрения с цифровыми камерами высокого разрешения (fullHD):

– рабочая глубина - до 10 м;

– габариты – длина 330 мм, диаметр 238 мм;

– скорость передачи данных - до 1000 Мбит/с;

– интерфейс передачи данных – EtherNet;

– напряжение электропитания - +24 В ±20%;

– материал корпуса – алюминиевый сплав марки АМг6, покрытый анодным оксидированием, с последующим нанесением защитной краски;

– возможность крепления модуля основного и дополнительного освещения –в наличии;

Примечание: конструкция приборов системы 3D зрения обеспечивает устойчивую работу на глубине до 100 м.

В комплекте предоставляется программное обеспечение (ПО), предназначенное для управления настройками универсального модуля и модуля стереозрения. ПО позволяет осуществлять съемку синхронизированных по времени стереоизображений, съемку серии снимков с заданным интервалом и автоматическим сохранением.

  1. Одиночный модуль зрения для крепления на манипуляторе МРТК:

– глубина погружения - до 100 м;

– габариты – длина 200 мм, диаметр 126 мм;

– скорость передачи данных - до 1000 Мбит/с;

– интерфейс передачи данных – EtherNet;

– напряжение электропитания - +24 В ±20%;

– материал корпуса – алюминиевый сплав марки АМг6, покрытый анодным оксидированием, с последующим нанесением защитной краски.

Основные параметры видеокамер модулей:

– разрешение – 1920х1080 пикселей;

– цветность изображения – цветное;

– фокусное расстояние – 9,0 мм;

– углы обзора по горизонтали и вертикали – 70 и 48 градусов, соответственно.

Допускается замена видеокамер на аналогичные по габаритам, интерфейсу и электропитанию.

Научные результаты

1) В результате выполнения проекта была разработана методика обучения системы управления ЭО РТК по действиям оператора на базе применения подхода «Programming by Demonstration».

Методика обучения основана на построении и обработки базы знаний по контролю движения ЭО РТК. Построение базы основано на построении клиент-серверного решения путем регистрации потоков «сырых» данных в виде оцифрованных сигналов от датчиков копирующего костюма оператора («учителя») при выполнении им движений согласно технологической карты, и накоплении полученных данных в виде таблиц базы знаний. Обработка данных базы знаний состоит в преобразовании «сырых» данных в действительные значения углов поворота двигателей ЭО РТК в реальном масштабе времени, а также в их нормализации, например, используя подходы построения терминальных многочленов описания двигателей.

Новизна полученных результатов состоит в том, что впервые полученная при выполнении проекта методика была разработана для антропоморфных манипуляторов ЭО РТК и отлажена на реальном образце.

На основе анализа современных публикаций в области построения интеллектуального управления робототехническими комплексами, можно сделать вывод, что разработанная при выполнении проекта методика обучения системы управления ЭО РТК по действиям оператора на базе применения подхода «Programming by Demonstration» полностью встраивается в мировую тенденцию управления робототехническими комплексами на основе интеллектуальных подходов, учитывая все сложности построения управления с помощью классических подходов - на основе построения кинематических и динамических математических моделей антропоморфных манипуляторов робототехнических комплексов, например, таких как их приближенный характер (грубость), не учитывающий различные нелинейности, возникающие из-за насыщения двигателей, дрейфы из-за различного влияния трения, в т.ч. из-за износа оборудования и др.

2) В результате выполнения работ были разработаны методы прогноза критических состояний (самостолкновения антропоморфных манипуляторов РТК и столкновения манипуляторов РТК с внешним препятствием) при их движении.

Были предложены подходы, основанные на применении методов линейной алгебры. Первый метод основан на анализе расстояния между отрезками, моделирующими оси звеньев манипуляторов. Для разработки метода была использована широко известная теория нахождения расстояния между скрещивающимися прямыми. Второй метод реализован при помощи анализа проекций манипуляторов на координатные плоскости. Прогноз основан на анализе пересечения отрезков, которыми являются границы проекций цилиндров (определяются как отрезки, перпендикулярные проекции оси цилиндра и отстоящие от него на величину, равную радиусу цилиндра). Для реализации метода прогноза столкновения манипуляторов с внешними препятствиями использовался подход Коши-Буняковского-Шварца.

Новизна указанных методов заключается в том, что впервые были применены подходы линейной алгебры в указанной интерпретации, позволяющие реализовывать прогноз возникновения критических состояний в онлайн режиме.

Полученные результаты соответствуют мировому уровню. Это обусловливается тем, что анализ научной литературы в данной области показывает, что современные тенденции при прогнозе критических состояний не имеют единого подхода к учету области пересечения взаимодействий манипуляторов и анализу их возможных столкновений. В каждом случае конкретного РТК проводится разработка системы управления, исключающей такие столкновения манипуляторов при их совместной работе. Применяются различные подходы к поиску решения, результатом которого является введение ограничений на положение углов поворота звеньев манипулятора, а также запрета на осуществление движений в определенных направлениях. Например, широко применяется подход, основанный на поиске ограничений на управления, которые исключают движение двух манипуляторов с пересечением траекторий всех звеньев манипуляторов. При этом предотвращение столкновений достигается путем временного планирования траектории движения робота, получившего команду на перемещение, и escape instruction («инструкцией на побег») для манипулятора, который становится препятствием на пути другого манипулятора. Другой широко известный подход основан на том, что структура робота разделяется на сегменты, так что можно выбирать произвольные точки и управлять ими. Алгоритм определяет точки столкновения на таких сегментах и генерирует подходящее управление для уклонения от столкновения. Для этого алгоритма требуется сенсорная информация о положении каждого звена при движении, чтобы спланировать траектории уклонения до возможных столкновений. Анализ этих и других известных методов и алгоритмов указывает на их громоздкость и неэффективность их применения в реальном режиме времени.

3) В ходе выполнения проекта была разработанная комплексная система технического 3D зрения РТК состоящая из двух подсистем – дальнего до 5м (рабочее пространство (РП) РТК) и ближнего обзора ˗ от 0.25 до 1.25м для рабочей зоны манипуляторов РТК, Система ориентирована на работу на глубине до 100м.

Были получены следующие основные научно-технические результаты

  1. Предложен новый общий подход к оценке точности построения 3D координат РП, позволяющий оценивать влияние водонепроницаемой оболочки и всех в совокупности источников возмущений (как аппаратных, так и программных), используя только экспериментальные данные, которые могут быть получены на стадии подводной калибровки камер. Для их анализа использовались статистические методы, но в отличие от известных по мировой научной литературе результатов для воздушной среды, основанных на построении моделей и ковариационном анализе, исследуется распределение ошибки, измеренных значений калибровочного образца и полученные триангуляцией в подводных условиях. Это дает возможность одновременно оценить систематическую ошибку и характеристики распределения случайной составляющей ошибки восстановления 3D координат РП. Кроме того, в рамках этого же подхода, получаются оценки положения центров изображений в перспективной модели камер относительно внешней поверхности стеклянного интерфейса, которые могут быть использованы для позиционирования камер и самого РТК, уменьшая степень неопределенности в определении положения объектов. Так для разработанной СТЗ ее величина составила 3.3см, что представляется существенным, особенно для задач, связанных с манипулированием предметами.
  2. Разработаны робастные алгоритмы реконструкции 3D изображений РП, учитывающие особенности подводной среды и аппаратной реализации, основанные на совместном использовании подводной калибровки камер, оценок центров изображений камер с учетом водонепроницаемой оболочки, выборе алгоритмов предобработки подводных изображений и их ключевых точек, триангуляции и кластеризации. Робастность достигается за счет нескольких факторов, включающих, в частности, подводную калибровку, предобработку, выбор ключевых точек, робастных алгоритмов кластеризации и их параметров, параметров алгоритмов плотного и разряженного стереозрения.
  3. Предложены двухэтапные робастные алгоритмы, учитывающие особенности подводной среды и аппаратной реализации подводных камер. На первом этапе выполняется достаточно грубая сегментация изображения по степени плотности точек, построенных с помощью стереозрения 3D точек. На втором – решается собственно задача классификации выделенных областей (объектов) в 3D облаке точек. Информация об объектах уточняется с помощью их декомпозиции на геометрические примитивы (плоскости, цилиндры, шары и т.д.) с одновременным оцениванием их параметров.
  4. Разработаны новые алгоритмы слежения за движением подводных объектов в 3D рабочем пространстве РТК с помощью разработанной системы стереозрения. В алгоритмах были использованы:
  • вектор состояния, включающий параметры, характеризующие их движение и которые могут быть оценены видео детектором (например, координаты центроида, точек, представляющих ширину и высоту окна слежения):
  • движение объекта на каждом изображении рассматривается как комбинация независимых движений вдоль осей x и y, описываемых дискретными стохастическими моделями с почти постоянной скоростью или почти постоянным ускорением;
  • алгоритмы калмановской фильтрации (в частности, робастные алгоритмы со скользящим окном, разработанные авторами проекта) для прогноза вектора состояния по измерениям, поступающих с видео детектора.
  1. Разработан алгоритм комплексирования информации, поступающей от стереопары и камеры одного из манипуляторов РТК. Совместная обработка такой информации позволяет восстанавливать не наблюдаемые стереопарой части объекта интереса и одновременно строить траекторию движения манипулятора в метрической абсолютной системе координат, связанной с левой камерой стереопары. Показано, что такая задача может быть формализована в виде задачи оценки внешних параметров СТЗ, связывающих систему координат камеры манипулятора с системой координат стереокамеры с помощью трёхмерной сцены, построенной при помощи стереокамеры и точек, наблюдаемых камерой на манипуляторе (PnP проблема). Робастность предложенного алгоритма достигается использованием алгоритмов CASSC и MLESAC для решения P3P проблемы с минимальным количеством точек и выбора вариантов, соответственно. Экспериментальные исследования показали, что отношение количества ключевых точек, полученных в режиме комплексирования, к количеству ключевых точек, полученных неподвижным модулем дальнего обзора, может достигать 3 уже после обработки шести кадров, полученных с камеры манипулятора в процессе его движения.

Новизна полученных результатов заключается в том, что предлагаемые подходы были применены впервые и реализованы на действующем образе СТЗ ЭО РТК.

Полученные результаты являются результатами мирового уровня. Теоретические результаты, отсутствуют в специализированной литературе и позволяют реализовать СТЗ обеспечивающую:

- ошибку определения глубины изображения в пределах рабочей зоны манипуляторов не превышающую 2.1см, а в РП на расстоянии 5 м – 4.3см;

- обнаружение объектов с линейными размерами 2см м в пределах РП РТК;

- при частоте обработке изображений 10Гц алгоритмы в состоянии следить за объектами при его движении со скоростью до 0.24 м/с .

  1. Охраноспособные результаты интеллектуальной деятельности (РИД), созданные при выполнении проекта
  2. Программа для ЭВМ, свидетельство о государственной регистрации № 2019661635 от 04.09.2019 «Программа органи-зации интерфейса между задаю-щим устройством копирующего типа и манипуляторным робото-техническим комплексом», РФ;
  3. Программа для ЭВМ, свидетельство о государственной регистрации № 2019663003 от 08.10.2019 «Программа слеже-ния за объектами в рабочем пространстве антропоморфного ро-бота», РФ;
  4. Программа для ЭВМ, свидетель-ство о государственной регистрации №2019662095 от 17.09.2019 «Программа расчета назначенной траектории движения узловых элементов манипулятора робототехнического комплекса», РФ;
  5. Программа для ЭВМ, свидетельство о государственной регистрации № 2019663217 от 11.10.2019 «Программа нахождения пар соответствующих то-чек на подводных изображениях», РФ;
  6. Программа для ЭВМ, свидетельство о государственной регистрации № 2019663218 от 11.10.2019 «Программа для взаимодействия оператора с модулем стерео зрения подводного манипуляторного робототехнического комплекса» , РФ;
  7. Программа для ЭВМ, свидетельство о государственной регистрации № 2020660246 от 01.09.2020 «Программа управления многозвенными манипулятора ми робототехнического комплекса с контролем самостолкновений», РФ;
  8. Программа для ЭВМ, свидетельство о государственной регистрации № 2020660247 от 01.09.2020 «Программа управления многозвенными манипуляторами робототехнического комплекса на основе обучения системы по действиям оператора», РФ;
  9. Программа для ЭВМ, свидетельство о государственной регистрации № 2020660366 от 02.09.2020 «Программа получения и обработки информации о 3D координатах точек объектов интереса в рабочей зоне подводного робототехнического комплекса по последовательности стереоизображений», РФ;
  10. Программа для ЭВМ, свидетельство о государственной регистрации № 2020660367от 02.09.2020 «Программа анализа точности подводной стереокамеры», РФ;
  11. Программа для ЭВМ, свидетельство о государственной регистрации № 2020661150 от 18.09.2020 «Программа определения параметров цилиндра по облаку трёхмерных точек», РФ.
  1. Назначение и область применения результатов проекта

Проведя анализ современных проблем морской отрасли, предложены следующие варианты применения разработанного ЭО РТК:

  1. Мониторинг состояния погруженной части судна в части швов и соединений, винтов и руля позволит снизить нагрузку водолазов-специалистов и заменить применяемую подводную фототехнику. При освидетельствовании подводной части судна осматривается корпус на наличие деформаций, износа листов наружной обшивки. Также проверяется состояние покрасочного покрова подводной части корпуса, набор в пиках и днищевых танках состоянии донно-бортовой арматуры, отсутствие в корпусе судна водотечности и цементных ящиков, степень износа пера руля, зазоры в подшипниках рулевого устройства при последнем доковании, среднегодовой износ подшипников, предельно допустимые зазорах; зазор на просадку пера руля; характерные дефекты в рулевом устройстве, зазоры в подшипниках гребного устройства при последнем доковании.
  2. Проведение сбора материалов для анализа среды (образцы грунта, воды, органических и неорганических материалов), посредством погружения РТК на глубину до ~5 м (верхняя треть подводного пространства).
  3. Помощь при проведении спасательных и восстановительных работ под водой. Посредством РТК возможно проведение работ по обнаружению людей после бедствий, передаче данных спасателям, обеспечению доступа спасателей к пострадавшим.

В ходе реализации проекта получены результаты интеллектуальной деятельности (РИД), которые могут быть применены при создании двух видов продукции: подводный манипуляторный робототехнический комплекс (МРТК) с задающим устройством копирующего типа (ЗУКТ), система подводного технического 3D зрения (3D СТЗ).

При разработке экспериментального образца МРТК в ходе выполнения проекта был разработан универсальный герметичный узел на базе двигателей AT Drive со степенью защиты IP64 от влаги, агрессивных сред таких как морская вода, загрязненные водоемы. Особенности двигателей AT Drive:

– бескорпусное исполнение;

– высокие моментные характеристики;

– полый ротор;

– высокий показатель пикового крутящего момента;

– компаунд обмоток статора устойчив к термическим ударам от -60ºС до 170ºС;

– встроенные датчики температуры и Холла (опционально);

– возможность изменения способа соединения обмоток (последовательное/параллельное);

– гибкая настройка характеристик привода в пределах 20%.

Данный универсальный узел способен выполнять задачи в различных сферах деятельности, и использоваться в неблагоприятной среде (кислоты, щелочи, промышленные химические отходы, водоемы с резким перепадом температур, изменением направления течения и т.д.) не теряя своей работоспособности.

В качестве основных предложений по промышленному освоению результатов проекта в области создания подводных систем 3D зрения на базе созданного экспериментального образца системы предложены:

– перекомпоновка модулей системы в сторону значительного уменьшения внутреннего диаметра полезного объема, что позволит

– замена используемого в изготовлении материала АМг6 на сталь нержавеющую марки 12Х18Н10Т.

– перерасчет корпусов модулей под глубину 1000 метров, а также улучшение эргономики и внешнего вида.

В результате предложено перейти к универсальному одиночному модулю зрения, что с одной стороны позволит оптимизировать производственный процесс, с другой стороны расширит возможности по применению систем зрения.

Характеристики универсального одиночного подводного модуля зрения с цифровой камерой высокого разрешения (fullHD):

– глубина погружения - до 1000 м;

– габариты – длина 195 мм, диаметр 74 мм;

– скорость передачи данных - до 1000 Мбит/с;

– интерфейс передачи данных – EtherNet;

– напряжение электропитания - +24 В ±20%;

– материал корпуса – сталь нержавеющую марки 12Х18Н10Т;

Изделие позволяет из нескольких универсальных модулей компоновать стереомодуль подводного зрения с заданным межосевым расстоянием.

Дополнительные функции систем зрения, реализованные в ПО:

– обнаружение и распознавание подводных объектов и их видео сопровождение;

– автоматическое определение основных габаритных характеристик обнаруженных объектов (размер, расстояние до объекта, границы и форма);

– мониторинг областей наблюдения и информационное обеспечение оператора ТНПА (в т.ч. построение карты осмотрового пространства с нанесением обнаруженных объектов);

Указанные функции достигаются за счет программной реализации специальных алгоритмов обработки изображений.

Данные предложения расширяют потенциальный спектр применения и внедрения результатов проекта в различных областях применения средств подводной робототехники.

  1. Эффекты от внедрения результатов проекта

Промышленное освоение результатов проекта внесет определенный вклад в развитие подводной робототехники. Так или иначе, подводная робототехника имеет свое научно-техническое, экономическое, социальное, экологическое или стратегическое значение в потенциальных сферах ее применения.

Использование подводной робототехники имеет ряд преимуществ:

– снижение риска для людей, прежде всего, водолазов;

– возможность использования вместо другого громоздкого и дорогостоящего оборудования;

– существенное расширение возможностей изучения морей, океанов и других водоемов;

– экономичность в применении по сравнению с использованием водолазов и обитаемой техники.

Использование разработанного РТК и системы 3D зрения может стать основой для проведения точного и объективного мониторинга морских донных экосистем, для обеспечения реализации проектов по созданию, эксплуатации и ремонту подводных гидротехнических сооружений, решая задачи предварительного осмотра места, фиксации рабочего пространства, мониторинга пространства строительных работ и информационное обеспечение операторов телеуправляемых необитаемых подводных аппаратов (ТНПА).

Широкое распространение ТНПА с манипуляторными комплексами для решения производственно-технических задач на рабочих глубинах свыше 50 метров делает их основным и практически единственным средством выполнения работ. При этом точность и качество этих работ во многом зависит от навыков оператора.

Внедрение в производство и эксплуатацию разработанных на данном этапе ЗУКТ и программных алгоритмов системы управления РТК позволит повысить точность управления МРТК. Использование ЗУКТ как базового интерфейса управления разработанным МРТК является особенностью, дающей преимущество по точности управления и плавности движений по сравнению с существующими манипуляторными роботами. Кроме того, копирующий режим управления позволяет реализовать идею обучения робота выполнению различных операций по результатам действия оператора (подход «Programming by Demonstration», PbD). Подход PbD обеспечивает естественный способ программирования роботов. PbD - это приложение имитационного обучения, означающее, что робот должен имитировать демонстрируемое движение, сначала интерпретируя демонстрацию, а затем воспроизводя ее согласно своему собственному сценарию действий.

Подход PbD исключает недостатки построения управления по математическим моделям, что делает его интересным для реализации при построении управления для многозвенного манипулятора, особенно учитывая требования к функционированию манипулятора в условиях неопределенности.

Реализация различных методов обучения РТК определяется данными, получаемыми от «оператора-учителя». Возможны два подхода к обучению движения манипулятора оператором. Обучение при помощи джойстика позволяет контролировать положение конечной точки манипулятора по отношению к объекту выполняемой операции. При этом отсутствует контроль поведения всех звеньев манипулятора в целом. Обучение движению манипулятора, при помощи ЗУКТ соответствующего манипулятору, позволяет детализировать движение всех звеньев манипулятора по движению руки «оператора-учителя», выполняемому по технологической карте рассматриваемой операции, в результате чего многозвенному (антропоморфному) манипулятору будет передана вся динамика естественного движения руки оператора в шести степенях свободы.

По анализу литературы, PbD подход, в настоящее время в основном применяется для манипуляционных сервисных роботов. По применению PbD подхода для подводных манипуляторов информации в специализированной литературе нет. Предлагаемый подход, реализованный в РИД станет базисом для построения интеллектуальных систем управления для манипуляторных робототехнических комплексов, работающих в сложных средах, в т.ч. под водой.

Основные результаты проекта должны быть представлены «нарастающим итогом», т.е. с начала выполнения проекта. В Резюме заключительного этапа должны быть обобщены основные результаты проекта в целом.