Версия для слабовидящих

                          

Номер Соглашения о предоставлении субсидии: 14.578.21.0264

Тема: «Разработка и исследование робототехнического комплекса для выполнения подводно-технических работ в условиях ограниченной видимости с использованием комплексной системы 3D зрения высокого разрешения»

Приоритетное направление: Информационно-телекоммуникационные системы (ИТ)

Критическая технология: Технологии информационных, управляющих, навигационных систем

Период выполнения: 31.05.2018 – 31.12.2020

Индустриальный партнер: Акционерное общество «Научно-производственное объединение «Андроидная техника»

Цель проекта: создание робототехнического комплекса (РТК) для выполнения работ под водой в условиях ограниченной видимости на основе комплексной системы 3D зрения высокого разрешения. В ходе проекта будет разработана технология управления подводным РТК на базе технического 3D зрения, которая позволит:

– повысить точность выполняемых подводным РТК действий;

– создавать конкурентоспособные на мировом рынке отечественные образцы подводной робототехники, необходимые для эффективной эксплуатации морской инфраструктуры, исследований морского дна в целях геологоразведки или поиска артефактов и др.

Этап № 1: 31.05.2018 – 31.12.2018

В ходе выполнения проекта по Соглашению о предоставлении субсидии № 14.578.21.0264 с Минобрнауки России в рамках федеральной целевой программы «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014 – 2020 годы» на этапе № 1 в период с 31.05.2018 по 31.12.2018 выполнялись следующие работы:

- аналитический обзор современной научно-технической, нормативной, методической литературы, проведение сравнительного анализа эффективности систем и алгоритмов построения 3D реконструкций объектов подводной обстановки на базе оптических (или других типов) камер и средств;

- проведение анализа существующих методов и алгоритмов комплексирования технического зрения;

- определение технических требований к комплексной системе 3D зрения высокого разрешения;

- разработка структурной схемы комплексной системы 3D зрения высокого разрешения;

- разработка структурной схемы исполнительной части ЭО РТК;

- определение технических требований к универсальному захвату с тремя исполнительными группами звеньев для работы с объектами массой до 5 кг;

- определение технических требований к манипуляторам с рабочим органом, обеспечивающим выполнение силовых и точных действий с внешними объектами;

- аналитический обзор требований, предъявляемых к оптическим камерам и другим средствам, обеспечивающим получение, обработку и передачу информации оператору;

- разработка схемы деления ЭО РТК;

- патентные исследования;

- анализ влияния податливости приводов и положения точки позиционирования на точность положения захвата;

- анализ тенденций развития и перспектив применения манипуляторов для осуществления действий с предметами в подводном пространстве, а также аналитический обзор научно-технической и методической литературы по способам управления манипуляторами;

- разработка кинематической схемы манипулятора с универсальным захватом для работы с объектами массой до 5 кг;

- разработка кинематической схемы манипулятора с рабочим органом, обеспечивающим выполнение силовых действий на внешние объекты с усилием до 200 Н.

При этом были получены следующие результаты:

  1. Выполнен обзор научно-технической и методической литературы по системам технического зрения (СТЗ), проведен анализ методов и алгоритмов 3D реконструкции подводных сцен и объектов. Также выполнен обзор существующих разработок РТК для выполнения подводно-технических работ, построенные с применением электрической, гидравлической и комбинированной (гибридной) энергетическими установками.
  2. Разработана архитектура СТЗ 3D высокого разрешения для осуществления действий РТК с предметами в подводном пространстве. Отличительными особенностями СТЗ являются:

– возможность нескольких вариантов построения 3D реконструкции подводных сцен и объектов в зависимости от характера решаемых задач (по перекрывающимся изображениям, поступающим с двух камер (стереопары), установленных на корпусе РТК; с помощью камер, расположенных на манипуляторах; с использованием стереопары и камер, установленных на манипуляторах, в режиме совмещения их изображений);

– возможность комплексирования датчиков различной физической природы (оптических камер с 3D звуковизором и/или инерциальной навигационной системы (ИНС), 3D звуковизора с ИНС), позволяющая повысить точность, робастность СТЗ;

– калибровка внутренних и внешних параметров камер в реальных подводных условиях.

  1. Разработаны кинематические схемы манипулятора с универсальным захватом и манипулятора с рабочим органом, обеспечивающим выполнение силовых действий на внешние объекты. Проведен кинематический анализ на предмет достижения ими всех крайних точек рабочего пространства РТК. Выполнен сравнительный анализ схем построения манипуляторных модулей по числу степеней подвижности; по усредненному показателю рабочего угла шарнира; по метрическим и объемным показателям.
  2. Разработаны два варианта универсальных захватных модулей (антропоморфного захватного модуля с зависимыми движениями звеньев исполнительных групп; универсального захватного модуля с независимыми движениями звеньев исполнительных групп).

Результаты проекта будут способствовать развитию отечественной подводной робототехники. Можно выделить следующие наиболее значимые сферы применения подводных РТК, построенных на базе результатов проекта:

– исследование океана, морской флоры и фауны;

– выполнение тонких манипуляции с биологическими и хрупкими объектами под водой;

– исследование морского дна в целях геологоразведки или поиска артефактов;

– обследование объектов подводной инфраструктуры.

Внедрение результатов проекта позволит:

– снизить риск для водолазов при выполнении опасных подводно-технических работ;

– повысить производительность труда при выполнении работ под водой за счет исключения непосредственного участия человека;

– получить базовую технологию для создания отечественных подводных робототехнических систем нового поколения, имеющих широкую функциональность и высокую автономность при выполнении работ под водой за счет внедрения комплексной системы оценки окружающей обстановки и интеллектуальной системы управления.

Этап № 2: 01.01.2019 – 31.12.2019

В ходе выполнения проекта по Соглашению о предоставлении субсидии № 14.578.21.0264 с Минобрнауки России в рамках федеральной целевой программы «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014 – 2020 годы» на этапе № 2 в период с 01.01.2019 по 31.12.2019 получены следующие результаты.

  1. Основные результаты проекта

В ходе второго этапа реализации проекта были решены следующие задачи:

  1. Разработаны алгоритмы для реализации следующих функций системы технического зрения (СТЗ):

– комплексирование информации, поступающей от стереопары и камеры одного из манипуляторов РТК;

– реконструкции 3D рабочего пространства РТК;

– построение 3D изображений объектов, находящихся в рабочем пространстве РТК;

– распознавание объектов подводной инфраструктуры созданной человеком.

  1. Разработаны методики:

– построения базы знаний по контролю движения РТК;

– обучения системы управления РТК по действиям оператора.

  1. Разработаны математические модели системы управления ЭО РТК. Выполнена программная реализация математических моделей в форме компьютерных имитационных моделей, проведено компьютерное моделирование.
  2. Разработаны составные элементы исполнительной системы:

– манипуляторы со специальным рабочим органом и с универсальным захватом;

– специальный рабочий органа для выполнения силовых действий на объекты с усилием до 200 Н;

– универсальный захват для работы с объектами массой до 5 кг;

–базовый модуль экспериментального образца (ЭО) РТК в бионическом дизайне.

  1. Эскизная конструкторская документация на:

– систему 3D зрения для ЭО РТК

– лабораторный стенд для проведения испытаний ЭО РТК

– задающее устройство копирующего типа;

– на исполнительную часть ЭО РТК.

Характеристики алгоритмов:

1) алгоритмы реконструкции 3D рабочего пространства ЭО РТК по информации, поступающей со стереокамеры:

- алгоритм позволяет визуально обнаруживать объекты и определять их координаты.

2) алгоритмы построения 3D изображений объектов, находящихся в рабочем пространстве РТК:

- алгоритм позволяет выполнять слежение за подводными объектами произвольной формы, движение объектов может быть управляемым и неуправляемым, сопровождаться столкновением с предметами, находящимися в рабочем пространстве РТК, пропадать из поля зрения камер и затем снова появляться.

3) алгоритм распознавания объектов инфраструктуры созданной человеком:

- позволяет выделять линии близкие к прямым в подводной среде, для локализации объектов и отделения объектов искусственного происхождения от возможных контрастных областей на изображении.

Состав РТК:

1) Задающее устройство копирующего типа;

2) Исполнительная система;

2.1) Манипуляторы;

2.2) Специальный рабочий орган;

2.3) Универсальный захват;

3) Система 3D зрения;

3.1) Модуль дальнего обзора;

3.2) Модуль ближнего обзора;

3.3) Модули основного и дополнительного освещения.

  1. Охраноспособные результаты интеллектуальной деятельности (РИД), полученные в рамках прикладного научного исследования и экспериментальной разработки
  2. Программа для ЭВМ «Программа организации интерфейса между задающим устройством копирующего типа и манипуляторным робототехническим комплексом», свидетельство о государственной регистрации программы для ЭВМ № 2019661635 от 04.09.2019
  3. Программа для ЭВМ «Программа расчета назначенной траектории движения узловых элементов манипулятора робототехнического комплекса», свидетельство о государственной регистрации программы для ЭВМ № 2019662095 от 17.09.2019
  4. Программа для ЭВМ «Программа слежения за объектами в рабочем пространстве антропоморфного робота», свидетельство о государственной регистрации программы для ЭВМ № 2019663003 от 08.10.2019
  5. Программа для ЭВМ «Программа организации интерфейса между задающим устройством копирующего типа и манипуляторным робототехническим комплексом», свидетельство о государственной регистрации программы для ЭВМ № 2019663217 от 11.10.2019
  6. Программа для ЭВМ «Программа организации интерфейса между задающим устройством копирующего типа и манипуляторным робототехническим комплексом», свидетельство о государственной регистрации программы для ЭВМ № 2019663218 от 11.10.2019
  1. Назначение и область применения результатов проекта

Результаты проекта будут способствовать развитию отечественной подводной робототехники. Можно выделить следующие наиболее значимые сферы применения подводных РТК, построенных на базе результатов проекта:

– исследование океана, морской флоры и фауны;

– выполнение тонких манипуляции с биологическими и хрупкими объектами под водой;

– исследование морского дна в целях геологоразведки или поиска артефактов;

– обследование объектов подводной инфраструктуры.

В результате проекта в 2019 году получены РИД, которые могут быть применены в создании двух видов продукции: подводный РТК и задающее устройство копирующего типа (далее ЗУКТ).

  1. Эффекты от внедрения результатов проекта

Внедрение результатов проекта позволит:

– снизить риск для водолазов при выполнении опасных подводно-технических работ;

– повысить производительность труда при выполнении работ под водой за счет исключения непосредственного участия человека;

– получить базовую технологию для создания отечественных подводных робототехнических систем нового поколения, имеющих широкую функциональность и высокую автономность при выполнении работ под водой за счет внедрения комплексной системы оценки окружающей обстановки и интеллектуальной системы управления.

Внедрение в производство и эксплуатацию разработанных на данном этапе ЗУКТ и программных алгоритмов системы управления РТК позволит повысить уровень автоматизации управления РТК. Одним из эффективных подходов является подход, основанный на идеологии обучения робота выполнению различных операций по результатам действия оператора (подход «Programming by Demonstration», PbD). Подход PbD обеспечивает естественный способ программирования роботов, показывая выполнение желаемой задачу. PbD - это приложение имитационного обучения, означающее, что робот должен имитировать демонстрируемое движение, сначала интерпретируя демонстрацию, а затем воспроизводя ее согласно своему собственному сценарию действий.

Подход PbD исключает недостатки построения управления по математическим моделям, что делает его интересным для реализации при построении управления для многозвенного манипулятора, особенно учитывая требования к функционированию манипулятора в условиях неопределенности.

Реализация различных методов обучения РТК определяется данными, получаемыми от «оператора-учителя». Возможны два подхода к обучению движения манипулятора оператором. Обучение при помощи джойстика позволяет контролировать положение конечной точки манипулятора по отношению к объекту выполняемой операции. При этом отсутствует контроль поведения всех звеньев манипулятора в целом. Обучение движению манипулятора, при помощи ЗУКТ соответствующего манипулятору, позволяет детализировать движение всех звеньев манипулятора по движению руки «оператора-учителя», выполняемому по технологической карте рассматриваемой операции, в результате чего многозвенному (антропоморфному) манипулятору будет передана вся динамика естественного движения руки оператора в шести степенях свободы.

По анализу литературы, PbD подход, в настоящее время в основном применяется для манипуляционных сервисных роботов. По применению PbD подхода для подводных манипуляторов информации в специализированной литературе нет.

Предлагаемый подход, реализованный в РИД станет базисом для построения интеллектуальных систем управления для манипуляторных робототехнических комплексов, работающих в сложных средах, в т.ч. под водой.

  1. Формы и объемы коммерциализации результатов проекта

Предполагаемое к созданию в результате проекта ЗУКТ позволит управлять дистанционно подводными РТК, оснащенными манипуляторами. Таким образом, основным потенциальным рынком продукции, созданной с использованием результата проекта, является рынок подводной робототехники. По исследованиям аналитиков из Research and Markets мировой рынок дистанционно управляемых роботов оценивался в $1,2 млрд. в 2014 году и, как ожидается покажет среднегодовой темп роста в 20,11% к 2019 году.

На сегодняшний день данный рынок в России достаточно мал. Это связано с подводными работами на относительно небольших рабочих глубинах (в основном до 60 метров) и невысокой стоимостью труда коммерческих водолазов. Для большинства работ можно привлечь имеющиеся водолазные службы. До недавнего времени позиция российских компаний состояла в том, что такие подводные аппараты для больших глубин или специальных задач было проще купить за рубежом, чем разрабатывать дорогостоящих роботов самим. Однако после ввода санкций в 2014 году все автономные аппараты с глубинами более 100 метров стали запрещены к поставке в РФ, а значит будет расти спрос на разработки отечественных робототехнических комплексов.

Коммерциализации результатов проекта предполагается путем продажи завершенного изделия (РТК с системой 3D зрения и интеллектуального управления) и/или его отдельных компонентов и технологий (в том числе в виде лицензий), на которые будут получены соответствующие охранные документы. Среди потенциальных потребителей данной продукции можно выделить производителей подводных аппаратов (например, предприятия Объединенной судостроительной корпорации), предприятия военно-промышленного комплекса, научно-исследовательские центры, занимающиеся исследованиями Мирового океана.

Исключительное право на использование РИД, полученных в результате проекта в 2019 году, передано индустриальному партнеру АО "НПО "Андроидная техника" по соответствующим лицензионным договорам. Проведен анализ рынка продукции, планируемой к созданию с использованием РИД, составлен план маркетинга продукции, планируемой к созданию с использованием РИД.