Поиск по сайту
Авторизация
Логин:
Пароль:
Забыли свой пароль?

Автономная камера навигации на основе недорогого Quadcopter'а

Camera-Based Navigation of a Low-Cost Quadrocopter

J. Engel, J. Sturm, D. Cremers
Department of Computer Science, Technical University of Munich, Germany

В  статье мы описываем систему, которая позволяет недорогому quadrocopter'у (например, квадрокоптеры с камерой Syma X11c hornet) в сочетании с наземным ноутбуком, перемещаться автономно в ранее неизвестных и GPSdenied средах. Наша система состоит из трех компонентов: система монокуляр SLAM, расширенный фильтр Калмана для слияния данных и оценки состояния и PID-регулятора для генерирования команды рулевого управления. Рядом с работающей системы, основной вклад данной работы, который является новым это закрытая форма для оценки абсолютной шкалы генерирующую визуальную карту от инерционных измерений и высоты над уровнем моря. В обширном наборе экспериментов, мы показали, что наша система способна ориентироваться в ранее неизвестных средах при абсолютном масштабе, не требуя искусственных маркеров или внешних датчиков. Кроме того, мы показываем (1) её устойчивость к временной потере визуального отслеживания и значительные задержки в процессе коммуникации, (2) устранение дрейфа одометрии с помощью зрительной системы SLAM и (3) с точностью, масштабированием ставят оценку и известную навигацию.

ВВЕДЕНИЕ

В последние годы исследования  быстро растет интерес к автономным микро- летательным аппаратам (Mavs). Был достигнут значительный прогресс, недавние примеры включают в себя агрессивные маневры полета [1, 2], пинг-понг [3] и совместных задач строительства [4]. Тем не менее, все эти системы требуют внешних систем захвата движения. Полет в неизвестное с GPS- показом среды по-прежнему является открытой проблемой исследования. Основные проблемы здесь локализовать робота чисто из своих собственных данных датчиков и автономное перемещения по ним даже при потенциале потери датчика. Это требует как решение так называемой одновременной локализации и отображения (SLAM) проблемы, а также надежные методы оценки состояния и контроля. Эти проблемы еще более выражены на недорогом аппаратном обеспечении с неточным приводами, шумные датчики, значительные задержки и ограничены на борту вычислительных ресурсов.

Для решения задачи SLAM на Mavs, различные типы датчиков, таких сканеров лазерный [5], монокуляр камеры [6, 7], стерео камеры [8] и RGB-D датчики [9] были изучены в прошлом. С нашей точки зрения, монокуляр камеры обеспечивают два основных преимущества над другими методами: (1) количество информации, которая может быть приобретена огромна по сравнению с их небольшой вес, энергопотребление, габариты и стоимость, что не имеют себе равных по любым другим типом датчик и (2), в отличие от глубины измерительных приборов, диапазон монокуляр камеры практически неограничен - позволять системе SLAM монокулярная работать как в небольших, приурочены и больших, открытых сред. Недостаток однако, что масштаб окружающей среды не может быть определена из только монокулярного зрения, таким образом, что дополнительные датчики (такие как ИДУ), обязательны для заполнения.


Рис. 1. Недорогой Quadcopter переходит в неструктурированных средах с использованием передней камеры в качестве основного датчика. Quadrocopter способен удерживать позицию, летать цифры с абсолютной шкале, и оправиться от временной потери слежения. Фото сделано в ТУМ день открытых дверей.

Мотивацией нашей работы, чтобы продемонстрировать, что надежные и масштабируемые знают визуальная навигация возможна и безопасна на недорогом роботизированной оборудовании. В качестве платформы, мы используем Parrot AR.Drone, который можно купить за $ 300 и, с весом всего 420 г и защитного корпуса, безопасной для использования в общественных местах (см. 1). По мере того как бортовые вычислительные ресурсы совершенно ограничены, все вычисления выполняются снаружи.

Вклад этой статьи состоит в два раза: во-первых, мы получаем оценщик максимального правдоподобия, чтобы определить масштаб карты в замкнутом виде из метрических измерений расстояния. Во-вторых, мы обеспечиваем надежную технику, чтобы иметь дело с большими задержками в контролируемой системе, что облегчает использование наземной станции в контуре управления. Два видео, демонстрирующие устойчивость нашего подхода, его способность эффективно устранить дрейф и оценить абсолютную масштаб карты доступны в Интернете:

youtu.be/tZxlDly7lno 

youtu.be/eznMokFQmpc

II. ОПИСАНИЕ РАБОТЫ

Предыдущая работа на автономном полете с quadrocopters можно разделить на различных областях исследований. Одна часть сообщества сосредоточена на точный контроль quadrocopter и ряд впечатляющих результатов были опубликованы [10, 1, 3]. Эти работы, однако полагаться на передовых внешних систем слежения, ограничивая их использование в лабораторных условиях. Аналогичный подход заключается в распределении искусственных маркеров в окружающую среду, что упрощает определения положения [11]. Другие подходы изучить карту в автономном режиме с предварительно записанной, ручной полета и тем самым позволить quadrocopter снова лететь по той же траектории [12]. Для наружных полетов, где оценка позой GPS на основе можно, комплексные решения доступны в качестве коммерческих продуктов [13].

В этой работе мы ориентируемся на автономном полете без дыдущего знания об окружающей среде, ни GPS-сигналов, используя при этом только бортовых датчиков. Первые результаты для достижения этой цели были представлены с использованием легкий лазерный сканер [5], его Kinect [9] или стерео установка [8], установленный на quadrocopter в качестве первичного датчика. В то время как эти датчики обеспечивают абсолютную шкалу окружающей среды, их недостатком является ограниченный диапазон и большой вес, размер и потребление энергии по сравнению с монокулярном установки [14, 7].

В нашей работе мы поэтому сосредоточиться на монокуляр камеры для оценки позы. Стабилизирующий контроллеры на основе оптического потока были представлены в работе [15], и другие подобные методы интегрируются в коммерчески доступных аппаратных средств [16]. Такие системы однако подлежат дрейфовать в течение долгого времени, и, следовательно, не подходит для длительного плавания.

Для устранения дрейфа, различные монокуляр методы SLAM были исследованы на quadrocopters, как с внебортовой [14, 5] и бортовой обработки [7]. Особой проблемой для монокулярном SLAM является, что масштаб карты должна быть оценена из дополнительных метрических датчиков, таких как ИДУ или GPS, так как она не может быть извлечена из видения в одиночку. Эта проблема была решена в последних публикациях, таких как [17, 18]. Современное состояние искусства, чтобы оценить масштаб с помощью расширенного фильтра Калмана (EKF), который содержит шкалу и смещение в своем состоянии. В отличие от этого, мы предлагаем новый подход, который основан на прямом вычислении: Используя статистическую формулировку, мы получаем замкнутую форму, состоятельную оценку для масштаба визуальной карте. Наш метод дает точные результаты как в моделировании и практике, а также требует меньше вычислительных ресурсов, чем фильтрация. Он может быть использован с любым монокулярная алгоритма SLAM и датчики обеспечения метрические положения или скорости измерений, например, ультразвуковым или давления высотомером или случайных измерений GPS.

В отличие от систем, представленных в [14, 7], мы deliber- ленно воздерживаться от использования дорогостоящего оборудования, настроенную: единственное оборудование, необходимое является AR.Drone, который приходится на издержки всего лишь $ 300 - долю от стоимости quadrocopters, используемые в предыдущей работе. Выпущенный в 2010 году и позиционируется как высокотехнологичной игрушкой, она была использована и обсуждался в ряде научно-исследовательских проектов [19, 20, 21]. Насколько нам известно, мы первыми представить полную реализацию автономной, камеры на основе полета в неизвестных неструктурированных средах с использованием AR.Drone.

III. Аппаратная платформа

Как платформы мы используем Parrot AR.Drone, имеющийся в продаже quadrocopter. По сравнению с такими как Пеликан или Hummingbird quadrocopters других современных МАВ по возрастанию Technology, ее основным преимуществом является очень низкая цена, ее устойчивость к сбоям и тот факт, что он может безопасно использоваться в помещении и близко к людям. Это, однако, приходит по цене гибкости: Ни самого оборудования, ни программное обеспечение, работающее на борту может быть легко изменен, а связь с quadrocopter возможно только через беспроводную локальную сеть. С батареей и корпусом, то AR.Drone размеры 53 см × 52 см и весом 420 г.


Рис. 2. Подход План: Наша навигационная система состоит из трех основных компонентов: осуществление монокулярная SLAM для визуального слежения, EKF для слияния данных и прогнозирования, и ПИД-регулирования для стабилизации позы и навигации. Все вычисления выполняются offboard, что приводит к значительным, изменяясь задержек, которые наш подход должен компенсировать.

A. Датчики

AR.Drone оснащен 3-осевой гироскоп и акселерометр, ультразвуковой высотомер и двумя камерами. Первая камера направлена вперед, охватывает поле зрения 73.5◦ × 58.5◦, имеет разрешение 320 × 240 и рулонные ворота с задержкой 40 мс между первой и последней строки в плен. Видео первой камеры передаются на ноутбук на 18 кадров в секунду, используя сжатие с потерями. Вторая камера направлена вниз, охватывает поле зрения 47.5◦ × 36.5◦ и имеет разрешение 176 × 144 при 60 кадрах в секунду. Встроенное программное обеспечение использует смотрящий вниз камеру для оценки горизонтальной скорости. Quadcopter посылает измерения гироскоп и расчетную горизонтальную скорость в 200 Гц, ультразвуковые измерения при частоте 25 Гц на ноутбуке. Данные сырые акселерометра не могут быть доступны непосредственно.

B. Контроль

Встроенное программное обеспечение использует эти датчики для управления по крену и тангажу F Q, рыскания скорости вращения Оу и вертикальной скорости Z из quadrocopter в соответствии с внешним эталонным значением. Эта ссылка устанавливается путем посылки новая команда управления и = (¯ F, ¯ Q, Z, Y) 2 [􀀀1; 1] 4 каждые 10 мс.

ПОДХОД  К РАБОТЕ

Наш подход состоит из трех основных компонентов, работающих на ноутбуке, подключенном к quadrocopter через беспроводную локальную сеть, обзор приведен на рис. 2.

1) Монокуляр SLAM: Для монокулярном SLAM, наше решение основано на Parallel Tracking и картографии (ПТАМ) [22]. После инициализации карты, мы вращаем визуальное отображение такое, что XY-плоскость соответствует горизонтальной плоскости по данным акселерометра, и масштабировать его таким образом, что средняя глубина Keypoint 1. На протяжении всего слежения, масштаб отображения L 2 R оценивается с использованием нового метода, описанного в разделе IV-A , Кроме того, мы используем оценки позы из EKF, чтобы идентифицировать и отклонять ложно отслеживаются кадров.

2) Расширенный фильтр Калмана: Для того, чтобы расплавить все имеющиеся данные, мы используем расширенный фильтр Калмана (EKF). Мы рассчитали и откалиброваны полную модель движения динамики полета quadrocopter и в реакции на команды управления, которые мы опишем более подробно в разделе IV-B. Этот EKF также используется для компенсации различных временных задержек в системе, возникающие из беспроводной связи LAN и вычислительно сложного визуального отслеживания.

Мы обнаружили, что высота и горизонтальная скорость измерения прибывают с той же задержкой, что немного больше, чем задержка измерений отношения. Задержка визуальной позы оценки Dtvis на сегодняшний день является самым крупным. Кроме того мы учитываем времени, требуемого новой команды управления для достижения беспилотный Dtcontrol. Все временные значения, приведенные впоследствии типичные значения для хорошей связи, точные значения зависят от беспроводного качества связи и определяются комбинацией регулярных эхо-запросов ICMP, отправленных в quadrocopter и калибровочных экспериментов.

Наш подход работает следующим образом: во-первых, мы с отметкой времени все входящие данные и хранить его в буфере наблюдения. Команды управления затем рассчитываются с использованием предсказания для Поставим quadrocopter по адресу т + Dtcontrol. Для этого прогноза, мы начинаем с сохраненным состоянием EKF при Т  Dtvis (т.е. после последнего визуального наблюдения / неудачно отслеживаются кадр).

В дальнейшем, мы предсказываем вперед до Т + Dtcontrol, используя ранее выданных команд управления и интеграции сохраненных измерений датчиков в качестве наблюдений. Это показано на рис. 3. При таком подходе мы можем компенсировать отсроченных и недостающих наблюдений за счет перерасчета последние циклы EKF.

3) PID-контроль: На основании положения и скорости оценок от EKF при Т + Dtcontrol, мы применяем PID-регулятор, чтобы направить quadrocopter в сторону желаемой цели расположение р = (х, у, г; Y) T 2 R4 в глобальной система координат. Согласно государственной оценке, мы вращаем сгенерированные команды управления к роботу-ориентированной системе координат и отправить их на quadrocopter. Для каждого из четырех степеней-offreedom, мы используем отдельный PID-регулятора, для которого мы экспериментально определенный подходящие коэффициенты усиления регулятора.

ВЫВОДЫ

В этой статье мы представили визуальную навигационную систему для недорогих quadrocopter с использованием обработки offboard. Наша система позволяет quadrocopter визуально ориентироваться в неструктурированных, GPS-отказано среде и не требует искусственных ориентиров, ни предварительных знаний об окружающей среде. Вклад этой статьи состоит в два раза: во-первых, мы представили надежное решение для визуальной навигации с quadrocopter низким ценам. Во-вторых, мы получили блок оценки максимального правдоподобия в закрытой форме, чтобы восстановить абсолютную шкалу визуального отображения, обеспечивая эффективную и последовательную альтернативу преобладающих методов фильтрации на основе. Наша система была в состоянии оценить масштаб карты до ± 1,7% от его истинного значения, с которой мы достигли среднего точность позиционирования 4,9 см (в помещении) до 18,0 см (на открытом воздухе). Кроме того, наш подход способен решительно бороться с задержками связи до 400 мс. Мы тестировали нашу систему в наборе обширных экспериментов в различных реальных внутренних и наружных тричном окружении. С помощью этих экспериментов мы показали, что точные, надежные и без дрейфа нуля визуальная навигация возможна даже с недорогими роботизированным оборудованием.

Использованные источники

[1] D. Mellinger and V. Kumar, “Minimum snap trajectory generation and control for quadrotors,” in Proc. IEEE Intl. Conf. on Robotics and Automation (ICRA), 2011.

[2] S. Lupashin, A. Scho¨llig, M. Sherback, and R. D’Andrea, “A sim- ple learning strategy for high-speed quadrocopter multi-flips.” in  Proc. IEEE Intl. Conf. on Robotics and Automation (ICRA), 2010.

[3] M. Mu¨ller, S. Lupashin, and R. D’Andrea, “Quadrocopter ball jug- gling,” in Proc. IEEE Intl. Conf. on Intelligent Robots and Systems (IROS), 2011.

[4] Q. Lindsey, D. Mellinger, and V. Kumar, “Construction of cubic structures with quadrotor teams,” in Proceedings of Robotics: Science and Systems (RSS), Los Angeles, CA, USA, 2011.

[5] S. Grzonka, G. Grisetti, and W. Burgard, “Towards a navigation system for autonomous indoor flying,” in Proc. IEEE Intl. Conf. on Robotics and Automation (ICRA), 2009.

[6] M. Blo¨sch, S. Weiss, D. Scaramuzza, and R. Siegwart, “Vision based MAV navigation in unknown and unstructured environments,” in  Proc. IEEE Intl. Conf. on Robotics and Automation (ICRA), 2010.

[7] M. Achtelik, M. Achtelik, S. Weiss, and R. Siegwart, “Onboard IMU and monocular vision based control for MAVs in unknown in- and outdoor environments,” in Proc. IEEE Intl. Conf. on Robotics and Automation (ICRA), 2011.

[8] M. Achtelik, A. Bachrach, R. He, S. Prentice, and N. Roy, “Stereo vision and laser odometry for autonomous helicopters in GPS-denied indoor environments,” in Proc. SPIE Unmanned Systems Technology XI, 2009.

[9] A. S. Huang, A. Bachrach, P. Henry, M. Krainin, D. Maturana, D. Fox, and N. Roy, “Visual odometry and mapping for autonomous flight using an RGB-D camera,” in Proc. IEEE International Symposium of Robotics Research (ISRR), 2011.

[10] D. Mellinger, N. Michael, and V. Kumar, “Trajectory generation and control for precise aggressive maneuvers with quadrotors,” in Proceedings of the Intl. Symposium on Experimental Robotics, Dec 2010.

[11] D. Eberli, D. Scaramuzza, S. Weiss, and R. Siegwart, “Vision based position control for MAVs using one single circular landmark,” Journal of Intelligent and Robotic Systems, vol. 61, pp. 495–512, 2011.

[12] T. Krajn´ık, V. Vona´sek, D. Fisˇer, and J. Faigl, “AR-drone as a platform for robotic research and education,” in Proc. Research and Education in Robotics: EUROBOT 2011, 2011.

[13] “Ascending technologies,” 2012. [Online]: asctec.de/

[14] M. Blo¨sch, S. Weiss, D. Scaramuzza, and R. Siegwart, “Vision based MAV navigation in unknown and unstructured environments,” in  Proc. IEEE Intl. Conf. on Robotics and Automation (ICRA), 2010.

[15] S. Zingg, D. Scaramuzza, S. Weiss, and R. Siegwart, “MAV navi- gation through indoor corridors using optical flow,” in Proc. IEEE Intl. Conf. on Robotics and Automation (ICRA), 2010.

[16] “Parrot AR.Drone,” 2012. [Online]: ardrone.parrot.com/

[17] S. Weiss, M. Achtelik, M. Chli, and R. Siegwart, “Versatile distributed pose estimation and sensor self-calibration for an autonomous mav,” in Proc. IEEE Intl. Conf. on Robotics and Automation (ICRA), 2012.

[18] G. Nu¨tzi, S. Weiss, D. Scaramuzza, and R. Siegwart, “Fusion of IMU and vision for absolute scale estimation in monocular SLAM,” Journal of Intelligent Robotic Systems, vol. 61, pp. 287 – 299, 2010.

[19] C. Bills, J. Chen, and A. Saxena, “Autonomous MAV flight in indoor environments using single image perspective cues,” in Proc. IEEE Intl. Conf. on Robotics and Automation (ICRA), 2011.

[20] T. Krajn´ık, V. Vona´sek, D. Fisˇer, and J. Faigl, “AR-drone as a platform for robotic research and education,” in Proc. Communications in Computer and Information Science (CCIS), 2011.

[21] W. S. Ng and E. Sharlin, “Collocated interaction with flying robots,” in Proc. IEEE Intl. Symposium on Robot and Human Interactive Communication, 2011.

[22] G. Klein and D. Murray, “Parallel tracking and mapping for small AR workspaces,” in Proc. IEEE Intl. Symposium on Mixed and Augmented Reality (ISMAR), 2007.

Полный текст публикации (англ.). Формат pdf