Исследователи из Университета Карнеги — Меллона (CMU) представили систему LLM-Drone, которая позволяет небольшому квадрокоптеру строить объекты из блоков, получая команды на естественном языке. Технология, сочетающая нейросети, компьютерное зрение и уникальные магнитные блоки, продемонстрировала 90% точность в лабораторных условиях и открывает путь к новому поколению автономных строительных роботов.
От слов к действию: архитектура LLM-Drone
В основе проекта, опубликованного в научном журнале Construction Robotics, лежит идея научить дрон не просто следовать по заранее заданным координатам, а понимать абстрактные цели, такие как «построй крест» или «собери мост». Для этого инженеры CMU создали многокомпонентную систему, работающую в замкнутом цикле обратной связи.
- Планирование с помощью LLM: оператор дает команду в виде текстового запроса. Большие языковые модели (Large Language Models), такие как Claude 3.5 Sonnet, GPT-4o и Gemini Pro 1.5, преобразуют этот запрос в пошаговый план строительства в формате JSON-координат. В ходе тестов модель Claude 3.5 Sonnet показала себя наиболее эффективной в задачах пространственного мышления.
- Техническая реализация: в качестве исполнителя используется исследовательский нано-квадрокоптер Bitcraze Crazyflie 2.1. Его навигация в пространстве обеспечивается системой позиционирования Lighthouse и визуальными маркерами AprilTags, которые считываются внешней камерой.
- Инновационные стройматериалы: вместо традиционной для 3D-печати экструзии материала, которая страдает от вибраций в полете, дрон использует легкие, напечатанные на 3D-принтере блоки с магнитными замками. Особая форма с центрирующим выступом позволяет компенсировать небольшие неточности при установке.
Ключевая особенность — исправление ошибок в реальном времени
Главным преимуществом системы LLM-Drone является ее способность к адаптации. После установки каждого блока система компьютерного зрения на базе алгоритма YOLO-v8 анализирует результат. Если блок установлен неверно или смещен, эта информация передается обратно в LLM. Нейросеть, получив обновленные данные о текущем состоянии конструкции, немедленно пересчитывает план действий для достижения конечной цели с учетом допущенной ошибки.
Эта возможность динамического перепланирования решает одну из главных проблем автономного строительства — непредсказуемость реальной среды. Вместо того чтобы прерывать миссию при первой же ошибке, дрон самостоятельно находит решение, что делает технологию значительно более надежной и жизнеспособной.
Контекст регулирования и будущее автономных систем
Хотя проект LLM-Drone является лабораторным исследованием, он поднимает важные вопросы о будущем регулировании полностью автономных беспилотных систем. Сегодня коммерческое применение таких технологий потребовало бы прохождения сложнейших процедур сертификации, которые пока находятся в стадии разработки.
Европейское агентство по безопасности полетов (EASA) уже работает в этом направлении. Опубликованный документ «EASA Artificial Intelligence Roadmap 2.0» закладывает основу для безопасной и этичной интеграции искусственного интеллекта в авиацию. Документ подчеркивает важность «человеко-ориентированного подхода» и определяет план по созданию нормативной базы для сертификации систем на основе машинного обучения. Это означает, что в будущем подобные строительные дроны должны будут доказать свою надежность, предсказуемость и безопасность на уровне, сопоставимом с традиционной авиацией.
В России нормативная база пока сосредоточена на правилах учета и использования воздушного пространства, а также на вопросах безопасности. Разработка специфических регламентов для БПЛА, управляемых ИИ, является следующим шагом, который предстоит сделать регуляторам по мере развития технологий.
Практическое значение и перспективы
Успех проекта LLM-Drone — это важный шаг на пути к выполнению сложных физических задач в труднодоступных или опасных для человека местах. Потенциальные сферы применения включают:
- Строительство и ремонт: возведение временных конструкций, ремонт мостов, линий электропередач или фасадов высотных зданий.
- Чрезвычайные ситуации: быстрое возведение укрытий в зонах стихийных бедствий или разбор завалов.
- Космическая отрасль: сборка конструкций на орбите, Луне или Марсе, где задержка сигнала делает прямое управление неэффективным.
Команда Университета Карнеги — Меллона планирует продолжить испытания в более сложных условиях, тестируя систему на открытом воздухе и с использованием роя из нескольких дронов, работающих совместно. Это исследование наглядно демонстрирует, что будущее беспилотных технологий — не только в съемке и доставке, но и в созидании.
