연구진이 100달러 미만의 DJI Tello 드론에 세 가지 AI 비전 기능(얼굴 감지, 얼굴 인식, 단안 깊이 추정)을 탑재했습니다. 그 결과, 모듈식 오픈소스 시스템이 탄생했으며, 이 시스템은 드론 내장 컴퓨터에서 실시간으로 처리되어 사람 추적, 실내 공간 스캔, 자율 라인 추종을 수행할 수 있습니다.
목차
연구진이 구축한 시스템
연구팀은 DJI Tello(손바닥 크기의 기성 쿼드콥터)를 위한 통합 AI 시스템을 설계했습니다. 표준 비행 컨트롤러를 모듈식 소프트웨어 스택으로 교체하여 세 가지 신경망을 실시간으로 실행합니다. 하나는 사람 얼굴 감지, 하나는 특정 개인 인식(경량 임베딩 사용), 나머지 하나는 단일 카메라로 깊이 추정을 수행합니다. 동반 노트북(또는 온보드 라즈베리 파이)의 파이썬 서버가 추론과 명령 생성을 처리합니다. 웹 기반 인터페이스를 통해 운영자는 드론을 제어하고 AI 주석이 오버레이된 라이브 비디오 피드를 볼 수 있습니다.
이 시스템은 세 가지 모드로 작동합니다: 사람 추적(거리를 유지하며 선택한 사람 추적), 실내 스캔(장애물 감지 및 경로 조정으로 방을 체계적으로 매핑), 자율 라인 추종(추가 하드웨어 없이 컬러 라인을 가상 센서로 추적). 모든 모델은 낮은 연산 비용을 위해 선택되었습니다(MobileNet 변형 및 경량 깊이 네트워크). 따라서 보급형 ARM 프로세서에서 초당 15~20프레임으로 실행됩니다.
주요 결과
실제 테스트에서 이 시스템은 걷는 속도(최대 1.5m/s)에서 안정적인 사람 추적을 달성했으며, 일시적인 가림 후 재획득 시간은 2초 미만이었습니다. 얼굴 인식 정확도는 통제된 실내 조명에서 소규모 등록 데이터셋(10명)에 대해 92%를 기록했습니다. 단안 깊이 추정은 초당 8~12프레임으로 사용 가능한 장애물 지도를 생성하여 자율 스캔 중 벽이나 가구를 피하는 데 충분했습니다.
모듈식 아키텍처는 비디오 캡처와 명령 출력 사이에 0.3초의 지연만 추가하여 안정적인 비행에 충분한 수준입니다. PID 전용 컨트롤러와 비교하여 AI 강화 시스템은 스캔 작업 중 수동 개입을 70% 줄였습니다. 전체 하드웨어 비용(드론 + 동반 컴퓨터)은 200달러 미만으로, Skydio나 Autel과 같은 상용 제품보다 훨씬 저렴합니다.
표준 벤치마크(ImageNet 정확도, ETH3D 깊이 오류 등)는 보고되지 않았으며, 성능은 작업별 시나리오에서만 측정되었습니다.
작동 원리
소프트웨어 스택은 세 계층으로 나뉩니다:
- 인식 계층 – 단일 RGB 카메라 피드(720p, 30fps)가 세 개의 병렬 경량 신경망(얼굴 감지용 MobileNet-SSD, 인식용 FaceNet 기반 임베딩 네트워크, 단안 깊이 추정용 MiDaS-v2 소형 변형)에 입력됩니다. 각 모델은 별도 스레드에서 실행되어 동시성을 유지합니다.
- 제어 계층 – 출력이 상태 벡터(대상 위치, 거리, 깊이 맵)로 융합됩니다. 유한 상태 기계가 활성 모드(추적, 스캔, 라인 추종)를 선택합니다. 간단한 PID 컨트롤러가 원하는 동작을 모터 명령으로 변환하며, 장애물 근접에 대한 안전 오버라이드가 있습니다.
- 인터페이스 계층 – Flask 기반 웹 서버가 AI 오버레이가 포함된 비디오를 스트리밍하고 REST API 또는 마우스/키보드 웹 GUI를 통해 명령을 수락합니다. 드론은 Tello SDK를 통해 Wi-Fi로 연결되며, 10Hz로 명령 패킷을 전송합니다.
혁신은 통합에 있습니다. 각 구성 요소는 교체 가능합니다. 사용자는 깊이 네트워크를 스테레오 비전 모듈로 교체하거나 얼굴 인식기를 다른 임무를 위한 객체 감지기로 교체할 수 있습니다. 웹 인터페이스는 모든 추론 데이터를 기록하여 사후 분석에 활용할 수 있습니다.
로봇공학에 중요한 이유
이 연구는 실시간 시각 지능이 값비싼 군용 드론에만 국한되지 않음을 증명합니다. 오픈소스 모델과 100달러 장난감 드론을 사용함으로써 연구진은 저비용 자율 UAV를 위한 재현 가능한 청사진을 제시합니다. 이는 소규모 기업, 구조대, 취미인이 6자리 예산 없이 사람 추적 또는 실내 검사 드론을 배포할 수 있는 가능성을 열어줍니다.
모듈식 설계는 특히 중요합니다. 빠른 적응이 가능하기 때문입니다. 얼굴 감지기를 열화상 맵 모델로 교체하면 소방관 지원 드론이 됩니다. 라인 추종 모드를 창고의 파이프 추적으로 전환하면 저비용 재고 스캐너가 됩니다. 산업 사용자의 경우 단일 플랫폼을 여러 작업에 재구성할 수 있어 하드웨어 비용과 교육 오버헤드를 줄일 수 있습니다.
생산 환경에서 이미 유사한 자율 플랫폼이 탁월한 성능을 보이는 중고 산업용 로봇 및 창고 로봇을 Robot Overflow에서 확인하세요.
한계 및 향후 과제
이 시스템은 비행 시간이 짧고(텔로 배터리 13분) 직사광선에서 카메라 동적 범위가 포화되어 어려움을 겪습니다. 얼굴 인식 정확도는 넓은 시야각이나 강한 측면 조명에서 급격히 떨어집니다(60° 이상 각도에서 60% 미만). 깊이 추정은 여전히 거칠어 20cm 미만의 물체는 놓쳐 얇은 가구와 충돌할 수 있습니다.
동반 컴퓨터는 무게를 추가합니다. 보고된 테스트는 온보드 프로세서가 아닌 지상의 노트북을 사용했습니다. 온보드 라즈베리 파이 4는 10fps만 관리하여 추적 안정성이 저하되었습니다. 마지막으로, 이 시스템은 바람이나 GPS 불가 환경에서 야외 테스트를 거치지 않아 현재 야외 수색 구조 임무에 적용하기에는 한계가 있습니다.
자주 묻는 질문
연구진이 사용한 드론은 무엇인가요? DJI Tello로, 99달러 쿼드콥터이며 720p 카메라와 Wi-Fi 연결을 갖추고 있습니다.
움직이는 사람을 얼마나 빠르게 추적할 수 있나요? 최대 1.5m/s로 걷는 사람을 안정적으로 추적하며, 시야에서 사라진 후 2초 이내에 재포착합니다.
노트북 없이 자체 드론에서 실행할 수 있나요? 라즈베리 파이 4에서 직접 온보드 구현 시 10fps로 실행되어 비행에 불안정합니다. NVIDIA Jetson과 같은 더 강력한 온보드 컴퓨터가 필요합니다.
오픈소스인가요? 네, 저자들은 코드와 모델 구성이 오픈소스 라이선스로 공개되었다고 밝혔지만, 초록에는 직접 저장소 링크가 제공되지 않았습니다.
결론
이 프로젝트는 얼굴 추적, 인식, 깊이 매핑과 같은 고급 AI 기능이 모듈식 소프트웨어 스택을 통해 100달러 드론에서 실행될 수 있음을 보여줍니다. 혹독한 야외 조건에서 생산 준비가 완료된 것은 아니지만, 실내 검사, 보안 순찰, 수색 지원에 적합한 저렴하고 맞춤형 자율 UAV를 위한 명확한 경로를 제시합니다.