廉价无人机更智能:百元级无人机实现实时视觉功能

廉价无人机更智能:百元级无人机实现实时视觉功能

Andrei-Marian Ungureanu, Stelian Spînu

1 分钟阅读•2026年7月6日

研究人员将三种AI视觉能力——人脸检测、人脸识别和单目深度估计——集成到一架售价不到100美元的DJI Tello无人机上。结果形成了一个模块化、开源的系统,能够追踪人员、扫描室内空间并自主跟随线条,所有处理均在无人机内置计算机上实时完成。

目录

研究内容

研究团队为DJI Tello(一款手掌大小的现成四轴飞行器)设计了集成AI系统。他们用模块化软件栈替换了标准飞控,该软件栈实时运行三个神经网络:一个用于检测人脸,一个用于识别特定个体(通过轻量级嵌入),另一个用于从单摄像头估计深度。搭档笔记本电脑(或机载Raspberry Pi)上的Python服务器负责推理和指令生成。基于Web的界面让操作员可以控制无人机,并观看带有AI注释叠加的实时视频流。

系统运行三种不同模式:人员追踪(跟随选定人员并保持距离)、室内扫描(通过检测障碍物并调整路径系统化地绘制房间地图)和自主线条跟随(使用虚拟传感器跟踪地面上的彩色线条,无需额外硬件)。所有模型均选择低计算成本——MobileNet变体和轻量级深度网络——因此在普通的ARM处理器上能以15–20帧/秒的速度运行。

来自深度估计无人机系统的室内扫描与避障可视化

关键成果

在真实世界测试中,系统在步行速度(最高1.5米/秒)下实现了可靠的人员追踪,暂时遮挡后重新捕获时间低于2秒。在受控室内照明条件下,人脸识别准确率在小型注册数据集(10人)上达到92%。单目深度估计产生了可用的障碍物地图,帧率为8–12帧/秒,足以在自主扫描期间避开墙壁和家具。

模块化架构在视频捕获和指令输出之间仅增加0.3秒延迟——完全在稳定飞行的容忍范围内。与仅使用PID控制器的基线相比,AI增强系统在扫描任务中减少了70%的人工干预。整个硬件成本(无人机+搭档计算机)低于200美元,比Skydio或Autel等商用产品便宜一个数量级。

未报告标准基准(如ImageNet准确率、ETH3D深度误差);性能仅在特定任务场景中测量。

工作原理

软件栈分为三层:

  1. 感知层 – 单个RGB摄像头输入(720p,30帧/秒)被送入三个并行的轻量级神经网络:用于人脸检测的MobileNet-SSD、用于识别的FaceNet衍生嵌入网络,以及用于单目深度估计的MiDaS-v2小型变体。每个模型在单独线程上运行以保持并发。
  1. 控制层 – 输出融合为状态向量(目标位置、距离、深度图)。有限状态机选择活动模式:追踪、扫描或线条跟随。简单的PID控制器将期望行为映射为电机指令,并带有障碍物接近的安全超控。
  1. 接口层 – 基于Flask的Web服务器流式传输带有AI叠加的视频,并通过REST API或鼠标/键盘Web图形用户界面接受指令。无人机通过Wi-Fi使用Tello SDK连接,以10 Hz频率发送指令包。

创新在于集成:每个组件都是可替换的。用户可以将深度网络切换为立体视觉模块,或将人脸识别器替换为目标检测器以执行不同任务。Web界面还记录所有推理数据,用于任务后分析。

基于Web的控制界面,显示带有人脸检测边框和深度图叠加的无人机摄像头画面

对机器人技术的意义

这项工作证明了实时视觉智能并不局限于昂贵的军用无人机。通过使用开源模型和售价100美元玩具无人机,研究人员展示了一种低成本自主无人机的可复制蓝图。这为小企业、救援队和爱好者开辟了可能性,使他们能够在无需六位数预算的情况下部署人员跟随或室内检查无人机。

模块化设计尤为重要:它允许快速适应。将人脸检测器替换为热力图模型,就能得到消防辅助无人机。将线条跟随模式切换为跟踪仓库中的管道,就能得到低成本库存扫描仪。对于工业用户来说,这意味着单个平台可以重新配置用于多种任务——降低硬件成本和培训开销。

在Robot Overflow上查看二手工业机器人和仓库机器人,了解类似自主平台在生产环境中的卓越表现。

局限性与待解决问题

该系统飞行时间短(Tello电池约13分钟),在直射阳光下表现不佳,摄像头动态范围饱和。人脸识别准确率在大视角或强侧光下急剧下降(视角大于60°时低于60%)。深度估计仍然粗糙——小于20厘米的物体会被忽略,可能导致与薄家具碰撞。

搭档计算机增加了重量:报告测试使用的是地面笔记本电脑,而非机载处理器。机载Raspberry Pi 4仅能达到10帧/秒,影响追踪稳定性。最后,该系统尚未在室外风或GPS受限条件下测试,限制了其在露天搜救任务中的当前适用性。

常见问题

研究人员使用了什么无人机? DJI Tello,一款售价99美元的四轴飞行器,配备720p摄像头和Wi-Fi连接。

它可以多快追踪移动的人? 可靠地跟随步行速度最高1.5米/秒的人,视线丢失后2秒内重新捕获。

我能不借助笔记本电脑在自己的无人机上运行吗? 直接在Raspberry Pi 4上机载运行速度约为10帧/秒,对于飞行来说略逊一筹。需要更强大的机载计算机(如NVIDIA Jetson)才能达到全速性能。

系统是开源的吗? 是的,作者声称代码和模型配置已根据开源许可证发布,但摘要中未提供直接仓库链接。

结论

该项目展示了人脸追踪、识别和深度映射等先进AI能力可以在售价100美元的无人机上运行,并采用模块化软件栈。虽然尚未为恶劣室外条件做好生产准备,但它为经济实惠、可定制的自主无人机铺平了清晰道路,适用于室内检查、安全巡逻和搜索辅助。

你最希望用不到200美元的自主无人机自动化什么实际任务?