Nvidia Jetson/Orin/算能 +FPGA+AI大算力边缘计算盒子：无人机自主飞行软件平台

案例简介

· 所主导开发的 Generalized Autonomy Aviation System (GAAS) 是为无人机以及城市空中交通 (UAM, Urban Air Mobility) 所设计的开源无人机自主飞行框架。通过 SLAM、路径规划和 Global Optimization Graph 等功能为无人机提供在无 GPS 与外部通信情况下的自主飞行功能。

· 本案例中，通过 NVDIA Jetson TX2，GAAS 实现了在无人机机载处理视觉传感器数据，帮助无人机是在全自主客机巡检。

· 本案例主要应用了 NVIDIA Jetson TX2。

背景

泛化智能团队涵盖了机器学习、SLAM、无人机等多方面多领域的专家学者；并且拥有多项国内外领先的专利技术。泛化智能的目标是将无人机从会飞的照相机升级成为可利用 3D 空间的机器人，以此加速无人机各类应用以及 UAM 空中交通的到来。

GAAS (Generalized Autonomy Aviation System) 是一套开源的无人机自主飞行软件平台。GAAS 是目前全球范围内增长最快速的航空类开源项目之一，开发者来自超过 35 个国家和地区。作为一个受 BSD 协议保护的项目，任何企业、研究人员、无人机爱好者都可以合法合规地改动我们的代码来满足其客制化的需求。GAAS 可为无人机提供包括：无 GPS 信号与外部通信时自主飞行、复杂场景降落、全局感知、全局跟踪、 目标识别、3D 还原重建与 3D 路径规划/避障导航等自主飞行功能。

挑战

无人机虽然叫「无人」机，但其实仅仅是天上没有人，而不是不需要人。相反，无人机对人类操作有着严重的依赖。在美国平均一架工业级无人机需要五个人的服务团队：两名飞手、一名维修师、一名地面站工程师和一名路径规划师。在中国一架工业级无人机也需要 3 – 5 个人的班组进行服务。这还没有算上对无人机采集到的数据的处理所需要的大量人力。

而随着无人机硬件的越发成熟，无人机对人类操作依赖的问题也渐渐显露出来。过去十年间，无人机主要的发展方向是如何让人飞行时不要出问题（俗称炸机）。从 2008 年开始，随着各个开源飞控不断的发展，简化了无人机的操作难度同时增强了无人机的稳定性。让飞手飞无人机的时候不需要担心飞机本身会突然出问题。但随着飞控的成熟，业界逐渐意识到对人力的依赖是无人机新的瓶颈。预计到今年年底，我国工业级无人机保有量将达到 46 万架，但截至 2018 年年底，全国累计拥有无人机驾驶员执照的人数仅为 44573 人。飞手缺口巨大。

与此同时，即使有飞手也无法保证无人机作业的成功。比如 Airbus 通过无人机巡检客机，要求每次飞行误差在 10cm 之内，这是飞手无法达到的精度。而且飞手与无人机的配合需要依赖 GPS 等 GNSS 地理位置信息系统，这样在很多场景下，无人机无法使用。比如桥梁巡检桥下没有 GNSS 信号；或者变电站等强干扰环境也无法使用无人机。即使这些场景对于无人机巡检都是刚需。

传统无人机的功能仅仅是基于 GPS 航点的飞行，已经完全无法满足下一个世代无人机自主飞行的需求。因为无人机本身续航载重有限，为了自主飞行就需要高性能低功耗的机载处理器进行边缘计算。而且无人机采集的大量图片，也需要 GPU 运算来进行深度学习的图像识别。

方案

· TX2 助力无人机实现高性能边缘计算。无人机自主飞行对计算设备要求高，但因为续航与载重，无人机只能使用轻量级处理器。在过去，开发者很难找到合适的选择——性能足够的计算设备达不到无人机对重量与功耗的要求；重量与功耗合适的处理器性能却不够。TX2 第一次让无人机开发者找到了合适的选择，性能强劲的同时又有有合适的功耗。并且搭载 GPU 可以更好的通过神经网络处理图像信息，帮助无人机进行自主飞行。

· 详细的文档与支持服务极大方便了开发者的工作。以往无人机开发者只能在特定专有芯片上进行开发。文档不全和支持差是一直以来令开发者头疼的问题。TX2 拥有详尽的开发文档，并且有全球范围的开发者可以帮助我们进行答疑。加速了无人机开发的速度。

目前，通过TX2，GAAS 可以将SLAM、路径规划、自主降落、目标跟踪等一系列算法部署在无人机上，而无需定制芯片和减少功能，GAAS 借由TX2为无人机实现了端到端的无人机自主飞行开源框架。

影响

利用 NVIDIA Jetson TX2，GAAS 让无人机可以有能力做到等同于车辆自动驾驶 Level 4 的级别——除非紧急情况，不需要人类操作介入。这样加速了无人机公司和开发者对于无人机新场景的拓展和利用。

XM-AIBOX-32智能边缘分析一体机是一款高性能、低功耗边缘计算产品。搭载BM1684X主芯片，INT8算力高达32TOPS，FP16/BF16算力高达16TFLOPS，FP32算力高达2TFLOPS，可同时处理32路高清视频，支持32路1080P高清视频硬件解码与12路编码。

本产品高度集成了基于计算机视觉、深度学习网络的高精度AI智能算法以及视频智能化综合管理平台；AI智能算法涵盖了如园区、社区、工地、校园等场景的多种算法，可按需组合、按场景配置；视频智能化综合管理平台支持前端设备管理、实时视频预览、告警推送、取证抓拍、算法在线加载及优化、数据态势分析大屏展示等，设备操作简单、即插即用，同时拥有丰富的北向API接口，可赋能上层业务应用大平台。

1. 产品特点

超高性能计算与编解码能力

• 支持高达32Tops的INT8峰值算力；
• 支持高达16TFLOPS的FP16/BF16半精度算力；
• 支持2TFLOPS的FP32高精度算力；
• 支持高达32路H.264/H.265 1080P@25FPS视频硬件解码；
• 支持高达12路H.264/H.265 1080P@25FPS视频硬件编码。

内置丰富AI算法

• 内置高达30种+AI算法，支持自由搭配，自定义组合；

（支持人员结构化 / 人脸识别 / 车辆结构化 / 车牌识别 / 火焰检测 / 烟雾检测 / 抽烟检测 / 打电话检测 / 玩手机检测 / 未戴口罩检测 / 人员离岗检测/人员睡岗检测 / 人员摔倒检测 /人员静电消除 / 区域人数统计/区域人数不足/区域人数超员/区域人数异常 / 区域入侵检测 / 工服检测 /  安全帽检测 / 反光衣检测 / 电瓶车检测 / 规范停车(车辆违停) / 出入口客流统计 / 周界翻越入侵/人员越界检测/区域徘徊检测/ 消防车通道占用/消防逃生通道占用/垃圾未入桶检测 / 垃圾桶满溢检测 / 垃圾投放提示 /摄像头异常位移检测等算法）

• 每路视频支持最多同时运行3个AI分析任务；
• 支持高达32个视频AI分析任务同时运行，超出32个AI分析任务时可轮询分析。

接口丰富、部署灵活

• 支持丰富接口：1000M以太网口、USB3.0/USB2.0、HDMI、RS-485、RS-232；
• 支持-20℃至+60℃宽温工作环境；
• 支持IP30防护等级，支持无风扇散热（以具体型号为准）；
• 适配支持SATA存储，支持2TB存储容量（以具体型号为准）；
• 选配支持LTE无线回传功能（以具体型号为准）；
• 北向接口：支持HTTP协议、MQTT协议、GB28281
• 南向接口：支持GB28281、Onvif、RTSP

高可靠性、加密保护

• 支高容量eMMC可开发支持主备分区；
• 支持异常类故障告警与保护处理机制；
• 支持可编程加密芯片用于隐私信息保护。

易用工具链，开发灵活

• 一站式深度学习开发工具包Sophon SDK；
• 支持Caffe/DarkNet/TensorFlow/PyTorch/MXNet/ONNX/PaddlePaddle等主流深度学习框架；
• 支持分类、检测主流网络模型，支持自定义算子开发；

支持Docker容器化，算法应用快速部署。

规格参数			XM-AIBOX-32
技术规格	芯片	SOC	BM1684X
		CPU	8核A53@2.3GHz
	AI算力	INT8	32 TOPS
		BT16/FP16	16 TFLOPS
		FP32	2 TFLOPS
	视频/图片编解码	视频解码能力	H.264/H.265: 1080P @800fps
		视频解码分辨率	8K / 4K / 1080P / 720P / D1 / CIF
		视频编码能力	H.264/H.265:1080P @300fps
		视频编码分辨率	4K / 1080P / 720P / D1 / CIF
		图片编/解码能力	600张/秒(JPEG)
		图片解码最大分辨率	32768 * 32768
	内存与存储	内存	16 GB
		eMMC	64 GB
	外部接口	网口	10/100/1000Mbps自适应 *2
		USB	USB3.0 *2、USB2.0 *2
		存储	MicroSD *1
		显示	HDMI *1
		串口	RS232 *1/RS485 *1
	扩展存储	SSD硬盘(选配)	M.2 SSD硬盘
	无线功能	4G/5G无线模块(选配)	Mini-PCIE 4G模块/M.2 5G模块
		天线	SMA Female *1(LTE) SMA Female *4(5G)，需更换底板 SMA Female *2 (Wi-Fi) SMA Female *1(BT)
		SIM	标准SIM卡槽
		Wi-Fi/BT	Wi-Fi支持 802.11a/b/g/n/ac BT5.0
物理规格	尺寸	长*宽*高	210 mm * 130 mm * 44.5 mm
	供电与功耗	供电	直流12V
		典型功耗	≤20W
注：硬盘、4G/5G功能为可选功能，非产品标配，典型功耗不包括硬盘、无线模块功耗