【IEEE T-RO】关键点引导的无人机6D位姿估计及域自适应现有的无人机视觉检测通常关注于2D图像检测，本文提出了一种新型无人机6D姿态估计方法，命名为MAV6D。

　　该方法能够检测目标无人机的3D边界框并估计它的3D位置和3D姿态。无人机的姿态与它的运动状态动态耦合，能够帮助我们更好地估计其运动。

　　由于目前仍缺乏公开可用的无人机6D位姿数据集，本文提出了一种自动化数据收集方法并提供了一个高质量的无人机位姿数据集； 为了提高检测方法在不同环境下的适用性和鲁棒性，本文还 提出了一种基于自训练的无监督领域自适应方法。

　　我们所提出的MAV6D方法由两部分组成。第一部分是利用提出的质心点引导的关键点定位网络（见图2）来定位预设3D关键点在图像中的2D投影位置；第二部分是联立2D-3D关键点对，利用PnP方法计算出目标无人机相对于观测相机的3D位置和3D姿态。

　　值得注意的是，无人机的预设3D关键点需要我们提前定义，如图3所示。对于任何给定的四旋翼无人机，定义了九个关键点，包括一个质心点和八个角关键点。

　　我们提出了一种自动化数据采集系统，该系统由运动捕捉系统（如VICON）、单目相机和无人机组成。每个组成部分坐标系定义如图4所示。为了生成准确的位姿标签，必须精确校准VICON、相机和无人机之间的坐标系转换关系。我们采用重投影误差最小化方法来计算相机到无人机的变换矩阵。通过优化从VICON获取的3D点坐标和这些点在图像中的2D投影坐标之间的关系，来获得相机坐标系到无人机坐标系的精确变换矩阵。

　　利用标定好的坐标系，使用大疆Phantom 4和大疆Mavic 2作为目标无人机，我们收集了超过57000张图像和对应的位姿，它们来自129个视频片段。数据集的部分样本如图5所示。目前，该数据集已开源。

　　接下来，利用收集的数据集来评估方法性能，将所提方法与YOLO6D、ROPE和EfficientPose进行比较。从表1中可以看出，所提方法具有更好的表现。

　　为了使无人机6D位姿估计方法在不同环境中都能正常工作，我们提出了一种基于自训练的无监督域自适应方法，见方法1。该方法主要由混合域数据构建、伪标签生成和关键点定位网络重训练三部分组成。它的核心思想是通过在关键点定位网络的训练数据中不断添加目标域的伪标签数据，使网络的知识能够从源域迁移至目标域，从而实现在目标域中估计无人机的6D位姿。

　　从图6中可以看出，经过该方法处理后，MAV6D方法在室外环境中的性能有了显著提升。另外，我们还在室外测试了光照强度、遮挡、动态背景im电竞、多目标等多种因素对MAV6D方法性能的影响，效果见图7-图10。

　　实验结果表明：1）光照强度不低于2200 lx时，方法性能影响不大；2）MAV6D在动态背景和多无人机的情况下均能取得较优异的性能；3）当遮挡超过50%时，MAV6D的估计结果会逐渐偏离线 基于自训练的无监督域自适应方法

　　为了解决这个问题，我们提出了一种基于位姿的卡尔曼滤波方法。该方法将无人机6D位姿估计方法获得的姿态信息作为真值引入到目标无人机的系统状态转移方程中，增加了卡尔曼滤波方法的非线性表达能力。

　　在许多应用中，还存在估计未知无人机6D位姿的需求。目前，该问题还未得到充分探索。欢迎感兴趣的朋友一同在该问题上继续深耕。