英飞凌与合作伙伴pmd及欧菲光携手开发并推出经济高效的深度感知技术hToF,面向消费类应用。特别是消费类机器人,与配备激光距离传感器(LDS)+避障模块的机器人相比,超小的hToF传感器有助于设计更加纤薄的机器人。
过去几代扫地机器人通常采用随机清洁模式或者是使用LDS+避障模块的方案,效率低下且速度缓慢。新一代机器人则更加智能,它可以通过传感器生成环境地图,对自身进行定位,从而为用户绘制家庭平面图,以便用户从中选择清洁或限制访问的房间和区域。新一代扫地机器人使用同步定位与建图(SLAM)功能,来实现这一目标。
视觉SLAM(vSLAM)使用一个或多个摄像头,并且需要较高的计算能力来从采集到的2D图像中提取深度信息;SLAM方法则使用深度传感器,例如飞行时间(ToF)摄像头,来提供真正的3D图像,并具有高分辨率。深度摄像头可以更加精简高效地实现SLAM,与通常用于清洁机器人、仓库机器人、跟踪无人机等应用的嵌入式处理平台兼容。
混合飞行时间(hToF)是一种全新的ToF技术,它将单一的ToF图像传感器与双光源技术相结合来支持SLAM;避开障碍物;检测悬崖。
独特的hToF技术采用英飞凌的高分辨率REAL3™ ToF传感器,辅以均匀的泛光光源和强大的多点网格光源(spot grid illumination),提供经济高效的解决方案。hToF摄像头具有110°超宽水平视野(FoV),是SLAM和避障的理想之选。
hToF在各种照明条件都能工作,从完全黑暗到明亮的阳光下,以及各种家具和地板的反射和纹理。与其他技术相比(例如,在明亮的阳光下表现不佳的结构光技术,以及在黑暗环境中和重复的纹理下举步维艰的立体视觉技术),这项技术进步带来了巨大的优势。
前几代机器人总是被卡在低矮的家具下,而配备hToF的新型机器人借助高度的降低,加上hToF传感器提供了额外的间隙高度信息,即便在低矮的家具下,也能以更加智能的方式导航。
具体的地图精度取决于hToF传感器配置。虽然一个hToF摄像头对于SLAM就已足够,但添加第二个hToF摄像头,可以扩展FoV,从而生成更准确的地图。
hToF传感器解决方案使得机器人能够以优异的精度生成精确而一致的地图,而不惧玻璃墙、非矩形房间、深色地板材料和杂乱的家具等挑战性环境。hToF提供的3D深度图像数据能够使机器人具备智能功能,例如,通过将框架检测为墙壁,正确处理玻璃墙。
利用 pmd 的 Royale 深度库和 SLAM(使用 Google Cartographer 实现)对 hToF 数据进行深度处理所需的计算量,已在机器人技术嵌入式平台(NVIDIATM™ Jetson Nano、Qualcomm™ RB5 和 Raspberry™ Pi 3B)上进行了基准测试。
在RB5大核(A77)上,在一个核上对一个包含点和泛光数据的混合帧进行深度处理需要2.24毫秒,在RB5小核(A55)上为8.44毫秒,在Raspberry 3B(A53)上为20.3毫秒。如果使用单核进行深度处理,则A77在2.4 GHz时的处理器负荷为2%,A55在1.8 GHz时为8%,A53在1.2 GHz时为20%。
平均而言,Google的Cartographer在评估场景,需要10%的A77核和34%的A55核。这些结果令人印象深刻地表明,即使是A55单核也足以同时进行hToF深度处理和SLAM。这与通常需要双核或更多核进行处理的vSLAM系统形成鲜明的对比。
总而言之,英飞凌的hToF传感器与pmd处理技术为消费类机器人提供了强大的解决方案,同时支持SLAM、避障和悬崖检测。基于hToF深度数据的开源SLAM算法生成的地图十分准确可靠。这种解决方案计算精简高效,仅需要A55单核即可进行深度处理和SLAM计算。