NEC与东京工业大学联合开发“多模图像融合技术”,以AI技术大幅提高恶劣条件下视觉识别度

NEC与日本国立大学法人东京工业大学工学院奥富正敏教授、田中正行特定副教授的研究团队（以下简称东京工业大学）共同开发了“多模（注1）图像融合技术”，通过AI技术将一般摄像头拍摄的可见光图像与热成像相机拍摄的非可见光图像进行自动高效合成，且提高了单个图像拍摄时的视觉识别度。

在需要瞬时视觉识别的各个领域中利用此项技术，即便在恶劣条件下也可以实现正确判断。例如，夜间或浓雾等恶劣天气条件下也可以正常进行的设施监控；即便迎面行驶汽车的刺眼的车灯及黑暗造成视觉死角也可以使用的自动驾驶支持；不仅可以监测建筑表面的裂缝，还可以监测其内部异常的基础设施点检等。

以往想要合成不同种类摄像头拍摄的图像需要专家进行复杂的手动合成作业。而此技术则将各种摄像头采集的图像通过AI技术自动高效合成，无需手工操作。并且充分利用可见光图像和非可见光图像各自的优势，即便是以往人眼难以看清的场景也可以获得较高的视觉识别度。

NEC与东京工业大学今后也将继续通过产学合作形式共同研发支撑各项社会基础设施安心安全运转的图像处理以及AI相关技术。

【背景】

近年来，在图像传感器的不断升级及成本持续下降的背景下，将热成像摄像头及可捕捉物体内部构造的X光・太赫兹波・毫米波摄像头等非可见光摄像头应用到夜间、浓雾等恶劣天气、逆光、遮蔽等不利条件下的监控及诊断的情况越来越普及。但是这些非可见光摄像头比可见光摄像头的分辨率和画质都要低，视觉识别起来很困难，因此需要将可见光摄像头与之配合在一起使用，通过对比双方的图像进行监视和诊断。因此，想要快速精准地判断对象物体的状况是比较困难的。为解决这个课题，最好的办法就是将两种图像合成一个图像，但是过去的合成办法需要精通摄像头和摄影环境的专家亲自手动调整，从各自单独的图像中抽取出适于合成的部分，一边注意防止过度曝光和曝光不足以及噪点增强破坏图像等问题，一边进行复杂的图像合成作业。另外，在非可见光中包含的用于判断异常及危险物的特征很可能因为合成造成丢失，这也是一个重要课题。

NEC与东京工业大学通过学习了专家的变换技能的AI技术，将可见光摄像头与非可见光摄像头拍摄的图像自动高效统合，提高对象物・状况的视觉识别度，共同开发了即便在恶劣环境下也可以快速判断是否存在异常或危险物的“多模图像融合技术”。

图1：本技术适用例(注2)

【新技术的优点】

AI技术自动从多个图像中选择出视觉识别度高的图像，并在强调非可见光中包含的细小特征的同时进行图像合成，从而实现打破以往局限性的高度视觉识别。

AI技术会根据热成像摄像头、太赫兹摄像头等摄像头种类、环境特征（亮度、光线方向、有无障碍物）等不同条件，对图像内各部分的视觉识别度的高低进行评价，从而从各个图像中自动抽取出最适宜的部分。

此外，AI技术在处理非可见光摄像头拍摄的图像时，会针对异常及危险物的细小特征进行解析，进行适当的强弱调整以避免因过度曝光及曝光不足而破坏图像，从而自动生成以往无法实现的高视觉识别度的多模（可见光-非可见光）融合图像。

(注1) Multimodal（多模）

多种模式、形态。本文中提到的多模是指可见光摄像头拍摄的图像和红外线摄像头等非可见光摄像头拍摄的图像。

(注2) 获得创新研发推进项目（ImPACT）Tough Robotics Challenge关于恶劣环境模拟设备的许可并使用。