据国外媒体报道,英国布里斯托大学和曼彻斯特大学共同开发了一种相机,该相机可以学习和理解您所看到的内容,从而有助于实现智能相机。 SCAMP-5D视觉系统上的卷积神经网络以每秒8200帧的速度对手势进行分类(图片来源:布里斯托大学)。机器人和人工智能(AI)研究人员都知道当前系统正在感应到处理世界。仍然有必要将传感器(例如,用于记录图像的数码相机)和计算设备(例如,用于视频游戏加速的图形处理单元(GPU))相结合。这也意味着AI系统只能在记录和传输传感器与处理器之间的视觉信息之后才能感知世界。但是,看到的许多东西通常与手头的任务无关,例如,一辆自动驾驶汽车在路边经过。但是,所有这些信息现在都可以由传感器准确捕获并发送到系统,从而导致系统阻塞不相关的数据,消耗能量和处理时间。因此,需要一种不同的方法来使智能机器获得高效的视觉功能。为此,布里斯托大学和曼彻斯特大学合作展示了如何将感知与学习相结合,以创建一种用于AI系统的新型相机。研究人员说,他们可以从自然系统处理视觉世界的方式中汲取灵感。例如,人类无法感知一切。大脑和眼睛共同了解世界。在某些情况下,眼睛会自行处理,以帮助大脑减少对无关紧要的事物的理解。例如,青蛙眼睛上的检测器可以在直接感知图像的地方检测到诸如苍蝇之类的物体。该研究从两个方面进行了改进。首先,直接在图像平面上执行卷积神经网络(CNN,一种用于理解视觉信息的AI算法)。团队开发的CNN可以每秒将帧分类数千次,而无需记录此类图像或将其发送到处理管道。研究人员考虑对手写数字,手势甚至浮游生物进行分类,以进行演示。这项研究表明,未来的专用智能AI摄像机视觉系统可以简单地将高级信息发送到系统的其他部分,例如出现在摄像机前面的对象的类型或发生的事件的类型。由于无需记录图像,因此该方法使系统更高效,更安全。其次,该研究还受益于SCAMP体系结构。 SCAMP是摄像头处理器芯片,该团队将其用作像素处理阵列(PPA)。 PPA在每个像素中都嵌入了一个处理器,像素之间可以相互通信,可以真正并行地进行处理,最终实现理想的CNN和视觉算法。研究人员说:“在每个像素上集成感测,处理和存储技术不仅可以实现高性能,低延迟的系统,而且还可以实现低功耗,高效率的硬件。 SCAMP设备和当前相机传感器的能耗类似,但是有一个通用的大规模并行处理器用于捕获图像点。