图像传感器运行神经网络!实现纳秒级时间内图像分类,或将推进边缘计算

  • 日期:03-25
  • 点击:(876)


利用人工神经网络对图像进行纳秒级分类已经成为现实。

最近,奥地利维也纳理工大学光子学研究所的卢卡斯门内尔?博士等研制的一种超高速机器视觉设备有自己的带神经网络的图像传感器,图像处理速度提高了几十万倍。

2020当地时间?第三年?4月4日?上述团队的一篇名为《基于2D材料神经网络图像传感器的超快速机器视觉》(基于2D材料神经网络图像传感器的超快速机器视觉)的研究论文于8日发表在《自然》杂志《自然》上。

雷锋了解到,团队设计的视觉设备像大脑一样处理信息,可以在40纳秒内区分两种不同的图像。

人工神经网络

Vision可以同时采集和分析图像,是人类认识世界最重要的方式。受此启发,“机器视觉”近年来方兴未艾。

所谓的机器视觉是用机器代替人眼来测量和判断。然而,机器视觉不仅是人眼的简单延伸,也是人脑功能的一部分从图像中提取、处理和理解信息,从而用于实际的测量和控制。

就机器视觉技术本身而言,它的主要过程是摄像机逐行扫描像素,然后将视频帧转换成数字信号,然后传输到计算机进行分析。

然而,问题是由于传感器和处理单元之间的大量数据的移动,信息不能被快速处理和决定,这是机器视觉经常面临的延迟。

考虑到上述因素,研究小组在图像传感器中引入了人工神经网络,可以同时采集和分析图像。

说到人工神经网络,它实际上是一个操作模型,由大量相互连接的节点(也称为神经元)组成。其中,神经元作为核心接收和处理数据,在图像识别、智能机器人、自动控制、预测估计等领域发挥着重要作用。

具体来说,人工神经网络可以反复调整神经元之间的连接强度或“突触”,观察当前的行为模式是否能更好地解决问题,从而找出哪些模式最擅长计算解决方案。然后,人工神经网络将这些模式设置为默认值来模拟人脑的学习过程。

事实上,那天的《自然》新闻杂志?然后呢。《观点》专栏还发表了香港理工大学博士杨柴的评论?机器视觉的传感器内计算。

在他的文章中,杨柴?医生通过下图清楚地显示了两种视觉处理方法的区别:

传统及其视觉处理过程(下图?部分:传感器收集信号,通过模数转换器(模数转换器)将模拟信号转换成数字信号,放大信号,将放大的信号输入到外部人工神经网络,并通过参数调整来训练神经网络。神经网络输入层接收编码简单物理元素的信号(点、线),然后将这些信号优化成中间特征(简单形状),最后在输出层上形成图像(3D形状);

卢卡斯门内尔?团队图像传感器流程(下图?零件:芯片上相互连接的传感器(图中的正方形)收集信号,并用作人工神经网络来识别简单特征,减少传感器和外部电路之间的冗余数据移动。

发光二极管神经网络

回到研究结果本身,上述传感器实际上是一个光电二极管神经网络,即?9个像素的正方形阵列,每个像素有3个二极管。此外,它的感光材料是2D半导体二硒钨(WSe2),它有能力调整对光的反应。

同时,二极管的灵敏度相当于神经网络中的权重,其权重直接集成在图像传感器上。

其具体工作流程如下:当图像投射到芯片上时,会产生、组合和读取各种二极管电流。该阵列提供模拟计算,即每个光电二极管产生与入射光强度成比例的输出电流,并根据基尔霍夫定律(电路中电流的基本规则)沿行或列对所得电流求和。然后阵列开始训练。

两种神经形态功能

此外,研究小组根据不同的神经网络算法展示了两种神经形态功能。

一个是“分类”。3×3像素阵列可将图像分为三个字母N、V和Z,经过训练的图像传感器可根据“测量相应电路的电流是否为0”的标准(单位为纳秒)识别字母(下图D)。据报道,如果阵列比例成比例地增加,可以识别更复杂的图像。

2是“自动编码”。即使存在信号噪声,神经网络也可以通过学习图像的关键特征来生成经处理的图像的简化表示。

但是,雷锋也了解到这个系统有很多局限性,比如:

在昏暗的环境下很难成像;

它的设计要求高电压,消耗大量电能;

很难大面积生产和加工半导体。

最多只能处理3×3个图像。

但是作者之一?卢卡斯门内尔?医生说:“我们的图像传感器工作时不会消耗任何电能,探测到的光子本身可以作为电流提供能量。传统的机器视觉技术通常每秒可以处理100幅图像,而一些速度更快的系统每秒可以处理1000幅图像,但是我们的系统每秒可以处理2000万幅图像。

可以看出,虽然对新技术的登陆有或多或少的限制,但这个系统在能耗和速度方面确实表现不错,杨柴?医生在他的文章中也肯定了这项技术:“这项技术不局限于视觉系统,它可以用于听觉、触觉或嗅觉感知。这个智能系统的开发和5G?高速无线网络的出现将使实时(低延迟)边缘计算在未来成为可能。

参考:

. IEEE . org/Tech-Talk/Computing/Hardware/Image-Neutral

. IEEE . org/Tech-Talk/Computing/Hardware/Image-Neutral