全新的智能感知方案,安森美半导体助力自动驾驶发展

物联网与传感器   作者:白柴 时间:2020-10-04来源:电子产品世界

从第一次工业革命机械化到第二次工业革命电力化,到第三次工业革命计算机数字化,到现在第四代工业革命人工智能化、信息化。人工智能对人类社会的方方面面的影响和改变是远远超过计算机数字工业革命带来的改变。斯坦福大学人工智能专家,“人工智能之父”Andrew Ng认为人工智能是新的电力,就像第二次工业革命电力给整个人类带来的一个巨大的深入改变;数据是人工智能的动力和发动机,感知是数据的燃料。

为推动AI和第四次工业革命的进步,安森美半导体在感知上做了非常久的投入,包括图像感知,多光谱、高光谱的感知,激光雷达感知、毫米波雷达感知、传感器融合深度感知。9月25日,安森美半导体召开“智能感知策略及方案”在线媒体交流会,安森美半导体智能感知部全球市场和应用工程副总裁易继辉向电子产品世界等媒体介绍了,公司在智能感知方面的新进展和策略。

1601742604419193.png

图像传感器:技术先进 性能优越

1601742545330798.png

图像传感器示意图

上图是图像传感器的内部结构,看起来像是高楼大厦,一共有六层,都是由半导体制成。市场上有一个误区,认为GPU和CPU是半导体里挑战性和难度最高的,实际上和传感器相比它是小巫见大巫。因为GPU和CPU里,它所要对付的主要在电子(Electron);但在图像传感器里,既要对付电子又要对付光子,光子和电子的结合使图像传感器变成非常复杂的半导体。未来还有更多芯片可以叠加起来,加上一些更智能化的,包括人工智能都可以直接放在图像传感器里。

图像传感的光电转换过程:光子打进来以后转换成电核,变成电信号,就相当于下雨时拿着水桶接雨,水桶越大接的雨量越大;同样,容积越大,光子转化成电子的电容、电荷量就越多。安森美半导体利用新技术,在传统小像素旁边开个大的蓄水池,把多余的电荷流到这边,从而使整个光强量、信息量提高,动态范围增加。此技术多用在端摄影机里,比如好莱坞著名导演李安拍摄《少年派的奇幻漂流》使用的ARRI公司摄影机,就是用的安森美半导体的图像传感器。现在,安森美逐渐将这个技术转入汽车行业,汽车的传感器;接下来会逐渐转入到工业机器视觉和其他领域。

Hayabusa系列产品用了这个技术以后,一次曝光就能实现95dB;经过多次曝光可以达到120dB;未来的平台,下一代的产品一次曝光有望达到110dB,多次曝光可以达到140dB。

100dB的宽动态是什么概念?以下图为例,这是夜晚经常碰到的场景,在这个场景下,车灯的宽动态范围是102dB。如果传感器只是70dB,这种场景很多细节是看不出来的。比如旁边有一个行人,如果传感器的宽动态不够,不到100dB,是看不出来这有一个行人;若用在机器视觉,可能侦探不到有一个行人在车子旁边。而安森美的110dB传感器完全可以提供非常详细的信息。

1601742661928175.png

汽车感知的挑战与方案

汽车感知的挑战主要体现在成像上,具体来说有三个方面:

• 一是宽动态。大家开车的经验经常是,路的方向是固定的,在路上开车时没有办法控制太阳什么时候在哪个方向,有的时候就需要逆着太阳开。在自动驾驶时,这样的情况对摄像头的要求就非常得高。大家也有许多的经验,在强光下,因为光线太强了,周围一片黑,什么都看不见;从暗到亮,从车库、隧道出来,如果宽动态不够,可能根本没有办法看到或者只能看到暗处,或者只能看到亮处。

• 二是环境条件,车要能在东北零下几十度的环境开,也能够在沙漠开或者南方高温条件下开。

• 三是对图像传感器来说很独特的挑战:辨别LED指示牌、交通灯。现在包括中国、欧洲、美国、日本、其他国家在公路上都已经开始实行电子管控牌,都是用LED,对人来讲非常舒服,老远就看得清清楚楚,很明亮,特别是夜晚。但这样的LED因为闪烁频率没有标准,不一样。所以,图像传感器有的时候容易因为频率不同步,经常捕捉不到信号。对驾驶员人眼来看没有太大问题,但对机器视觉就是很大的挑战。过去的方案都是在软件里来解决,现在解决方案都已经做到芯片级了,做到硬件里面去直接解决掉。

1601742791307642.png

汽车自动驾驶成像的多样化,包括外部感知、内部感知、增强视觉。外部感知非常复杂,包括远近、大小车辆、自行车;行人,大人、小孩、老人;一些路标、车线,斑马线,交通灯;要全天候的,白天,晚上,刮风,下雨,下雪,雾天;各个季节,春、夏、秋、冬都要能够实现这样的感知,环境非常多样化。

内部感知,从最早只是对驾驶员的疲劳监控(从看驾驶员眼睛的注意力和睫毛的抖动侦查出是否疲劳),逐渐地扩大到驾驶员有没有在用手机,有没有分散精力,有没有系好安全带,还进一步扩大到乘客的感知。这也是一个未来新兴市场。

视觉增强,主要是为了给驾驶员和乘客提供更好的视觉感知,包括电子后视镜,不需要回头就能在后视镜直接看到真正的电子图像;而且这种叠加,特别是把高清地图和真实路况叠加起来,告诉你前面哪里有加油站,哪里有重要的景点,哪里有红绿灯。这些都是视觉增强的应用,让驾驶员能够更安全地驾驶。

1601742831519228.png

针对智能驾驶舱解决方案,安森美半导体有两款百万像素的解决方案,在业界很受欢迎。该公司的AR0144AT在整个业界用量是最大的一款。智能驾驶舱里的一个挑战是,目前的摄像头尺寸太大了,18×18cm3,最小的也是3×3cm3,安森美半导体和合作伙伴一起开发了0.5×0.5cm3非常小型的摄像头,放在车里乘客、驾驶员基本上都不会看得到。

1601742879511004.png

当然,安森美半导体不光只是提供单一的产品,比如图像传感器和信号处理器(ISP),还提供很多其他的器件,包括二极管、LDO、电源管理IC。同时,安森美半导体的一个独特优势是,在设计新的下一代图像处理器时,可以和其他产品部门合作,来探讨怎么样开发相应的电子产品、器件,使摄像头能够达到最优化。这是其他图像处理器公司没有办法做到的。

安森美半导体能够给客户提供一站式的服务以及最优化的系统设计方案,再加上悠久的生产汽车元器件的历史,其他元器件的车规、功能安全已经能够实现ASIL-B程度。安森美半导体的元器件都是按照公司统一的质量系统,拥有统一的可靠性能,统一的售后服务提供给客户。

1601742915288187.png

作为在行业内第一个先做起生态系合作伙伴系统的公司,安森美半导体目前已经开发超过50家合作伙伴,从光学镜片到信号处理器,I/O、Interface接口、SoC处理器、软件系统,都已经有很多的合作伙伴。

1601742944302489.png


工业机器视觉和边缘AI

工业4.0、工业自动化、人工智能使机器视觉市场快速发展,特别是在国内。边缘人工智能不断地、几乎每年会出现一些新领域,比如新零售,智慧农业、畜牧业和农业都开始了智能化。一些新兴设备,特别是在新冠状病毒以后的后疫情时期有一些大的趋势:

• 一是远程化。远程教学、远程医疗会越来越普遍。

• 二是无人化,例如无人送货车、无人商店,减少人和人之间的接触,即无接触化。不需要开门抓手把,不需要去推门,减少一些传染。

• 还有一方面就是COVID-19的检测,安森美半导体和世界上很多公司都在合作开发COVID-19病毒检测设备。

1601743006558285.png

1.3英寸固定尺寸的图像传感器的发展趋势

上图是1.3英寸固定尺寸的图像传感器在这些年的发展趋势。从图上可以看出,一是同样图像传感器的分辨率在逐年提升,从过去的200万像素,500万,800万,1200万,现在达到超过2000万。二是噪声导数,相当于图像质量,在同样大小的尺寸下的图像传感器逐年随着像素的增大,图像质量也是不断地提高。三是带宽也是在逐年提高,29×29mm2标准的工业用摄像头,在十年以前可能只是200万像素,后来逐渐增加到300万、500万、1200万,今年已经能够用到1600万像素。

安森美半导体的产品如上图一样都在逐代提高,性能的提高离不开靠技术的推动。安森美半导体在技术上有很深的积累:

• 全局快门,使在高速运动下使图像不会有拖影。

• 内校正,像素内的校正,以前都是在系统里通过软件校正,现在直接做到硬件里,像素内部去做图像校正。

• 工艺节点,从110纳米到65纳米,再到45纳米,甚至更小,充分利用了摩尔定律的优势,即成本、尺寸、耗电量都在逐年下降。

• 背照式,在同样尺寸下,分辨率越来越高,像素尺寸可能越来越小,感光量、感光度;特别是暗光下,性能可能就会降低,背照式就是用来提高感光能力。

• 堆栈架构,以后就不光是两维空间了,而是三维,堆栈式,两次堆栈,三次堆栈都有可能实现。

• 以后不光把模拟和数字信号放在第二层,甚至于人工智能一些算法放在第三层里,整个图像传感器就是高智能化的图像传感器。

安森美半导体的XGS系列图像传感器,从200万像素一直到4500万像素,有11款不同像素的产品。该系列有个最大的特点,客户只需要两块线路板设计就能支撑11款不同的传感器,相对于11个线路板就节省了大量的成本和时间。我该系列的产品性能有极大的提高,包括帧数、宽动态、暗电流。其中,29×29mm2这款摄像头,创造了行业第一;它可以用到1600万像素的摄像头里。下面介绍几个XGS系列图像传感器的具体应用。

1601743159266052.png

1.平板检测

平板检测是整个工业机器视觉行业中,对图像传感器最有挑战性的应用。它从1K、2K、4K一直到8K,像素在逐渐扩大。检测过程分两步:第一步是暗检测,上电前主要检测一些指纹、划痕和其他物理上的问题;第二步是上电以后,特别是在OLED,加上最新的AMOLED(Active Matrix OLED)。

1601743055154901.png

LED是有一个亮板在后面作为发光源,而OLED,特别是AMOLED,它的每个像素都是一个单独发光源。像素和像素之间发光的强度和色彩的均匀度都要能够很准确地侦测出来,这就对图像传感器的要求非常高。过去检测LED面板上的1颗像素,对应需要9颗像素(3×3),OLED则对应需要16颗(4×4),甚至25颗(5×5)像素。所以对图像传感器的像素要求越来越高,从4,500万要到1.5亿像素,甚至超过2亿像素。

2.监控和广播

另一个是广播、监控的应用。在同样的图像质量情况下,像素越大版面越大,如8K。下图是安森美半导体的最新款4500万像素的图像传感器,这款传感器已经被客户选中,将来会用到东京奥林匹克的会场上。它还有一个很大的优势是速度非常快,每秒60帧,12bit。

1601743081685822.png

3.PCB检测

在工业制造里,劳动生产率是降低成本很主要的因素,线路板检测的劳动生产率,就是在固定单位时间内所能检测的线路板面积越大,劳动生产效率就会越高。相对图像传感器来讲,单位时间内收集信息量越大,生产效率就越高。安森美半导体的这款PCB检测图像传感器是2100万像素,竞争对手的是500万像素和1300万像素,信息采集量比竞争对手能大了4倍,能够成倍地提高劳动生产率。

1601743109829239.png

即将推出的4K传感器

安森美半导体即将推出一款4K图像传感器,下图是该产品的宽动态效果图。这个场景人眼是完全不能看的,非常刺眼,眼睛睁不开。而这款图像传感器不光能够看清场景,连灯丝都能看得非常清楚。而0.2cd/cm2光照量非常低和190,000cd/cm2光照量非常高的两种情况并存时,两处场景都能看到,这非常不容易,已经超过了人眼能力。还有一个特点就是过渡噪声非常小,黑暗与明亮交界的地方轮廓非常清晰。这样清晰的数据给人工智能提供了大量的可靠数据,在这种场景下,如果人工智能完全没有办法辨识和识别物体,这款传感器就能够提供更多的信息。

1601743188585395.png

另外,这款传感器还有很好的低照度能力,下图是0.2勒克斯,几乎非常暗的光线下能够看得非常清楚。

1601743217348772.png

激光雷达

激光雷达的传统技术是APD,叫做雪崩光电二极管。它的缺点是体积大、功耗高、侦测距离范围有限、一致性不好。安森美半导体用的技术叫做SiPM(硅光电倍增管),优势在于它的增益是APD的1万倍,灵敏度是APD的2000倍,工作电压要求非常低,只要30V,而APD要250V。它的一致性非常好,特别在大批量生产的时候可以批量化。

1601743258174290.png

安森美半导体的激光雷达产品有单点的,例如在医疗、工业、汽车都有应用;还有新开发出来的阵列,1×12或1×16,下一代的激光雷达都会用到这样的产品。最新开发出来的叫做SPAD面阵,是400×100,已经不是点云了,已经和图像传感器差不多了,相当于是一个图像,将来完全可以实现有深度信息的图像。

1601743289364734.png

毫米波雷达

毫米波雷达的适用范围有:L1、L2、L3、L4、L5。在不同自动驾驶的级别上有不同的应用。安森美半导体的下一代毫米波雷达产品的重点是放在L3上。用的技术叫做“MIMO+”,是安森美半导体的专利,是新开发出来的技术。它能够提供4D的信息,R是距离,V是速度,A是角度,E是高度,能够提供四维信息,用于L3层级的自动驾驶。

1601743329283231.png

与竞争对手相比,安森美半导体的MIMO+加上实际通道、虚拟通道,要比竞争对手多一倍的通道。同样性能的毫米波雷达,安森美的可以节省50%的mmIC器件、减少优化控制器、线路板,降低总体成本。同时,还会开发雷达信号处理,安森美的对外联接接口是按照行业标准,不管是现有标准还是未来发展标准。

结语

安森美半导体未来的方向将围绕3D成像、高光谱和多光谱成像三个方面,但现有的方案都是在系统上解决。比如3D就是双目,两个摄像头,或者结构光来解决;高光谱、多光谱,是用多个镜头或者多个相机在系统里合成。安森美半导体希望把这些困难和问题,在半导体层面用摩尔定律来解决,从而达到降低成本,缩小尺寸、降低功耗的目的。

关键词:

加入微信
获取电子行业最新资讯
搜索微信公众号:EEPW

或用微信扫描左侧二维码

相关文章


用户评论

请文明上网,做现代文明人
验证码:
查看电脑版