电子产品世界

●   第三代 NeuPro AI/ML 架构在 SoC 和小芯片层面提供 20至1,200 TOPS可扩展性能，能够将内存带宽消耗减低六倍

●   目标是在汽车、工业、5G 网络和手机，监控摄像头和边缘计算领域中广泛使用 AI/ML处理

CEVA，全球领先的无线连接和智能传感技术及集成IP解决方案的授权许可厂商宣布推出用于人工智能和机器学习 (AI/ML) 推理工作的最新一代处理器架构NeuPro-M。NeuPro-M由多个专用协处理器和可配置硬件加速器组成，是瞄准广阔的边缘 AI 和边缘计算市场的异构处理器架构，能够同时无缝处理深度神经网络的各种工作，性能较上一代产品提升 5到15 倍。NeuPro-M支持系统级芯片(SoC)和异构SoC (HSoC)可扩展性，最高性能可达 1,200 TOPS，并提供可选的稳健安全启动和端至端数据隐私功能，开创了业界先河。

NeuPro–M系列处理器初始包含以下预配置内核：

●   NPM11 – 单个 NeuPro-M 引擎，在 1.25GHz 下算力高达 20 TOPS

●   NPM18 – 8 个 NeuPro-M 引擎，在 1.25GHz 下算力高达 160 TOPS

在处理 ResNet50卷积神经网络时，单个 NPM11内核可将性能提升至上一代产品的五倍，并将内存带宽消耗减少六倍，从而实现高达 24 TOPS/W的出色功效，完美体现其业界领先的性能水平。

以成功的上一代产品为基础，NeuPro-M能够处理所有已知的神经网络架构，并集成了下一代网络，如transformer、3D convolution、self-attention和全部类型的循环神经网络的原生支持。经优化的NeuPro-M可处理 250 多种神经网络、450 多种AI 内核和 50 多种算法。嵌入式矢量处理单元(VPU)确保对未来新的神经网络拓扑和AI处理工作提供基于软件的验证和支持。而且，对于常见基准测试，CDNN离线压缩工具可以将NeuPro-M的FPS/Watt性能提高 5到10 倍，并且对精度仅有极小的影响。

CEVA副总裁兼视觉业务部门总经理 Ran Snir评论道：“随着生成的数据越来越多，以及传感器相关软件工作负载不断迁移到神经网络以获得更好的性能和效率，对边缘 AI和边缘计算的人工智能和机器学习处理需求的增速惊人。由于这些设备的功率预算保持不变，我们必需找到创新方法，在这些日益复杂的系统边缘使用人工智能。我们利用在数百万台无人机、安全摄像头、智能手机和汽车系统应用等设备中部署 AI 处理器和加速器的丰富经验来设计NeuPro-M架构。NeuPro-M创新的分布式架构和共享内存系统控制器将带宽消耗和延迟降至最低，并提供出色的整体利用率和电源效率。这允许我们的客户在 SoC 或 小芯片 (chiplet) 中连接多个NeuPro-M兼容内核来应对最严苛的 AI 工作，从而将智能边缘处理器设计提升至全新的水平。”

       NeuPro-M异构架构由特定功能协处理器和负载平衡机制组成，相比上一代产品，这是实现巨大的性能和效率飞跃的重要因素。通过将控制功能分配给本地控制器并以分层方式实现本地内存资源，NeuPro-M 实现了处理数据流的灵活性，从而实现超过90%的利用率，并且在任意给定时间内防止不同协处理器和加速器出现数据不足现象。它使CDNN 框架根据特定网络、所需带宽、可用内存和目标性能来实施各种数据流方案，从而获得最佳的负载平衡。

NeuPro-M 架构亮点包括：

●   由 4K MACs(乘累加单元)组成的主网格阵列，混合精度为 2到16 位

●   用于权重和激活操作的Winograd transform引擎，可将卷积时间减少两倍，并允许在精度降低到少于0.5% 的情况下进行 8 位卷积处理

●   用于避免每层具有零值权重或激活操作的Sparsity引擎，最多可将性能提升四倍，同时减少耗用内存带宽和降低功耗

●   具有完全可编程的矢量处理单元，用于处理未获支持的全新神经网络架构(具有全部数据类型)，从 32 位浮点到 2 位二进制神经网络 (BNN)

●   将可配置的权重数据压缩至两位，同时读取内存时进行实时解压缩以减少耗用内存带宽

●   使用动态配置两级内存架构，最大限度地减少与外部 SDRAM 之间的数据传输功耗

使用NeuPro-M 架构中创新功能，同时使用 Winograd 变换正交机制、Sparsity引擎和低分辨率 4x4 位激活，可将网络(如 Resnet50 和 Yolo V3)的循环次数减少三倍以上。

由于神经网络权重和偏差以及数据集和网络拓扑成为所有者的重要知识产权，因而业界迫切需要保护这些信息免遭未经授权的使用。NeuPro-M架构可选用信任根、身份验证和加密加速器来支持安全接入。

针对汽车市场，CEVA提供NeuPro-M 内核及其 CEVA 深度神经网络 (CDNN)深度学习编译器和软件工具包，不仅符合汽车 ISO26262 ASIL-B 功能安全标准，并满足严格的质量保证标准 IATF16949 和 A-Spice要求。

结合CEVA 屡获殊荣的神经网络编译器 CDNN 及其功能强大的软件开发环境，NeuPro-M架构可为客户提供一个完全可编程的硬件/软件 AI开发环境，最大限度地提升 AI操作性能。CDNN 包含创新的软件，能够充分利用客户的 NeuPro-M定制硬件来优化功耗、性能和带宽。CDNN 软件还包含了用于减少耗用内存和优化负载平衡算法的内存管理器，并广泛支持各种网络格式(包括 ONNX、Caffe、TensorFlow、TensorFlow Lite、Pytorch 等)。CDNN 与常见的开源框架 (包括 Glow、tvm、Halide 和 TensorFlow) 兼容，并包含模型优化功能，例如“层融合(layer fusion)”和“训练后量化(post training quantization)”，同时使用精确的守恒方法。

目前CEVA向主要客户提供NeuPro-M授权许可，并于今年第二季提供全面授权许可。CEVA 还为客户提供异构 SoC 设计服务，帮助其进行系统集成并支持系统设计和小芯片开发，从而为NeuPro-M客户带来裨益。

关键词：