在算力高速提升和模型演进的AIoT新时代，智能视觉技术正变得越来越重要，尤其是在智慧家居、智慧城市、零售和智能制造等领域，智慧视觉技术带来了更高效、更安全、更有竞争力的辅助和监控监测等解决方案。
(资料图)
作为物联网基石的Arm，其技术正驱动着当今市场上众多智能视觉设备的发展。这个行业正处在关键节点，视觉应用越来越普及，围绕这些应用，中国市场拥有一个多样化且充满活力的生态系统。
携手安谋科技推出全新智能视觉参考设计
就在近日，Arm正式宣布推出全新智能视觉参考设计，据Arm物联网事业部业务拓展副总裁马健Chloe Ma介绍，这是最新的集Arm与安谋科技IP于一体的智能视觉参考设计，该方案的硬件参考设计包括CPU、ISP、NPU和VPU处理器选项以及将这些元件粘合在一起的子系统IP。这也是首次将Arm的IP与安谋科技的IP合在一起，并由安谋科技预先集成和预先验证。Chloe还进一步强调：“由于中国视觉市场在世界上的领先地位以及创新活跃度，Arm智能视觉参考设计将服务于中国市场。”
Arm物联网事业部业务拓展副总裁 马健 Chloe Ma
总体来看，Arm智能视觉参考设计采用成熟的Arm CPU IP作为基础。此外，该设计带有低功耗待机子系统，可以支持电池供电的视觉设备。安谋科技为此设计贡献的玲珑VPU提供了紧凑、多格式和高效的视频编解码器，以及周易NPU的高达4个TOPS的ML 加速，使该参考设计可以支持机器视觉的用例。
具体来看整个参考设计的主要组成部分，Arm Corstone－1000是首款为Cortex－A设计的子系统，该方案基本配置是经过量产考验的Cortex－A35或Cortex－A53，并取得了Arm SystemReady IR认证，确保Linux等操作系统的开机即用，并简化软件开发。Arm Corstone－300在智能视觉参考设计中，可作为低功耗待机子系统，降低边缘设备的功耗，提高系统效率。
ISP方面则选用的是Arm去年发布的Arm Mali－C55，这也是Arm迄今为止面积最小、功耗最低、且可配置性最高的ISP产品。据悉，Mali－C55提供升级的图像质量功能，可以在各种不同的照片和天气条件下工作。Chloe表示：“像其他Arm产品一样，Mali－C55拥有全方位的软件工具支持，包括软件驱动实现自动曝光、自动白平衡、自动对焦的3A库以及全套调校和校准工具，并有Arm批准的ISP调优合作伙伴助力客户达到最优画质。”
值得注意的是，在此次Arm和安谋科技的合作中，该智能视觉参考设计采用了安谋科技自研VPU和NPU，为视频和机器学习能力方面提供了更多选项。
据安谋科技智能物联及汽车业务线负责人赵永超介绍，“玲珑”VPU 作为编解码融合、灵活可配、可编程的多核视频处理器，支持紧凑的、多格式 （例如H．264， H．265） 且高效能的视频编解码处理。此外由于“玲珑”VPU软件可编程，因此在硬件量产后仍然可以进行优化和迭代，并根据客户的需求进行升级，可以为合作伙伴提供灵活的组合和选择。
灵活可配置的人工智能加速器“周易”NPU，可以为广泛的机器学习用例提供高达4TOPS的性能表现。此外“周易”NPU还支持多种典型的深度学习框架，例如Tensorflow、Caffe、Pytorch等，可以加速客户应用的部署。目前已经针对 100 多种算子算法进行了优化适配，并表现出了出色性能，包括常见的CNN网络以及Transformer网络，并已经完成了对ChatGPT大模型的适配。
组建智能视觉合作伙伴计划
在发布智能视觉参考设计的同时，Arm也宣布了另外一个好消息：通过组建Arm智能视觉合作伙伴计划，Arm携手AI视觉、芯片设计、软件、算法、系统集成等伙伴共同打造基于Arm架构智能视觉应用的强大生态，进一步加速视觉硬件、软件和系统的开发。
关于Arm组建智能视觉合作伙伴计划的原因，Chloe表示：“智能视觉参考设计的目标受众通常是边缘AI领域公司的初创公司、跨界创新公司或者是希望进行垂直整合的系统公司。由于种种原因，这些公司并不拥有涵盖所有芯片架构前端、后端设计师的庞大团队，他们在视觉领域的第一颗芯片通常要借力于芯片设计公司，通过这项生态计划，我们希望使芯片设计服务伙伴们能够访问并熟悉Arm的参考设计，并在参考设计的基础上快速流片，助力客户推出满足SystemReady和PSA安全标准的芯片。”
据了解，目前已有十多家来自智能物联网的芯片设计、系统集成、AI 算法、开发平台等国内领先企业加入该项计划。其中包括：百度飞桨已经实现了基于飞桨的视觉模型库和Arm虚拟硬件的整合适配；诚迈科技作为软件设计合作伙伴加盟，已成为中国第一个Arm批准的ISP调优伙伴；厦门星宸科技在月初通过了PSA安全认证，展示了智能视觉界领军者对安全和隐私保护重视程度的提高。
除了组建智能视觉合作伙伴计划以外，针对当前物联网软件开发进程越来越快的难题，Arm也在开源社区方面的贡献与投入巨大，助力加速了各类物联网设备的应用。作为物联网设计方法的全面解决方案的一部分， Arm推出了Arm虚拟硬件 （Arm Virtual Hardware），以加快未来物联网设备的软件开发。通过Arm虚拟硬件，开发者无需在物理芯片上进行开发，实现了软硬件协同设计，并加速产品设计进程。Arm还推出了Arm开发者计划 （Arm Developer Program），助力开发者轻松访问Arm资源。
Chloe总结道：“我们坚信随着AI和大模型一日千里的发展，智能视觉技术将继续在所有垂直行业得到更广泛的应用，视觉将无处不在。在视觉成为一种普世能力的趋势下，预先集成、预先验证的标准化子系统会为加速视觉产品设计和创新提供坚实的基础，这也是Arm和安谋科技携手为中国市场打造智能视觉参考设计的初衷。”Arm也希望有兴趣的客户评估使用该设计，并在它的基础上更快的设计出更多创新的视觉系统。实现这个愿景需要整个生态系统的协同合作，Arm欢迎更多的伙伴加入，共同创建智能视觉的未来。