Glow神经网络编译器首次应用于MCU面向边缘端机器学习

IT时报记者 李玉洋
AI市场没有MCU（微控制器）什么事？
MCU大厂恩智浦表示不同意！早在几年前，恩智浦就开始在MCU和MPU的融合上进行了探索，并且在2017年推出了跨界处理器。


为了探索MCU在AI市场的应用，恩智浦不仅提供硬件平台，还推出了机器学习开发环境eIQ。8月5日，恩智浦发布了eIQ对Glow神经网络编译器的支持功能，针对恩智浦的i.MX RT跨界MCU，带来业界首个实现以较低存储器占用、提供更高性能的神经网络编译器应用。
Glow编译器由Facebook开发，能够集成特定于目标的优化，恩智浦利用这种能力，使用适用于Arm Cortex-M内核和Cadence Tensilica HiFi 4 DSP的神经网络算子库，最大程度地提升i.MX RT685以及i.MX RT1050和RT1060的推理性能。此外，这一功能已集成到eIQ机器学习软件开发环境中，在恩智浦MCUXpresso SDK中免费提供。
2018年5月，Facebook推出了开源社区项目Glow（Graph Lowering神经网络编译器），其目的是提高一系列硬件平台上的神经网络性能。作为一种神经网络编译器，Glow基于未优化的神经网络生成高度优化的代码。这个特点有别于典型的神经网络模型处理，后者采用即时编译，因而需要更高的性能，还会增加存储器开销。像Glow这样直接运行优化代码可以显著降低处理和存储器要求。
Facebook软件工程经理Dwarak Rajagopal表示：“GitHub中提供的标准版Glow可以直接在任何设备上运行，让用户能够灵活地针对感兴趣的基础架构编译神经网络模型，包括Arm Cortex-A和Cortex-M内核以及RISC-V架构。恩智浦使用充分利用MCU计算元件的专用软件库，实现了2-3倍的性能提升，展示了从基于云的高端机器到低成本的嵌入式平台的广泛范围内，将Glow神经网络编译器用于机器学习应用的诸多优势。”
据TIRIAS Research预测，到2025年，98%的边缘设备将使用机器学习/人工智能。消费型设备制造商和嵌入式物联网开发人员有优化机器学习框架的需求，以便实现使用MCU的低功耗边缘嵌入式应用。
恩智浦半导体资深副总裁兼边缘处理业务总经理Ron Martino表示：“借助eIQ机器学习软件框架，利用高度集成的i.MX应用处理器和高性能i.MX RT跨界MCU的强大功能，恩智浦正在推动机器学习功能在边缘设备上的实现。随着i.MX RT系列跨界MCU增加对Glow的支持，我们的客户能够编译深度神经网络模型。”
恩智浦面向机器学习的边缘智能环境解决方案是一个全面的工具包，提供开发人员所需的构建模块，帮助他们高效地在边缘设备中实施机器学习。Glow整合到eIQ软件后，机器学习开发人员将拥有全面的高性能框架，可在包括i.MX RT跨界MCU和i.MX 8应用处理器的边缘处理解决方案上进行扩展。客户拥有了更强大的工具，能够在i.MX RT MCU和i.MX应用处理器上开发机器学习语音应用、对象识别、人脸识别等应用。
Arm公司机器学习营销副总裁Dennis Laudick表示：“恩智浦将Arm CMSIS-NN软件库包括在elQ中，目的是最大程度地提升性能，减少Arm Cortex-M内核上的神经网络存储器占用。以CIFAR-10神经网络模型为例，恩智浦能够利用CMSIS-NN实现1.8倍的性能提升。其他神经网络模型应该能够产生相似的结果，这清晰地展示了这款高级编译器和我们的优化神经网络算子库的优势。”
恩智浦的集成Glow神经网络编译器的eIQ软件现已上市，通过i.MX RT600跨界MCU、i.MX RT1050和i.MX RT1060跨界MCU的MCUXpresso SDK提供。未来将会推出适用于恩智浦其他MCU的集成Glow神经网络编译器的eIQ软件。