莱迪思在2021年嵌入式视觉峰会上展示灵活的AI/ML开发并发布sensAI 4.0

如你所知，嵌入式视觉峰会（本周举行）是面向实用、可部署的计算机视觉和视觉人工智能及机器学习应用的行业大会和博览会。莱迪思很荣幸作为该峰会的常规参展商和发言人，它为我们提供了展示我们最新最优质的器件、工具、技术和解决方案的绝佳机会。

我作为今年峰会的发言人之一，介绍了AI/ML开发流程中的灵活性如何将产品按时推向市场，同时将成本控制在预算范围内并为产品赋予合适的市场定位。我着重介绍了面向部署在网络边缘、资源受限设备的 AI/ML流水线。这里的网络边缘即互联网与现实世界的边界并交互的地方。

大多数网络边缘应用都有不同类型的传感器，涉及各种电气接口和通信协议。从这些传感器获取的数据通常需要预处理和聚合，然后才能输入到AI/ML引擎进行推理。在很多情况下，需要进行传感器聚合操作；将不同来源的传感器数据合并为综合的信息比单独分析各个数据源的不确定性要小得多。

同样，由于新的网络架构不断推出，各种新的运营商也不断涌现，神经网络AI/ML推理引擎本身必须十分灵活。如果开发团队的AI/ML引擎不够灵活，无法充分利用这些新的发展趋势，那么竞争对手就有可能抢占他们的市场。

在推理之后，需要将推理结果呈现给目标受众，可能是人类和/或其他机器和系统。但如论如何都需要对推理结果进行后处理，然后才将其呈现给目标群体。

开发流程中的各个阶段都需要灵活性，这是最基本的要求。这也是我们推出莱迪思sensAI™解决方案集合的初衷。

sensAI解决方案集合

该解决方案集合包括硬件平台、IP 核、软件工具、参考设计和演示以及定制化设计服务。在硬件平台方面，开发人员可以选择众多 FPGA 系列产品，包括莱迪思Lattice iCE40™ UltraPlus（超小型、超低功耗应用）、MachXO3D™（平台管理和安全应用）、CrossLink™-NX（嵌入式视觉应用）和 ECP5™（通用应用）。

FPGA 提供可编程输入/输出（I/O），可对其进行配置支持不同的电气接口标准，从而使其连接各种传感器。莱迪思还提供了大量的硬核软核IP模块来支持不同的通信协议。

下一步是进行预处理和数据聚合，为此sensAI针对裁剪、大小调整和缩放等任务提供了一整套IP核。可编程FPGA架构能以大规模并行方式执行这些计算密集型数据处理任务，从而以极低功耗提供高性能。

如前所述，神经网络本身相当高的灵活性才能支持新的网络拓扑结构和运营商。sensAI 包括一套软 IP 神经网络核和加速器，可以快速轻松地对其进行修改，完全满足不断变化的AL/ML开发需求。

在 sensAI的多个实现示例中有两个示例尤其令人感兴趣，它们也很好地展现了灵活性这一特点。一方面，AI/ML推理引擎在可编程结构中实现，从而提供适用于高速图像处理应用的低功耗、高性能解决方案。另一方面，神经网络推理引擎是在一个RISC-V处理器核上实现的，为可以在后台安静运行的AI/Ml任务提供了理想的解决方案，如预测性维护应用。

全新推出sensAI Studio

莱迪思在嵌入式视觉峰会上宣布的一大“热点新闻”就是sensAI的最新和最强版本——sensAI 4.0，包括了对全新莱迪思 sensAI Studio 设计环境的支持，该工具可促进端到端的AI/ML 模型训练、验证和编译。

sensAI 解决方案集合添加了Lattice sensAI Studio这一新成员，它一种基于图形用户界面（GUI）的工具，用于训练、验证和编译专为莱迪思FPGA优化的机器学习模型。该工具可轻松利用迁移学习来部署机器学习模型。

这个基于网络的框架可以托管在云端或开发人员自己的服务器上，它支持多个用户同时处理相同或不同的项目。sensAI Studio提供易于使用、基于GUI的环境，用户可以选择目标FPGA、配置I/O、拖放AI/ML模型IP、预处理和后处理IP，并将所有环节连接在一起。全新版本的sensAI还支持Lattice Propel设计环境，以加速基于RISC-V处理器的嵌入式开发。

除了TensorFlow AI/ML模型之外，sensAI 4.0还支持TensorFlow Lite，以降低AI/ML推理应用的功耗并提高数据协同处理性能（TensorFlow Lite在莱迪思FPGA上的运行速度比在基于ARM® Cortex®-M4的MCU上快2到10倍）。此外，通过利用ML模型压缩和剪枝的优势，sensAI 4.0可支持QVGA分辨率下60FPS或者VGA分辨率下的30 FPS的图像处理。

sensAI studio还支持最新强大的AI/ML设计技术，例如迁移学习——为某一项任务开发的模型可以重新用于相关任务，或者为模型提供执行新任务的起点。迁移学习还能将已经在某个处理器上训练过的AI/ML模型（如微控制器）转移到尺寸更小、性能更高、功耗更低的器件上（如莱迪思FPGA）。