Lattice sensAI

加速网络边缘灵活、低功耗推理的集成

功能全面的Lattice sensAI包括了评估、开发和部署基于FPGA的机器学习和人工智能解决方案所需的一切——模块化硬件平台、演示示例、参考设计、神经网络IP核、软件开发工具和定制设计服务。

莱迪思基于FPGA的机器学习解决方案具有灵活、易于实现、低功耗(不足1mW-5W)、封装尺寸小(最小5.5mm2)、低价适合大批量生产等优势。

莱迪思可以帮助您将实时在线的终端AI加快部署至一系列网络边缘应用,包括移动设备、智能家居、智慧城市、智能工厂和智能汽车等。

sensAI 6.0 Stack

跳转到

视频

Lattice Avant™ Launch Event – Dec. 5, 2022

Lattice Avant™发布会 – 2022年12月6日

2022年12月6日,莱迪思发布了全新的Avant FPGA平台,旨在将其领先的低功耗架构、小尺寸和高性能拓展到中端FPGA领域。Lattice Avant提供同类产品中领先的低功耗、先进互连和优化计算等特性。观看直播回放,了解下一代FPGA创新产品的更多信息。
 Lattice sensAI: Making PCs smarter and more aware

Lattice sensAI:让PC更加智能,感知力更强

通过将内置摄像头与在莱迪思行业领先的低功耗FPGA上运行的机器学习模型相结合,莱迪思sensAI智能视觉传感技术可以追踪用户在使用设备时的注意力,让PC更加智能,更好地感知周围环境。
Lattice sensAI: Protecting your PC with onlooker detection

Lattice sensAI:使用旁观者检测功能保护您的PC安全

通过在屏幕上弹出警示或自动打开屏幕隐私设置,莱迪思sensAI视觉传感技术可以防止黑客偷窥,保护PC用户安全。
Lattice sensAI: Better collaboration with face framing technology

Lattice sensAI:面部取景技术带来优化的协同体验

莱迪思sensAI视觉传感技术可以让PC用户即使在移动位置时也能始终保持在取景框内,并在新成员加入时自动重新对焦以达到最优取景效果。
Lattice FAD sensAI

莱迪思sensAI:加速实现网络边缘低功耗AI

莱迪思sensAI集合功能全面,包括了开发人员评估、开发和部署基于FPGA的机器学习/人工智能解决方案所需的全部资源——模块化硬件平台、演示示例、参考设计、神经网络IP核、软件开发工具和定制化设计服务。

设计方法概览

sensAI Block Diagram

  • 使用Tensorflow等标准机器学习框架进行训练
  • 提供针对莱迪思器件定制的神经网络模型示例
  • 可通过sensAI Studio下载热门用例的参考设计
  • 使用莱迪思Radiant或Diamond软件在FPGA中带来基于Verilog的硬件实现

基于软件的方法

Software Based Methodology

  • 使用TensorFlow完成训练并转换为TF Lite
  • 莱迪思Propel用于在FPGA中构建SoC,包括经优化的机器学习加速功能
  • FPGA中基于C++软件的实现,易于使用
  • 可供下载的参考设计

系统架构示例

下列框图展示了FPGA通常是如何运用到人工智能/机器学习解决方案中的。莱迪思的FPGA能为您构建功能强大、可拓展的AI/ML解决方案,它们同时还具备简单、低功耗、小尺寸等优势。立即查看可供下载和评估的硬件演示吧!

预处理器:CrossLink-NX AI加速器

  • 优化的FPGA架构,采用低功耗工艺(FDSOI)
  • 灵活的接口,通过MIPI CSI-2连接高质量图像传感器
  • 使用AI加速元数据,可通过CSI-2或PCIe传输视频数据

单独运行:基于ECP5和iCE40 UltraPlus FPGA的AI系统

  • 基于ECP5或iCE40 UltraPlus FPGA的实时在线、集成的解决方案
  • 低延迟、更安全
  • FPGA资源可用于系统控制

独立运行的ECP5/iCE40 UltraPlus FPGA

  • iCE40 UltraPlus FPGA用于实时在线的关键词或目标检测应用
  • 只有在需要时才唤醒高性能ASIC/ASSP做进一步分析
  • 降低系统总体功耗

预处理器:ECP5 FPGA AI处理器

  • 基于ECP5的神经网络加速,性能和功耗可调节
  • ECP5 I/O灵活,可无缝连接传感器等现有板载设备
  • 低端MCU用于灵活的系统控制

后处理器:ECP/iCE40 UltraPlus AI加速器

  • 添加AI加速功能而不对系统作重大修改
  • 使用ECP或iCE40 UltraPlus实现性能/功耗可调节
  • ASIC/ASSP进行数据预处理,然后只发送推理数据

参考设计

目标分类参考设计

Reference Design

目标分类参考设计

该参考设计展示了在网络边缘设备应用中实现基于机器学习的目标分类示例。
目标分类参考设计
 手势检测

Reference Design

手势检测

使用红外图像传感器实现基于AI的低功耗手势检测系统
 手势检测
条码检测参考设计

Reference Design

条码检测参考设计

该演示使用了CertusPro-NX语音和视觉机器学习板及其基于Yolov5 NN模型的摄像头条形码检测功能。
条码检测参考设计
人员侦测

Reference Design

人员侦测

使用莱迪思sensAI IP持续搜索附近是否有人存在并报告结果。可作修改用于检测其他任何物体。
人员侦测

IP核

高级CNN加速器IP

IP Core

高级CNN加速器IP

计算神经网络的各个网络层,包括卷积层、池化层、批量归一化层和全连接层。
高级CNN加速器IP
CNN Plus加速器IP

IP Core

CNN协处理器加速器IP

IP Core

CNN协处理器加速器IP

使用莱迪思低功耗FPGA的CNN协处理器加速器引擎。该引擎可与RISC-V处理器一起使用,创建SOC并实现基于TF Lite的加速应用,充分利用莱迪思FPGA的并行计算能力和分布式资源。
CNN协处理器加速器IP

开发套件和开发板

CrossLink-NX-33 Voice and Vision Machine Learning Board

Board

CrossLink-NX-33 Voice and Vision Machine Learning Board

CrossLink-NX-33 Voice and Vision Machine Learning Board is designed using Crosslink-NX 33K, ideal for machine learning applications.
CrossLink-NX-33 Voice and Vision Machine Learning Board
CrossLink-NX声音和视觉机器学习板

Board

CrossLink-NX声音和视觉机器学习板

专为采用莱迪思sensAI和CrossLink-NX器件的低功耗机器学习应用而设计。包括图像传感器、麦克风、HyperRAM和扩展端口。
CrossLink-NX声音和视觉机器学习板
CertusPro-NX声音和视觉机器学习板

Board

CertusPro-NX声音和视觉机器学习板

快速为网络边缘设计AI用例!该开发板与莱迪思sensAI解决方案集合提供了用于开发基于视觉和音频的AI应用的工具。
CertusPro-NX声音和视觉机器学习板
Himax HM01B0 UPduino Shield

Board

Himax HM01B0 UPduino Shield

Himax HM01B0 UPduino Shield是一款使用iCE40 UltraPlus™ FPGA提供低成本、低功耗人机交互解决方案的模块化AI开发平台

演示示例

用户追踪和旁观者检测演示

演示

用户追踪和旁观者检测演示

该演示示例使用CNN模型,在低功耗通用FPGA上运行,可检测和追踪多个人脸
用户追踪和旁观者检测演示
目标分类演示

演示

目标分类演示

该演示提供了在CertusPro-NX FPGA上运行的检测、分类和追踪多个目标的应用示例。
目标分类演示
User Background Blurring Demonstration

演示

User Background Blurring Demonstration

Efficient and low power approach for implementing user background blurring using Lattice CrossLink-NX FPGA
User Background Blurring Demonstration
条码检测演示

演示

条码检测演示

该演示使用CertusPro-NX语音和视觉机器学习板实现条码检测算法。
条码检测演示

软件工具

Lattice sensAI解决方案包括了全新的神经网络编译器工具,可将使用TensorFlow、Caffe或Keras开发的网络部署到莱迪思FPGA上,而无需RTL设计经验。

随后可以把神经网络编译器的输出整合到标准的莱迪思FPGA开发工具流程中——ECP5使用Lattice Diamond,iCE40 UltraPlus则使用Radiant。最后再部署到系统中的FPGA中。

  • 神经网络编译器 – 快速分析、模拟和编译不同类型的网络,从而在莱迪思的CNN/轻量化CNN加速器IP核上实现。
  • 莱迪思Radiant软件 – 用于创建设计、导入 IP、实现、生成位流、将位流下载到FPGA的设计工具。支持iCE40 UltraPlus器件。
  • 莱迪思Diamond软件 – 针对ECP5 FPGA系列的设计和探索工具。
  • 莱迪思Propel软件 – 软核SoC设计,用于设计、编译和将硬件设计部署到FPGA中。
  • 莱迪思sensAI Studio – 端到端的Model Zoo、数据标记、模型训练、验证和部署工具。

莱迪思用户存在感知套件

包括Windows应用程序的演示套件,展示了如何使用计算机视觉来延长PC的电池使用时间。

定制设计服务

Lattice sensAI拥有来自全球的优质设计服务合作伙伴组成的生态系统,能为广泛的终端应用提供定制化的解决方案,包括移动设备、智能家居、智慧城市、智能工厂和智能汽车等领域。点击此处查看更多关于Lattice sensAI认证合作伙伴的信息。

文档

资讯资源
标题 编号 版本 日期 格式 文件大小
选择全部
莱迪思sensAI产品手册
I0265 7.0 5/20/2020 PDF 605.4 KB
标题 编号 版本 日期 格式 文件大小
选择全部
让笔记本电脑重获 生机
WP0024C 1.0 7/1/2020 PDF 560.9 KB
加速实现网络边缘低功耗人工智能应用
WP-0014 1.1 11/28/2018 PDF 1.3 MB
掌控人工智能的力量:使用 莱迪思sensAI快速上手
WP-0017C 1.0 1/31/2019 PDF 2 MB
Lattice SensAI 4.1: Tools and IP Transform Low-Power FPGAs into Intelligent AI/ML Edge Computing Engines
1.0 11/10/2021 PDF 766.4 KB
为快速增长的网络边缘 人工智能应用提供更高 性能的解决方案
WP-0019_C 1.0 8/17/2019 PDF 7.4 MB

获奖情况

2019年Electronics Industry Awards

年度物联网产品

EDN Hot 100产品奖

工具&开发

AI Breakthrough奖

工程领域最佳AI解决方案

2019年度Assodel奖

工业和汽车领域最佳硬件产品奖

《中国电子商情》2018年度编辑选择奖

最具竞争力的FPGA产品