Lattice sensAI

加速网络边缘灵活、低功耗推理的集成

功能全面的Lattice sensAI包括了评估、开发和部署基于FPGA的机器学习和人工智能解决方案所需的一切——模块化硬件平台、演示示例、参考设计、神经网络IP核、软件开发工具和定制设计服务。

莱迪思基于FPGA的机器学习解决方案具有灵活、易于实现、低功耗(不足1mW-1W)、封装尺寸小(最小5.5mm2)、低价适合大批量生产等优势。

莱迪思可以帮助您将实时在线的终端AI加快部署至一系列网络边缘应用,包括移动设备、智能家居、智慧城市、智能工厂和智能汽车等。

Lattice sensAI Solution Stack

跳转到

视频

 Lattice sensAI: Making PCs smarter and more aware 放大图片

Lattice sensAI:让PC更加智能,感知力更强

通过将内置摄像头与在莱迪思行业领先的低功耗FPGA上运行的机器学习模型相结合,莱迪思sensAI智能视觉传感技术可以追踪用户在使用设备时的注意力,让PC更加智能,更好地感知周围环境。
Lattice sensAI: Protecting your PC with onlooker detection  放大图片

Lattice sensAI:使用旁观者检测功能保护您的PC安全

通过在屏幕上弹出警示或自动打开屏幕隐私设置,莱迪思sensAI视觉传感技术可以防止黑客偷窥,保护PC用户安全。
Lattice sensAI: Better collaboration with face framing technology 放大图片

Lattice sensAI:面部取景技术带来优化的协同体验

莱迪思sensAI视觉传感技术可以让PC用户即使在移动位置时也能始终保持在取景框内,并在新成员加入时自动重新对焦以达到最优取景效果。
Lattice FAD sensAI放大图片

Lattice sensAI: accelerating low power AI at the edge

The full-featured Lattice sensAI stack includes everything developers need to evaluate, develop and deploy FPGA-based Machine Learning / Artificial Intelligence solutions - modular hardware platforms, example demonstrations, reference designs, neural network IP cores, software tools for development, and custom design services.

设计方法概览

sensAI Block Diagram

  • 提供端到端的解决方案,加快产品上市进程
  • 支持的神经网络模型得到优化,更好地搭配现有资源
  • 可以使用Tensorflow 等标准机器学习框架在GPU上进行训练
  • 提供样本数据集以及标记数据集的方法

基于软件的方法

Software Based Methodology

  • 使用TensorFlow完成训练并转换为TF Lite
  • 莱迪思Propel用于在FPGA中构建SoC,包括经优化的机器学习加速功能
  • FPGA中基于C++软件的实现,易于使用
  • 可供下载的参考设计

系统架构示例

下列框图展示了FPGA通常是如何运用到人工智能/机器学习解决方案中的。莱迪思的FPGA能为您构建功能强大、可拓展的AI/ML解决方案,它们同时还具备简单、低功耗、小尺寸等优势。立即查看可供下载和评估的硬件演示吧!

预处理器:CrossLink-NX AI加速器

  • 优化的FPGA架构,采用低功耗工艺(FDSOI)
  • 灵活的接口,通过MIPI CSI-2连接高质量图像传感器
  • 使用AI加速元数据,可通过CSI-2或PCIe传输视频数据

单独运行:基于ECP5和iCE40 UltraPlus FPGA的AI系统

  • 基于ECP5或iCE40 UltraPlus FPGA的实时在线、集成的解决方案
  • 低延迟、更安全
  • FPGA资源可用于系统控制

独立运行的ECP5/iCE40 UltraPlus FPGA

  • iCE40 UltraPlus FPGA用于实时在线的关键词或目标检测应用
  • 只有在需要时才唤醒高性能ASIC/ASSP做进一步分析
  • 降低系统总体功耗

预处理器:ECP5 FPGA AI处理器

  • 基于ECP5的神经网络加速,性能和功耗可调节
  • ECP5 I/O灵活,可无缝连接传感器等现有板载设备
  • 低端MCU用于灵活的系统控制

后处理器:ECP/iCE40 UltraPlus AI加速器

  • 添加AI加速功能而不对系统作重大修改
  • 使用ECP或iCE40 UltraPlus实现性能/功耗可调节
  • ASIC/ASSP进行数据预处理,然后只发送推理数据

参考设计

目标分类参考设计

Reference Design

目标分类参考设计

基于在莱迪思CertusPro-NX低功耗FPGA上运行的Mobilenet神经网络模型实现目标分类参考设计
目标分类参考设计
 手势检测

Reference Design

手势检测

使用红外图像传感器实现基于AI的低功耗手势检测系统
 手势检测
人员侦测

Reference Design

人员侦测

使用莱迪思sensAI IP持续搜索附近是否有人存在并报告结果。可作修改用于检测其他任何物体。
人员侦测
人脸识别参考设计

Reference Design

人脸识别参考设计

在ECP5 FPGA上使用卷积神经网络检测人脸,并与已注册的人脸进行匹配。可以用于识别其他任何对象。
人脸识别参考设计

IP核

CNN Plus加速器IP

IP Core

CNN Plus加速器IP

使用CNN实现超低功耗AI解决方案。最多可配置16位位宽。可搭配莱迪思神经网络编译器软件工具。
CNN Plus加速器IP
CNN协处理器加速器IP

IP Core

CNN协处理器加速器IP

使用莱迪思低功耗FPGA的CNN协处理器加速器引擎。该引擎可与RISC-V处理器一起使用,创建SOC并实现基于TF Lite的加速应用,充分利用莱迪思FPGA的并行计算能力和分布式资源。
CNN协处理器加速器IP

开发套件和开发板

CrossLink-NX声音和视觉机器学习板

Board

CrossLink-NX声音和视觉机器学习板

专为采用莱迪思sensAI和CrossLink-NX器件的低功耗机器学习应用而设计。包括图像传感器、麦克风、HyperRAM和扩展端口。
CrossLink-NX声音和视觉机器学习板
CertusPro-NX声音和视觉机器学习板

Board

CertusPro-NX声音和视觉机器学习板

快速为网络边缘设计AI用例!该开发板与莱迪思sensAI解决方案集合提供了用于开发基于视觉和音频的AI应用的工具。
CertusPro-NX声音和视觉机器学习板
Himax HM01B0 UPduino Shield

Board

Himax HM01B0 UPduino Shield

Himax HM01B0 UPduino Shield是一款使用iCE40 UltraPlus™ FPGA提供低成本、低功耗人机交互解决方案的模块化AI开发平台
DPControl iCEVision开发板

Board

DPControl iCEVision开发板

iCEVision是一款专为AI视觉应用打造的快速原型设计平台
DPControl iCEVision开发板

演示示例

用户追踪和旁观者检测演示

Demo

用户追踪和旁观者检测演示

该演示示例使用CNN模型,在低功耗通用FPGA上运行,可检测和追踪多个人脸
用户追踪和旁观者检测演示
目标分类演示

Demo

目标分类演示

使用CNN模型在低功耗通用FPGA上运行的目标检测、分类和追踪多个目标的演示
目标分类演示
人员侦测

Demo

人员侦测

使用人工智能(AI)算法在功能强大的ECP5 FPGA或小尺寸低功耗iCE40 UltraPlus FPGA上检测人员的存在。
人员侦测

软件工具

Lattice sensAI解决方案包括了全新的神经网络编译器工具,可将使用TensorFlow、Caffe或Keras开发的网络部署到莱迪思FPGA上,而无需RTL设计经验。

随后可以把神经网络编译器的输出整合到标准的莱迪思FPGA开发工具流程中——ECP5使用Lattice Diamond,iCE40 UltraPlus则使用Radiant。最后再部署到系统中的FPGA中。

  • 神经网络编译器 – 快速分析、模拟和编译不同类型的网络,从而在莱迪思的CNN/轻量化CNN加速器IP核上实现。
  • 莱迪思Radiant软件 – 用于创建设计、导入 IP、实现、生成位流、将位流下载到FPGA的设计工具。支持iCE40 UltraPlus器件。
  • 莱迪思Diamond软件 – 针对ECP5 FPGA系列的设计和探索工具。
  • 莱迪思Propel软件 – 软核SoC设计,用于设计、编译和将硬件设计部署到FPGA中。
  • 莱迪思sensAI Studio – 端到端的Model Zoo、数据标记、模型训练、验证和部署工具。

莱迪思用户存在感知套件

包括Windows应用程序的演示套件,展示了如何使用计算机视觉来延长PC的电池使用时间。

定制设计服务

Lattice sensAI拥有来自全球的优质设计服务合作伙伴组成的生态系统,能为广泛的终端应用提供定制化的解决方案,包括移动设备、智能家居、智慧城市、智能工厂和智能汽车等领域。点击此处查看更多关于Lattice sensAI认证合作伙伴的信息。

文档

资讯资源
下载
标题 编号 版本 日期 格式 文件大小
莱迪思sensAI产品手册
I0265 7.0 5/20/2020 PDF 605.4 KB
标题 编号 版本 日期 格式 文件大小
让笔记本电脑重获 生机
WP0024C 1.0 7/1/2020 PDF 560.9 KB
加速实现网络边缘低功耗人工智能应用
WP-0014 1.1 11/28/2018 PDF 1.3 MB
Lattice SensAI 4.1: Tools and IP Transform Low-Power FPGAs into Intelligent AI/ML Edge Computing Engines
1.0 11/10/2021 PDF 766.4 KB
为快速增长的网络边缘 人工智能应用提供更高 性能的解决方案
WP-0019_C 1.0 8/17/2019 PDF 7.4 MB
掌控人工智能的力量:使用 莱迪思sensAI快速上手
WP-0017C 1.0 1/31/2019 PDF 2 MB
标题 编号 版本 日期 格式 文件大小
Lattice Propel 2.1 Patch for Lattice Automate 1.1
1.0 12/15/2021 EXE 73.9 MB

获奖情况

2019年Electronics Industry Awards

年度物联网产品

EDN Hot 100产品奖

工具&开发

AI Breakthrough奖

工程领域最佳AI解决方案

2019年度Assodel奖

工业和汽车领域最佳硬件产品奖

《中国电子商情》2018年度编辑选择奖

最具竞争力的FPGA产品

Like most websites, we use cookies and similar technologies to enhance your user experience. We also allow third parties to place cookies on our website. By continuing to use this website you consent to the use of cookies as described in our Cookie Policy.