Lattice sensAI

加速网络边缘灵活、低功耗推理的集成

相关产品

相关应用


Lattice DevCon 2023

功能全面的Lattice sensAI包括了评估、开发和部署基于FPGA的机器学习和人工智能解决方案所需的一切——模块化硬件平台、演示示例、参考设计、神经网络IP核、软件开发工具和定制设计服务。

莱迪思基于FPGA的机器学习解决方案具有灵活、易于实现、低功耗（不足1mW-5W）、封装尺寸小（最小5.5mm2）、低价适合大批量生产等优势。

莱迪思可以帮助您将实时在线的终端AI加快部署至一系列网络边缘应用，包括移动设备、智能家居、智慧城市、智能工厂和智能汽车等。

sensAI 6.0 Stack

跳转到

视频

Lattice Avant™ Launch Event – Dec. 5, 2022

Lattice Avant™发布会 – 2022年12月6日

2022年12月6日，莱迪思发布了全新的Avant FPGA平台，旨在将其领先的低功耗架构、小尺寸和高性能拓展到中端FPGA领域。Lattice Avant提供同类产品中领先的低功耗、先进互连和优化计算等特性。观看直播回放，了解下一代FPGA创新产品的更多信息。
Lattice sensAI: Making PCs smarter and more aware

Lattice sensAI：让PC更加智能，感知力更强

通过将内置摄像头与在莱迪思行业领先的低功耗FPGA上运行的机器学习模型相结合，莱迪思sensAI智能视觉传感技术可以追踪用户在使用设备时的注意力，让PC更加智能，更好地感知周围环境。
Lattice sensAI: Protecting your PC with onlooker detection

Lattice sensAI：使用旁观者检测功能保护您的PC安全

通过在屏幕上弹出警示或自动打开屏幕隐私设置，莱迪思sensAI视觉传感技术可以防止黑客偷窥，保护PC用户安全。
Lattice sensAI: Better collaboration with face framing technology

Lattice sensAI：面部取景技术带来优化的协同体验

莱迪思sensAI视觉传感技术可以让PC用户即使在移动位置时也能始终保持在取景框内，并在新成员加入时自动重新对焦以达到最优取景效果。
Lattice FAD sensAI

莱迪思sensAI：加速实现网络边缘低功耗AI

莱迪思sensAI集合功能全面，包括了开发人员评估、开发和部署基于FPGA的机器学习/人工智能解决方案所需的全部资源——模块化硬件平台、演示示例、参考设计、神经网络IP核、软件开发工具和定制化设计服务。

设计方法概览

sensAI Block Diagram

  • 使用Tensorflow等标准机器学习框架进行训练
  • 提供针对莱迪思器件定制的神经网络模型示例
  • 可通过sensAI Studio下载热门用例的参考设计
  • 使用莱迪思Radiant或Diamond软件在FPGA中带来基于Verilog的硬件实现

基于软件的方法

Software Based Methodology

  • 使用TensorFlow完成训练并转换为TF Lite
  • 莱迪思Propel用于在FPGA中构建SoC，包括经优化的机器学习加速功能
  • FPGA中基于C++软件的实现，易于使用
  • 可供下载的参考设计

系统架构示例

下列框图展示了FPGA通常是如何运用到人工智能/机器学习解决方案中的。莱迪思的FPGA能为您构建功能强大、可拓展的AI/ML解决方案，它们同时还具备简单、低功耗、小尺寸等优势。立即查看可供下载和评估的硬件演示吧！

Preprocessor: CrossLink-NX AI Accelerator Block Diagram放大图片

预处理器：CrossLink-NX AI加速器

  • 优化的FPGA架构，采用低功耗工艺（FDSOI）
  • 灵活的接口，通过MIPI CSI-2连接高质量图像传感器
  • 使用AI加速元数据，可通过CSI-2或PCIe传输视频数据
Stand-alone: ECP5/iCE40 UltraPlus FPGA AI enabled System放大图片

单独运行：基于ECP5和iCE40 UltraPlus FPGA的AI系统

  • 基于ECP5或iCE40 UltraPlus FPGA的实时在线、集成的解决方案
  • 低延迟、更安全
  • FPGA资源可用于系统控制
Preprocessor: iCE40 UltraPlus Event Trigger放大图片

独立运行的ECP5/iCE40 UltraPlus FPGA

  • iCE40 UltraPlus FPGA用于实时在线的关键词或目标检测应用
  • 只有在需要时才唤醒高性能ASIC/ASSP做进一步分析
  • 降低系统总体功耗
Preprocessor: ECP5 FPGA AI processor放大图片

预处理器：ECP5 FPGA AI处理器

  • 基于ECP5的神经网络加速，性能和功耗可调节
  • ECP5 I/O灵活，可无缝连接传感器等现有板载设备
  • 低端MCU用于灵活的系统控制
Postprocessor: ECP/iCE40 UltraPlus AI Accelerator 放大图片

后处理器：ECP/iCE40 UltraPlus AI加速器

  • 添加AI加速功能而不对系统作重大修改
  • 使用ECP或iCE40 UltraPlus实现性能/功耗可调节
  • ASIC/ASSP进行数据预处理，然后只发送推理数据

参考设计

目标分类参考设计

Reference Design

目标分类参考设计

基于在莱迪思CertusPro-NX低功耗FPGA上运行的Mobilenet神经网络模型实现目标分类参考设计
CertusPro-NX, Avant-E, CrossLink-NX 
Machine Learning/AI, Lattice sensAI, Object Detection, Object Identification, Space 
目标分类参考设计
手势检测

Reference Design

手势检测

使用红外图像传感器实现基于AI的低功耗手势检测系统
iCE40 UltraPlus 
Machine Learning/AI, Gesture Detection, Lattice sensAI 
手势检测
条码检测参考设计

Reference Design

条码检测参考设计

该演示使用了CertusPro-NX语音和视觉机器学习板及其基于Yolov5 NN模型的摄像头条形码检测功能。
CertusPro-NX 
Machine Learning/AI, Lattice sensAI, Barcode Detection 
条码检测参考设计
关键词检测

Reference Design

关键词检测

Lattice sensAI参考设计
iCE40 UltraPlus 
Audio AI, Machine Learning/AI, Lattice sensAI, Home Control Appliances & Security, IoT & Wearables, Notebooks & PCs, Printers, Smart Toys & Robots, Tablets 
关键词检测
人员侦测

Reference Design

人员侦测

使用莱迪思sensAI IP持续搜索附近是否有人存在并报告结果。可作修改用于检测其他任何物体。
iCE40 UltraPlus 
Machine Learning/AI, Object Detection, Lattice sensAI, Home Control Appliances & Security, IoT & Wearables, Notebooks & PCs, Printers, Smart Toys & Robots, Tablets, Defense 
人员侦测
Show More

IP核

高级CNN加速器IP

IP Core

高级CNN加速器IP

计算神经网络的各个网络层，包括卷积层、池化层、批量归一化层和全连接层。
CertusPro-NX, Avant-E 
Machine Learning/AI, Lattice sensAI, Object Detection, Object Identification, Home Control Appliances & Security, IoT & Wearables 
高级CNN加速器IP
CNN Plus加速器IP

IP Core

CNN Plus加速器IP

使用CNN实现超低功耗AI解决方案。最多可配置16位位宽。可搭配莱迪思神经网络编译器软件工具。
CrossLink-NX, Certus-NX, CertusPro-NX 
Machine Learning/AI, Lattice sensAI, AR / VR & Drones, Home Control Appliances & Security, IoT & Wearables, Notebooks & PCs, Printers, Smart Toys & Robots, Tablets, UAVs, Automotive 
CNN Plus加速器IP
卷积神经网络（CNN）加速器IP

IP Core

卷积神经网络（CNN）加速器IP

快速实现机器学习推理
ECP5 / ECP5-5G 
Machine Learning/AI, Lattice sensAI, AR / VR & Drones, Home Control Appliances & Security, IoT & Wearables, Notebooks & PCs, Printers, Smart Toys & Robots, Tablets, Defense 
卷积神经网络（CNN）加速器IP
卷积神经网络（CNN）轻量化加速器IP

IP Core

卷积神经网络（CNN）轻量化加速器IP

实现毫瓦级机器学习推理
iCE40 UltraPlus 
Machine Learning/AI, Lattice sensAI, AR / VR & Drones, Home Control Appliances & Security, IoT & Wearables, Notebooks & PCs, Printers, Smart Toys & Robots, Tablets, UAVs 
卷积神经网络（CNN）轻量化加速器IP
CNN协处理器加速器IP

IP Core

CNN协处理器加速器IP

使用莱迪思低功耗FPGA的CNN协处理器加速器引擎。该引擎可与RISC-V处理器一起使用，创建SOC并实现基于TF Lite的加速应用，充分利用莱迪思FPGA的并行计算能力和分布式资源。
CrossLink-NX 
Lattice sensAI, Machine Learning/AI, AR / VR & Drones, Home Control Appliances & Security, IoT & Wearables, Notebooks & PCs, Printers, Smart Toys & Robots, Tablets, UAVs 
CNN协处理器加速器IP

开发套件和开发板

嵌入式视觉开发套件

Board

嵌入式视觉开发套件

适用于网络边缘嵌入式视觉处理应用的模块化平台
CrossLink, ECP5 / ECP5-5G 
3D Video, Camera, DDR SDRAM, HDMI, Image Processing, Machine Learning/AI, Lattice sensAI, Signal Aggregation, Video Tx/Rx, VIP, Lattice mVision, IoT & Wearables, Smart Toys & Robots, Home Control Appliances & Security, Notebooks & PCs, Tablets, Printers, AR / VR & Drones, UAVs 
嵌入式视觉开发套件
CrossLink-NX-33 Voice and Vision Machine Learning Board

Board

CrossLink-NX-33 Voice and Vision Machine Learning Board

CrossLink-NX-33 Voice and Vision Machine Learning Board is designed using Crosslink-NX 33K, ideal for machine learning applications.
CrossLink-NX 
CSI-2, SPI, CSI Camera, Camera, Microphone, PMOD, Machine Learning/AI, Lattice sensAI, Automotive 
CrossLink-NX-33 Voice and Vision Machine Learning Board
CrossLink-NX声音和视觉机器学习板

Board

CrossLink-NX声音和视觉机器学习板

专为采用莱迪思sensAI和CrossLink-NX器件的低功耗机器学习应用而设计。包括图像传感器、麦克风、HyperRAM和扩展端口。
CrossLink-NX 
CSI-2, CSI Camera, Camera, Microphone, PMOD, HyperRAM, Machine Learning/AI, Lattice sensAI 
CrossLink-NX声音和视觉机器学习板
CertusPro-NX声音和视觉机器学习板

Board

CertusPro-NX声音和视觉机器学习板

快速为网络边缘设计AI用例！该开发板与莱迪思sensAI解决方案集合提供了用于开发基于视觉和音频的AI应用的工具。
CertusPro-NX 
Machine Learning/AI, DSP, PMOD, Camera, Lattice sensAI 
CertusPro-NX声音和视觉机器学习板
Himax HM01B0 UPduino Shield

Board

Himax HM01B0 UPduino Shield

Himax HM01B0 UPduino Shield是一款使用iCE40 UltraPlus™ FPGA提供低成本、低功耗人机交互解决方案的模块化AI开发平台
iCE40 UltraPlus 
Arduino, Camera, Machine Learning/AI, Lattice sensAI, AR / VR & Drones, Home Control Appliances & Security, IoT & Wearables, Notebooks & PCs, Printers, Smart Toys & Robots, Tablets, UAVs 
Show More

演示示例

用户追踪和旁观者检测演示

演示

用户追踪和旁观者检测演示

该演示示例使用CNN模型，在低功耗通用FPGA上运行，可检测和追踪多个人脸
CrossLink-NX 
Machine Learning/AI, Lattice sensAI, Image Processing, Camera, FaceI dentification 
用户追踪和旁观者检测演示
目标分类演示

演示

目标分类演示

使用CNN模型在低功耗通用FPGA上运行的目标检测、分类和追踪多个目标的演示
CertusPro-NX, Avant-E 
Machine Learning/AI, Lattice sensAI, Object Detection, Object Identification, Space 
目标分类演示
Barcode Detection Demonstration

演示

Barcode Detection Demonstration

This demo implements an algorithm for barcode detection using the CertusPro-NX Voice and Vision Machine Learning Board.
CertusPro-NX 
Machine Learning/AI, Lattice sensAI, Barcode Detection 
Barcode Detection Demonstration
User Background Blurring Demonstration

演示

User Background Blurring Demonstration

Efficient and low power approach for implementing user background blurring using Lattice CrossLink-NX FPGA
CrossLink-NX 
Lattice sensAI, Machine Learning/AI, SPI, Object Counting, Object Segmentation, Image Processing, Camera 
User Background Blurring Demonstration
关键词检测

演示

关键词检测

使用Lattice sensAI进行关键词检测
iCE40 UltraPlus 
Audio AI, Machine Learning/AI, Microphone, Lattice sensAI, Home Control Appliances & Security, IoT & Wearables, Notebooks & PCs, Printers, Smart Toys & Robots, Tablets 
关键词检测
Show More

软件工具

Lattice sensAI解决方案包括了全新的神经网络编译器工具，可将使用TensorFlow、Caffe或Keras开发的网络部署到莱迪思FPGA上，而无需RTL设计经验。

随后可以把神经网络编译器的输出整合到标准的莱迪思FPGA开发工具流程中——ECP5使用Lattice Diamond，iCE40 UltraPlus则使用Radiant。最后再部署到系统中的FPGA中。

  • 神经网络编译器 – 快速分析、模拟和编译不同类型的网络，从而在莱迪思的CNN/轻量化CNN加速器IP核上实现。
  • 莱迪思Radiant软件 – 用于创建设计、导入 IP、实现、生成位流、将位流下载到FPGA的设计工具。支持iCE40 UltraPlus器件。
  • 莱迪思Diamond软件 – 针对ECP5 FPGA系列的设计和探索工具。
  • 莱迪思Propel软件 – 软核SoC设计，用于设计、编译和将硬件设计部署到FPGA中。
  • 莱迪思sensAI Studio – 端到端的Model Zoo、数据标记、模型训练、验证和部署工具。

莱迪思用户存在感知套件

包括Windows应用程序的演示套件，展示了如何使用计算机视觉来延长PC的电池使用时间。

定制设计服务

Lattice sensAI拥有来自全球的优质设计服务合作伙伴组成的生态系统，能为广泛的终端应用提供定制化的解决方案，包括移动设备、智能家居、智慧城市、智能工厂和智能汽车等领域。点击此处查看更多关于Lattice sensAI认证合作伙伴的信息。

文档

资讯资源
标题 编号 版本 日期 格式 文件大小
选择全部
莱迪思sensAI产品手册
I0265 7.0 5/20/2020 PDF 605.4 KB
标题 编号 版本 日期 格式 文件大小
选择全部
让笔记本电脑重获 生机
WP0024C 1.0 7/1/2020 PDF 560.9 KB
加速实现网络边缘低功耗人工智能应用
WP-0014 1.1 11/28/2018 PDF 1.3 MB
Lattice SensAI 4.1: Tools and IP Transform Low-Power FPGAs into Intelligent AI/ML Edge Computing Engines
1.0 11/10/2021 PDF 766.4 KB
为快速增长的网络边缘 人工智能应用提供更高 性能的解决方案
WP-0019_C 1.0 8/17/2019 PDF 7.4 MB
掌控人工智能的力量：使用 莱迪思sensAI快速上手
WP-0017C 1.0 1/31/2019 PDF 2 MB

获奖情况

The Electronics Industry Awards 2019 放大图片

2019年Electronics Industry Awards

年度物联网产品
EDN Hot 2018放大图片

EDN Hot 100产品奖

工具&开发

AI Breakthrough Award 放大图片

AI Breakthrough奖

工程领域最佳AI解决方案
Assodel Award 2019

2019年度Assodel奖

工业和汽车领域最佳硬件产品奖
China Electronic Market 2018 Editor's Choice Awards放大图片

《中国电子商情》2018年度编辑选择奖

最具竞争力的FPGA产品

ABOUT LATTICE

SALES

SUPPORT

FOLLOW