ラティス sensAI スタック

AIの推論を行うエッジアプリケーションの開発期間を短縮

ラティス sensAI スタックは FPGA ベースの機械学習 / 人工知能 (AI) ソリューションの実装のための評価、開発、デプロイ、に必要なものすべてを提供します - それは、モジュール型ハードウェアプラットフォーム、サンプル用デモンストレーション回路、リファレンスデザイン、ニューラルネットワーク IP コア、開発ソフトウェア、そして、カスタムデザインサービス、です。

ラティス FPGA の機械学習ソリューションは柔軟度が高く、簡単に実装可能で、低消費電力 (約 1 mW 以下から 1 W)、小型 (パッケージサイズは 5 mm2から)で、量産時のコストにも競争力があります。

ラティスは、モバイル端末、スマートホーム、スマートシティ、スマートファクトリー、スマートカーを含む、多様なエッジアプリケーション用のオールウェイズ・オンでデバイス上での実行が可能な AI を開発するための期間短縮をお手伝いすることができます。

sensAI

リンクに飛ぶ

ビデオ

Lattice Avant™ Launch Event – Dec. 5, 2022

Lattice Avant™ Launch Event – Dec. 5, 2022

On Dec. 5, 2022, Lattice unveiled Lattice Avant, a new FPGA platform purpose-built to bring the company’s power efficient architecture, small size, and performance leadership to mid-range FPGAs, offering best-in-class power efficiency, advanced connectivity, and optimized compute. Watch the livecast replay to experience the next level of FPGA innovation.
 Lattice sensAI: Making PCs smarter and more aware

Lattice sensAI: Making PCs smarter and more aware

Lattice sensAI smart vision sensing technology tracks the user's attention while using their device making PCs smarter and more aware of their surroundings than ever before, by combining the built-in camera with machine learning models running on Lattice’s industry-leading low power FPGAs.
Lattice sensAI: Protecting your PC with onlooker detection

Lattice sensAI: Protecting your PC with onlooker detection

Lattice sensAI vision sensing technology is designed to help protect PC users from visual hackers by warning the user with an on-screen alert, or automatically turning on privacy screen settings, when enabled.
Lattice sensAI: Better collaboration with face framing technology

Lattice sensAI: Better collaboration with face framing technology

Lattice sensAI vision sensing technology helps to keep PC users in frame, even while shifting positions, and understands when new team members enter the frame and automatically refocuses to accommodate them.
Lattice FAD sensAI

ラティスsensAI: エッジアプリケーション向け低消費電力 AI

The full-featured Lattice sensAI stack includes everything developers need to evaluate, develop and deploy FPGA-based Machine Learning / Artificial Intelligence solutions - modular hardware platforms, example demonstrations, reference designs, neural network IP cores, software tools for development, and custom design services.

設計方法の概要

sensAI Block Diagram

  • 開発期間を短縮するエンドツーエンドソリューション
  • サポートされる NN モデルは、利用可能なリソースに最適化されます
  • トレーニングは GPU が搭載されたシステム上の Tensorflow などの標準的な機械学習フレームワークを使用して実行します
  • データセットにタグを付ける方法の説明を含んだサンプルデータセットが提供されます

Software Based Methodology

Software Based Methodology

  • Training done using TensorFlow and converted to TF Lite
  • Lattice Propel is used to build SoC in the FPGA including optimized ML acceleration
  • C++ software based implementation in the FPGA for ease of use
  • A Reference Designs provided for download

システム構成の具体例

以下の図は、FPGA が AI/ML ソリューションで使用される具体例です。ラティスの FPGA は、シンプルで低消費電力、小型のパワフルでスケーラブルな AI/ML ソリューションを提供します。ダウンロードして評価することが可能なハードウェアデモンストレーションをご覧ください。

Preprocessor: CrossLink-NX AI Accelerator

  • Optimized FPGA Architecture built on low power process (FDSOI)
  • Flexible interface to connect to high quality image sensors through MIPI CSI-2
  • Ability to pass video data through CSI-2 or PCIe with AI acceleration meta data

ECP5 / iCE40 UltraPlus FPGA による AI 推論

  • ECP5 または iCE40 UltraPlus FPGA でオールウェイズ・オンの AI ソリューションを実現
  • 低レイテンシかつ安全なシステム構成
  • そのほかの FPGA リソースにはシステム制御回路などを実装することが可能

iCE40 UltraPlus FPGA による イベントトリガ型プリプロセッシング AI 推論

  • iCE40 UltraPlus FPGA でオールウェイズ・オンのキーフレーズまたは物体検出を実現
  • 設定された要件を満たしたときのみ高性能 ASIC / ASSP を起動して以降の処理を行う
  • システム全体の消費電力を削減

ECP5 FPGA によるプリプロセッシング AI 推論

  • 処理性能 / 消費電力の最適化が可能なニューラルネットワーク処理を ECP5 に実装
  • ECP5 のフレキシブルな I/O はシステム上の旧型センサーデバイスなどと接続可能
  • システムコントロール機能はローエンド MUC で対応

ECP5 / iCE40 UltraPlus によるポストプロセッシング AI 推論

  • 大幅なシステム変更をせずに AI 推論機能を追加
  • 処理性能 / 消費電力の最適化が可能なニューラルネットワーク処理を ECP5 / iCE40 UltraPlus に実装
  • ASIC / ASSP はデータプリプロセッシングを行い、AI 推論のためのデータだけ出力

Reference Designs

Object Classification Reference Design

Reference Design

Object Classification Reference Design

The Object Classification reference design shows examples on implementing machine-learning based object classification to edge devices applications.
Object Classification Reference Design
Hand Gesture Detection

Reference Design

Hand Gesture Detection

Implements a low power AI based system to detect hand gestures using an IR image sensor
Hand Gesture Detection
Barcode Detection Reference Design

Reference Design

Barcode Detection Reference Design

Exhibits the barcode detection using CertusPro-NX Voice & Vision Machine Learning Board & its camera barcode detection potential based on Yolov5 NN models.
Barcode Detection Reference Design
Scene Segmentation Reference Design

Reference Design

Scene Segmentation Reference Design

Efficient and low power approach for implementing scene segmentation using Lattice CrossLink-NX FPGA
Scene Segmentation Reference Design

IP Cores

Advanced CNN Accelerator IP

IP Core

Advanced CNN Accelerator IP

Calculates full layers of Neural Network including convolution layer, pooling layer, batch normalization layer, and fully connected layer.
Advanced CNN Accelerator IP
CNN Plus Accelerator IP Core

IP Core

CNN Plus Accelerator IP Core

CNN Plus IP is a flexible accelerator IP that simplifies implementation of Ultra-Low power AI by leveraging capabilities of Lattice FPGAs.
CNN Plus Accelerator IP Core
CNN Co-Processor Accelerator IP

IP Core

CNN Co-Processor Accelerator IP

A CNN co-processor accelerator engine for use with low power Lattice FPGAs. The engine can be used with a RISC-V processor to create an SOC and implement TF Lite-based acceleration applications that leverage the parallel compute and distributed resource capabilities of Lattice FPGAs.
CNN Co-Processor Accelerator IP

Development Kits & Boards

CrossLink-NX Voice and Vision Machine Learning Board

Board

CrossLink-NX Voice and Vision Machine Learning Board

Designed for low-power machine learning applications with Lattice sensAI and CrossLink-NX. Includes image sensors, microphones, HyperRAM, and expansion ports.
CrossLink-NX Voice and Vision Machine Learning Board
CrossLink-NX-33 Voice and Vision Machine Learning Board

Board

CrossLink-NX-33 Voice and Vision Machine Learning Board

CrossLink-NX-33 Voice and Vision Machine Learning Board is designed using Crosslink-NX 33K, ideal for machine learning applications.
CrossLink-NX-33 Voice and Vision Machine Learning Board
CertusPro-NX Voice and Vision Machine Learning Board

Board

CertusPro-NX Voice and Vision Machine Learning Board

Design AI use cases for the Edge quickly! This board along with the Lattice sensAI solution stack provide the tools for developing vision and audio-based AI applications.
CertusPro-NX Voice and Vision Machine Learning Board

Demos

Object Classification Demonstration

Demo

Object Classification Demonstration

This object classification demo provides a sample application for detecting, classifying, and tracking multiple objects running on CertusPro-NX FPGA.
Object Classification Demonstration
User Tracking and Onlooker Detection Demonstration

Demo

User Tracking and Onlooker Detection Demonstration

Sample demonstration for detection and tracking of multiple human faces running on a low power general purpose FPGA using CNN Model
User Tracking and Onlooker Detection Demonstration
Barcode Detection Demonstration

Demo

Barcode Detection Demonstration

This demo implements an algorithm for barcode detection using the CertusPro-NX Voice and Vision Machine Learning Board.
Barcode Detection Demonstration
User Background Blurring Demonstration

Demo

User Background Blurring Demonstration

Efficient and low power approach for implementing user background blurring using Lattice CrossLink-NX FPGA
User Background Blurring Demonstration

開発ソフトウェア

ニューラルネットワークコンパイラを含むラティス sensAI ソリューションスタックは、RTL 設計の経験なしで、TensorFlow、Caffe、Keras で設計されたネットワークを簡単にラティスの FPGA に実装することかできます。

ニューラルネットワークコンパイラの出力はラティスの FPGA 開発ツールフロー、ECP5 はラティス Diamond、iCE40 UltraPlus は Radiant、を介して、システム上の FPGA にデプロイされます。

  • ニューラルネットワークコンパイラ ‐ ラティス CNN / BNN コンパクトアクセラレータ IP コアに実装するために、ネットワークの解析、シミュレート、コンパイルを短時間で実行します。

カスタムデザインサービス

ラティス sensAI スタックは、モバイル、スマートホーム、スマートシティ、スマートカーなどのさまざまな最終製品にカスタムソリューションを提供できる、ワールドワイドな設計サービスのエコシステム、を含んでいます。ラティス sensAI 認定パートナー企業に関する詳しい情報はこちらをご覧ください。

ドキュメント

Information Resources
TITLE NUMBER VERSION DATE FORMAT SIZE
Select All
Lattice sensAI Stack Product Brochure
I0265 7.0 5/20/2020 PDF 456.6 KB
TITLE NUMBER VERSION DATE FORMAT SIZE
Select All
Lattice SensAI 4.1: Tools and IP Transform Low-Power FPGAs into Intelligent AI/ML Edge Computing Engines
1.0 11/10/2021 PDF 766.4 KB
最先端エッジ AI 開発が求める 高性能なソリューション
WP-0019 1.0 8/17/2019 PDF 1.9 MB
AIの力を活かそう: ラティスのsensAIで始めよ
WP-0017J 1.0 1/31/2019 PDF 2.9 MB
Bringing Laptops Into the 2020s
WP0024 2.0 7/1/2020 PDF 723.4 KB
エッジで低消費電力の人工知能(AI)実装を加速
WP-0014 1.1 11/28/2018 PDF 1.6 MB

*By clicking on the "Notify Me of Changes" button, you agree to receive notifications on changes to the document(s) you selected.

Awards

The Electronics Industry Awards 2019

Internet of Things Product of the Year

EDN Hot 100 Product Award

Tools & Development

AI Breakthrough Award

Best AI-Based Solution for Engineering

Assodel Award 2019

Best Industrial and Automotive Related Hardware Product

China Electronic Market 2018 Editor's Choice Awards

Most Competitive FPGA Product