ML(機械学習)推論を並列化することで低遅延を実現
複数のAIモデルを同時に実行します。
モデルパイプライン技術で機械学習のパフォーマンスを強化
高速応答や大規模モデルの実行が必要なアプリケーションでは、パイプライン技術を活用して、モデルを複数の小規模モデルに分割することができます。
- パーティションと実行 : 小規模モデルをさまざまなEdge TPUで実行
- 高速応答 : 全体を高速化
- 遅延低減 : 大規模モデルの合計遅延時間を短縮
小規模なデータセットで機械学習の成果を最大化
Edge TPUは、主にエッジでの推論のために設計されています。オンデバイストレーニングにより、事前にトレーニングされたモデルからAPIベースの転送学習を実行し、AI Accelerator PCIe Card上で直接、微調整されたモデルを取得することができます。
- モデルの精度向上 : AI Accelerator PCIe Cardにより、エッジでの転送学習が可能となります。モデルの再トレーニングにサーバーやクラウドを使う必要はありません。
- トレーニング時間の短縮e : 200枚以下の画像でモデルを最適化するため、ゼロから始める必要はありません。
より少ないエネルギーで、より多くのことを
エネルギー効率を考慮して設計されたAI Accelerator PCIe Cardは、優れた熱安定性を備えており、複数のEdge TPUを使用して推論を高速化することができます。
- 低消費電力 : 36/52W (8/16 Edge TPU)
- 外部電源が不要 : 電源はPCIeスロットから直接供給されます。
AIアプリケーションのプロトタイプを数分で作成
AI Accelerator PCIe Cardは、AIのデモンストレーションやプロトタイプを短期間で構築するのを支援します。Node-REDと互換性のあるEdge TPU inference nodes*と呼ばれるAI展開ビルダーを開発しました。このプログラミングツールを使えば、Edge TPUノードを使ってフローをワンクリックで簡単につなげることができます。プロトタイピングの段階で面倒なコーディングをする必要がなくなります。
- 直感的なプラットフォーム : ブラウザベースのグラフィカルなインターフェースで、コーディングの必要がありません。
- 操作が簡単 : 任意の機械学習ノードをドラッグ&ドロップしてつないだら、すぐにデプロイできます。
- データの可視化 : わかりやすく洗練されたダッシュボードで、 AI Accelerator PCIe Card の使用状況を監視できます。
* Edge TPU推論ノードのダウンロードは こちら
豊富な用途
-
製造業
欠陥検出
設備の監視
安全性の向上 -
小売
店頭での自動レジ
混雑度/密度分析
インテリジェントサイネージ -
交通
交通管理
車両管理
スマートパーキング -
監視
侵入検知
バーチャルフェンス
セキュリティ
ワークフロー
ASUS AI Accelerator PCIe CardでのAIモデル展開方法
- TensorFlow Liteコンバータ : TensorFlowモデル(.pbファイル拡張子)をTensorFlow Liteモデル(.tfliteファイル拡張子)に変換します。
- コンパイラ : TensorFlow Liteモデル(.tfliteファイル拡張子)をEdge TPU上で実行可能なファイルにコンパイルするコマンドラインツールです。
- 展開 : PyCoral API(Python)またはLibcoral API(C++)を介してAIモデルを実行します。
機械学習モデルの要件
- 対応するMLフレームワーク : TensorFlow Lite
- 量子化 : テンソルパラメータは量子化されています (8ビット固定小数点数; int8)。
- ニューラルネットワークに対応 : CNN (Convolutional Neural Networks).
- モデル変換 : TensorFlowコンバータツールでTensorFlowモデルからTensorFlow liteモデルへの変換。
技術仕様
- MLアクセラレータ : 8/16 Edge TPUとの統合により、32/64のTOPS性能を実現
- インターフェース : PCI Express® (PCIe®) 3.0 x16
- フォームファクター : フルハイト、ハーフレングス、ダブルスロット
- 冷却方式 : アクティブファン
- 動作温度 : 0-55°C
- 外形寸法 : 42.1×126.3×186.3(幅×高さ×奥行き、mm)
- 消費電力 : 36〜52ワット
- 対応OS : Ubuntu 18.04、Debian 10、Window 10