埃が舞う建設現場。霧に覆われた平原。混雑した倉庫。土砂降りの雨。でこぼこの地形。自律型マシンが、このような実世界の過酷な環境を確実にかつリアルタイムで認識し、ナビゲートするには、何が必要でしょうか？
NXPはAu-Zone Technologiesと連携して、動作上のストレス下でも機能する認識システムを構築するだけでなく、そのシステムを迅速に統合し、容易に拡張できるようにするために、この難題に取り掛かりました。
この連携により、Au-ZoneのRaivinモジュールが誕生しました。Raivinモジュールは、レーダー・センシング、ビジョン処理、エッジAI推論を1つの量産対応ユニットに統合した3D知覚システムです。動作上の複雑さに対応するために開発されたRaivinは、マシンが複雑な環境データをリアルタイムで処理して動作できるようにし、プレッシャー下でも発揮される知覚を提供します。
Raivinは、あらかじめトレーニングされたAI知覚モデルとハードウェア・ソフトウェア統合スタックにより、インテリジェントな知覚の実装を簡素化し、エッジにスケーラブルな自律性をもたらす一歩を踏み出します。
自律型システムの次のステップでは、より堅牢で正確かつコスト効率に優れたリアルタイム3D空間認識が求められます。NXPとの連携により、その要求を先んじて満たせるようにRaivinを設計することができました。
Brad Scott氏、CEO、Au-Zone Technologies
リアルタイム認識のための共通のビジョン
自律性とフィジカルAIの需要の波は、従来の知覚ソリューションが備えるよりも速いペースで押し寄せています。依然として、部分的なソリューションを提供するシングル・センサのスタックに依存するケースが多く見られ、複雑で予測不可能な環境での動作はおぼつきません。カメラのみのシステムは、視認性やライティングが不十分であれば機能を発揮できません。LiDARは高精度ですが、大きなコストと電力を必要とします。レーダーは、過酷な気象条件での信頼性は高いものの、物体を正確に区別できる分解能を欠いています。
私たちは、Au-Zoneと連携してこの問題を解決すべく、高い信頼性と低レイテンシの知覚能力をもたらすエッジAIセンサ・フュージョン・システムの共同開発に着手しました。
ビジョンは、物体の検出、分類、セグメンテーションといったセマンティックな理解を深めます。一方でレーダーは、たとえ不明瞭な環境であっても継続的に奥行きと動きのトラッキングを提供します。Raivinは、これらの信号をAI推論と融合させることで、コンテキスト・アウェアな同期された3Dモデルを構築し、高い信頼性をもってリアルタイムの意思決定を可能にします。
しかし、いくらマルチセンサ・システムが利点をもたらしても、自律型アプリケーションは依然として、実世界での刺激にどれだけすばやく対応できるかによって制限されます。レイテンシは重要であり、これらのワークロードは、クラウドでの処理やセンサの低リフレッシュ・レートによる遅延を許容しません。
レーダーとビジョンそしてエッジAI処理を1つのユニットで組み合わせることでのみ、次世代の自律化での要求を満たすのに十分な速さ、信頼性、堅牢性を備えたシステムを実現できます。
Raivinは、レーダー、ビジョン、エッジAIが単一のデターミニスティックなパイプラインとして機能するように設計するシステム・レベルの考え方を反映しています。このアプローチにより、複雑な環境でもリアルタイムでの認識が可能になります。
Altaf Hussain、交通およびモビリティ向け産業機器セグメント・マーケティング担当ディレクター、NXP
ハードウェアとソフトウェアのスタックの融合
Raivinには最初から共同開発で取り組みました。フルスタック設計プロセスでは、シリコンからソフトウェアまですべてのレイヤが共同で開発され、エッジでの統合されたパフォーマンスを実現しました。
Raivinモジュールは、ローレベル・レーダー・キューブとエッジAIによるビジョン・データ処理を1つのデプロイ可能なユニットで提供する、AI知覚ソリューションとして市販されています。
NXPは、高性能でスケーラブルなコンピューティングおよびセンシングの基盤を提供
Au-Zoneは、エッジAIソフトウェア・スタックと開発ツールを提供
Raivinモジュールは、MLに関する広範なノウハウを必要とせずにマルチモーダルなデータ収集、AI支援のラベリング、トレーニング、検証、およびセンサ・フュージョン・モデルの実装を容易にする、Au-ZoneのEdgeFirst Studio™ を使用して開発されました。この中でもEdgeFirst Perception Stackは、事前にトレーニングされたモデルと、ワークフローに合わせて最適化されたソフトウェアを通じて、迅速な開発を支援します。開発者は、データセットのラベル付け、モデルの微調整、パフォーマンスの検証のすべてを、統合環境内で行うことができます。このようなエンド・ツー・エンドのアプローチにより、複雑なマルチモーダルAI知覚システムを実装する設計者にとって、開発に費やす労力が大幅に軽減され、参入障壁も低くなります。
その結果、低レイテンシ、低消費電力に向けて最適化され、エッジ環境での実装に対応した、緊密に統合された3D知覚システムが実現します。
Raivinは動的で不確実な環境でも動作します。CESでのデモで、エッジで信頼できる空間認識がどのように行われるのかをご覧ください。
実世界の条件における画期的なパフォーマンス
CES 2025では、Raivinのライブ・デモが行われ、天候や動きから視覚的な障害物まで、自律型マシンが日々直面する環境ストレス要因の種類を再現した形でテストを行いました。
- 霧の中でも、レーダーは物体検出、追跡、および空間認識を維持しました
- グレアがあっても、フュージョン・エンジンは正確な物体追跡を維持しました
- シミュレーションされた雨天の場合でも、レーダーとAIが連携して正確な認識を維持しました
- 混雑している場面では、レーダーが速度を追跡すると同時に、AIとビジョンがリアルタイムで人や機器、障害物をセグメント化および分類しました
雨天のシミュレーション時には、レーダーとAIが連動して視界の低下を補い、システムは視界の悪い環境でも正確な知覚を維持することができました。
センサ・フュージョンを大きく簡素化
従来より、センサ・フュージョンは複雑で、細分化されたツール、カスタム・パイプラインに加え、深い専門知識が必要でした。Raivinはそれを変えます。
Au-ZoneのEdgeFirst Studioに統合されたトレーニング済みのAIモデルを使用することで、エンジニアはレーダーとビジョンの統合をゼロから始めなくてもよくなります。ソフトウェアがデータセットの管理、トレーニング、検証をサポートするため、最小限のコーディングやMLインフラストラクチャでイテレーションを迅速化できます。また、データ収集プラットフォームとして使用し、さまざまなオブジェクトや作業環境のためのカスタム・ソリューションを開発することもできます。
同時に、構築済みのハードウェア・ソリューションはエッジAIプロセッシング向けに最適化されているため、カスタムの実装やハードウェアのトレードオフに関する懸念が排除されます。Raivinはすでに市販されており、拡張可能な検証済みの3D知覚システムをOEMに提供しています。
実装先がモバイル・ロボットであれ、精密農業やフリート車両であれ、RaivinモジュールはAIによる認識を1つのプラットフォームで迅速に統合することを可能にします。
Raivinは、効率的なエッジ・プロセッシング、トレーニング済みのAIモデル、ハードウェアとソフトウェアの統合設計により、ロボティクス、農業、フリート車両などの幅広いアプリケーションにわたってセンサ・フュージョンの実装を簡素化します。
Brad Scott氏、CEO、Au-Zone Technologies
Raivinとともに前進
Raivinは、テクノロジと連携の両面での進歩を示しています。Raivinモジュール のようなソリューションは、レーダー、ビジョン、エッジAIを1つのプラットフォームに統合することで、インテリジェントな知覚の導入の迅速化、拡張の容易化、および実世界への備えを実現します。
そのようなシステムの構築または統合を開始する際には、Au-ZoneのEdgeFirst Studio がエッジAIの実装をどのように簡素化するかについて詳しくご覧ください。
