- Smarter Worldブログ
- Audioscenicとともに生み出す新たなサウンド体験：パーソナル空間オーディオ、ヘッドフォンは不要
ステップを進める
Audioscenicとともに生み出す新たなサウンド体験：パーソナル空間オーディオ、ヘッドフォンは不要
概要：ヘッドフォンを使用しない没入型3Dサウンド
それはいつもと同じように始まります。ビデオ・ゲームがロードされ、アクションがスタートします。ですが、ヘッドセットは装着していません。ただ座ってリラックスし、オーディオに没入します。サラウンド・システムも、ヘッドフォンも使いません。使っているのは、それぞれの耳に正確に向けられた適応型のサウンド・ビームです。あなたが動くと、音も追従し、常に最適な聴取位置が維持されます。まるで目に見えないヘッドフォンを装着しているかのようです。ヘッドセットと同様な精度を備えていながら、耳も疲れず、ワイヤーもバッテリー充電も不要です。自由に話したり、反応したりしながら、自然にプレイでき、耳には何もつけず、その場は生き生きとした空間音で満たされています。
これが、Audioscenicが作り出した体験です。これを実現するためには、エッジ対応のコンピューティング、オーディオを重視したパフォーマンス、および緊密に統合されたシステム・サポートが必要でした。そこでNXPの出番です。
i.MX 8Mアプリケーション・プロセッサをベースとし、AudioscenicのエンジニアとNXPのグローバル技術チームとの緊密な連携を通じて生まれたのが、聴取者位置センシングを使用した適応型ビームフォーミング・サウンド・テクノロジです。このリファレンス・デザインをモニタやサウンドバーに応用することで、没入型の3Dオーディオやクリアな音声チャットを提供できるようになります。
「今こそ、空間オーディオを多くのユーザーに届けるときです。Audioscenicは、このビジョンを推進する革新的な製品の開発に向けてNXPと協力して取り組んでいることを誇りに思っています」
課題：聴く人とともに動くサウンドの構築
ゲーマーは長い間、次のようなトレードオフに直面してきました。没入感はあっても音声通信に難があるスピーカーを選ぶか、それとも、クリアなチャットとプライベートなリスニングには向いていても空間的な音の広がりがなく耳に負担がかかるヘッドセットを選ぶか。
Audioscenicは、新しいアプローチを思い描きました。それは、エコー・キャンセルを伴う音声キャプチャ機能を備えつつ、リアルタイムでユーザーの耳に音を向けるよう調整を行う3D空間オーディオ・システムです。最初の概念実証 (PoC) を現実のものとするために、Audioscenicでは、低遅延コンピューティング、高解像度オーディオ、堅牢な音声処理によってシームレスなパフォーマンスを提供する、i.MX 8M Miniおよびi.MX 8M Nanoアプリケーション・プロセッサに目を向けました。
使用されるNXPテクノロジ
i.MX 8M Mini
先進の14LPC FinFETプロセス技術を採用したNXP初の組込みマルチコア・アプリケーション・プロセッサであり、高速化と優れた電力効率を実現
i.MX 8M Nano
グラフィックス、ビジョン、音声制御、インテリジェント・センシング、汎用処理などを必要とする電力効率の高いデバイス向けに、コスト効率に優れた統合とパフォーマンスを提供
しかし、テクノロジは方程式の一部に過ぎません。NXPのチームは、パフォーマンスの最適化、ソフトウェア・フレームワークの適応、統合に対応したソリューションの提供など、開発全体を通じてAudioscenicと緊密に連携しました。NXPのi.MX 8Mデバイス全体にわたるLinux BSP互換性により、Audioscenicはソリューションを迅速に拡張し、最適化できるようになりました。開発をさらに加速するために、NXPはシステム・アーキテクチャに合わせてカスタマイズされたImmersiv3Dオーディオ・フレームワーク・ソフトウェアをリリースしました。このモジュール型オーディオ・プラットフォームは、空間オーディオ・アルゴリズムの統合を簡素化し、ハードウェアとソフトウェアの各要素間の調整を支援することで、開発に要する時間を大幅に短縮します。
「i.MX 8M SoCとImmersiv3Dオーディオ・パイプライン・ソフトウェアは、AudioscenicのAI空間オーディオをコンパクトなフォーム・ファクタで処理するために必要なスケーラビリティ、パワー、パフォーマンスを提供します」
ソリューション：エッジで高精度の3Dサウンドを
Audioscenicのビジョンを実現するには、聴取者の頭部をリアルタイムで追跡し、指向性オーディオをそれぞれの耳に正確に合わせ、遅延なしで維持するという、独自の複雑な課題を解決する必要がありました。このレベルのパフォーマンスを得るには、複数のアルゴリズムを並行して調整し、低レイテンシで処理する必要があります。
AudioscenicとNXPは共同で、ソリューション・スタック全体にわたる緊密な統合を通じて、この課題に取り組みました。i.MX 8M MiniおよびNanoプロセッサをベースに構築され、NXPのImmersiv3Dオーディオ・フレームワークによって支援されるこのシステムは、さまざまな方向や角度へのユーザーの動きに即座に反応します。頭部追跡アルゴリズムと後処理が完璧に同期して調整を行い、シームレスで没入感のある体験を維持します。
i.MXプラットフォームのパフォーマンスと柔軟性により、システムは以下をサポートします。
- AIを活用した位置検出で耳の位置を特定
- 聴取者に追従する適応型3Dビームフォーミング
- HRTFデータを使用したバイノーラル・レンダリングによる正確な空間把握
- リアルタイムのクロストーク・キャンセルによる高精度のチャネル分離
- ユーザーの声とゲームのサウンドを調和させるマルチチャネル再生
クラウド処理を必要とせず、すべてが完全にデバイス上で実行されるため、高速な応答時間と超低レイテンシが確保され、どこに動いても音が追従する、これまでとはまったく違った新しい空間オーディオ体験が得られます。
NXPの成熟したLinux BSPと統合対応ソフトウェアにより、Audioscenicは必要なオーディオ・チャネルの数に応じてソリューションを拡張しながら、開発期間を短縮することができました。
10 ms未満
リアルタイム頭部追跡と空間オーディオ位置調整のレイテンシ
100%
すべてをデバイス上で処理し、クラウドへの依存も遅延もなし
6 DOF
頭部追跡サポートにより、ダイナミックでパーソナライズされた3Dオーディオを実現
結果：パーソナルな空間サウンドの新時代
ゲームへの没入感を高める方法として始まったものが現在、より広範なオーディオの変革への道を開いています。これらのインテリジェントなエッジ・プラットフォームは、ゲーム体験の向上だけでなく、さまざまな業界にわたって、サウンドを作り出し、ミックスし、体験する新たな方法の可能性をも見出しています。
そのような体験を提供するには、単なる強力なテクノロジ以上のものが必要です。緊密なコラボレーションに加え、コンピューティング、コネクティビティ、オーディオ・インテリジェンスの技術を連携させながら、現実世界の環境に特有の要求に対応する必要があります。これがまさに、AudioscenicとNXPがともに推進し続けているイノベーションの内容です。インテリジェントなエッジ・プラットフォームと、完全に統合されたシステムを組み合わせることで、私たちは空間オーディオの未来を一歩一歩形作るお手伝いをしています。
Audioscenicについて
Audioscenicは、英国サウサンプトンに拠点を置くオーディオ・テクノロジのイノベーターであり、拡大し続けるグローバルな顧客基盤を有しています。Audioscenicは、家庭用オーディオ、ゲーム、自動車、公共スペース向けに、精力的な研究に基づくオーディオ・テクノロジを開発しながら、常に製品メーカーに刺激を与え、ユーザーを魅了し続けています。
Audioscenicの詳細はこちらAuthor
John Roosendaal
John brings 30 years of experience in the semiconductor and embedded software industries. At NXP, he supports the development of advanced solutions in audio, gaming, conferencing and computing, helping customers bring innovative products to market. He holds a Bachelor of Science in Electrical Engineering from UC San Diego and an MBA from CSU San Marcos.