都市低空 UAV ルート計画: デジタルツインとニューラルレンダリング空域モデリング

方向 3: デジタルツイン + ニューラルレンダリング空域モデリング 拡張章・テクノロジーブログシリーズパート 3

1. 背景: デジタルツインが都市の低地経済を強化する

都市航空モビリティ (UAM) と低空経済の急速な発展に伴い、都市低空空域の洗練された管理が中心的なニーズとなっています。従来の航空交通管制システムは、静的な地図とルール駆動のシステムに依存しており、複雑な 3 次元都市環境におけるドローンのリアルタイム計画ニーズを満たすことができません。 デジタルツイン (デジタルツイン) は、デジタル世界の物理空間の正確なマッピングとして、都市の低高度空域の動的モデリングのための新しい技術的パスを提供します。

都市部の低高度デジタルツインは、マルチソースデータを統合する必要があります。衛星画像は巨視的な表面オブジェクトの分布を提供し、ビルディングインフォメーションモデル (BIM) は微細な幾何学的構造を提供し、リアルタイムセンサーデータ (LiDAR、カメラ、気象観測所) はツインの動的な進化を推進します。デジタルツインプラットフォームの中核となる価値は、デジタル空間で「予測、計画、シミュレーション、検証」の完全な閉ループを完了し、実際の飛行試験のリスクとコストを大幅に削減することです。

この記事では、デジタルツイン空域モデリングにおけるニューラルレンダリングテクノロジーの応用に焦点を当て、NeRF/3DGS などの方法を使用して、高忠実度でリアルタイム更新可能な都市の低高度 3 次元表現を構築する方法を検討します。

2. デジタルツイン空域モデリングの基本

2.1 空域デジタルツインシステムアーキテクチャ

都市部の低空デジタルツインシステムは通常、次の 5 層アーキテクチャを採用しています。

レベル	機能	主要なテクノロジー
データ取得レイヤー	マルチソースセンシングデータ融合	LiDAR SLAM、視覚慣性オドメトリ (VIO)、衛星リモートセンシング
データ処理層	点群登録、セマンティックセグメンテーション	ICP、PointNet++、何でもセグメント
3D モデリングレイヤー	ジオメトリ/テクスチャ/セマンティック再構築	写真測量、NeRF/3DGS、BIM 統合
シミュレーション控除層	軌道予測、交通シミュレーション	マルチエージェントシミュレーション、強化学習
対話型サービス層	計画クエリ、API インターフェイス	地理情報システム (GIS)、RESTful API

2.2 空気領域表現の数学的枠組み

都市部の低高度空域が (通常の範囲: ) であると仮定すると、空域の状態は時変フィールドとしてモデル化できます。

その中には:

は幾何学的密度場 (占有確率) です。
は視野角関連のカラーフィールドです。
は機能分野の分類です

デジタルツインの中核的なタスクは、** をリアルタイムで推定して更新し、現時点で最も正確な環境状態を計画アルゴリズムに提供することです。

3. 空間再構成におけるニューラルレンダリングの応用

3.1 City-NeRF: 大規模な都市シーンの神経再構成City-NeRF (Mueller et al.、ACM ToG 2022) は、都市規模のシーン向けのマルチビューニューラルレンダリングフレームワークを提案し、プログレッシブマッピングおよび局所最適化戦略を通じて大規模シーンのニューラル再構築を実現します。 City-NeRF のコア設計には以下が含まれます。

ビュー依存の外観モデリング: 低ランクの行列分解 (低ランク適応) を使用して遠近依存のカラーフィールドをパラメータ化し、MLP が都市の建物のガラスカーテンウォールや金属表面などの複雑なマテリアルの遠近依存の反射を効率的にモデル化できるようにします。
プログレッシブ解像度スケジューリング: UAV は、低解像度マッピングを使用して飛行の初期段階で広いエリアを迅速にカバーし、その後、主要エリア (離陸場所と着陸場所、複雑な交差点など) で高解像度の局所最適化を実行します。
時間横断的な一貫性: 外観の埋め込みを通じてさまざまな期間に収集された画像データを調整し、照明の季節変化に対応します。

City-NeRF は、都市部の渓谷シーンの大規模 3D シーンに対するニューラルレンダリング手法のモデリング機能を検証しましたが、元の実装では数十時間のオフライン最適化が必要であり、UAV オンラインプランニングのニーズを満たすことができませんでした。

3.2 3DGS に基づくリアルタイム空域モデリング

3D ガウススプラッティングの増分更新の性質により、UAV の動的空域再構成に自然に適合します。 Gaussian-Urban (このアイデアは、都市シーンにおける 3DGS のアプリケーション拡張から派生したものです) は、都市の建物、樹木、道路標識、その他のシーン要素を独立したガウスグループとしてモデル化し、フレームごとの増分挿入と削除をサポートします。

主な設計には次のようなものがあります。1. 動的ガウスライフサイクル管理: UAV の新たに観測された領域は新しいガウスを生成し (分割操作)、長期間更新されていない冗長なガウスは枝刈りされます (枝刈り) 2. チャンク管理: 都市をのスペースブロックに分割します。各ブロックは独立したガウスセットを維持し、UAV は移動プロセス中に隣接するブロックを動的にロードします。 3. GPU アクセラレーションパイプライン: CUDA を使用してガウス投影、深度ソート、およびアルファ合成の GPU 並列化を実装し、Jetson Orin で測定されたレンダリングフレームレート 15 FPS に達しました。

3.3 BIM/都市モデルとの統合

純粋にデータ駆動型のニューラルレンダリング手法には、幾何学的精度が不十分であるという問題があります。MLP またはガウスアンサンブルによって学習された幾何学は、「測定が正確」ではなく「レンダリングが正確」であるため、正確な衝突境界を必要とするシナリオの計画において危険なエラーが発生する可能性があります。

神経幾何学融合ソリューションが誕生しました:

ジオメトリガイド付き NeRF: レーザー点群または BIM モデルを幾何学的事前定義として使用し、光線と表面の交差を通して NeRF の光線サンプリングをガイドし、実際の幾何学的表面近くの高密度サンプリングを優先して、幾何学的精度を大幅に向上させます。
Nerfies/Colala/HyperNeRF の変形フィールド法: 変形フィールドを使用してシーンの非剛体変形 (温度による建物のファサードのわずかな変形など) をモデル化し、計画の不確実性の境界を提供します。
CityGML + NeRF: CityGML (City Geographical Markup Language) のセマンティックアーキテクチャモデルを NeRF のテクスチャ/外観モデル (幾何学的に正確 (CityGML) とフォトリアリスティック (NeRF) の両方) でオーバーレイします。

4. 動的な空域デジタルツイン: リアルタイムの認識の融合と更新

4.1 動的要素モデリング

都市の低高度空域には、飛行中の他のドローン、鳥、凧、仮設建設物の吊り上げなど、多数の動的要素が存在します。静的なニューラルフィールドではこれらの動的ターゲットを捉えることができないため、4 次元 (4D) 時空間表現 を導入する必要があります。

D-NeRF フレームワーク (Pumarola et al., NeurIPS 2021) は、次のようにモデル化された神経放射線場に時間次元を導入します。$$ \mathcal{F}_\theta: (\mathbf{x}, t, \mathbf{d}) \rightarrow (\mathbf{c}, \sigma), \quad \mathbf{x}’ = \mathbf{x} + \Delta \mathbf{x}(t)

こ こ で は 、 追 加 の ブ ラ ン チ に よ っ て 予 測 さ れ る 変 形 フ ィ ー ル ド で す 。 こ の ア イ デ ア は カ ル マ ン フ ィ ル タ ー と ニ ュ ー ラ ル フ ィ ー ル ド の 組 み 合 わ せ か ら 得 ら れ ま す は 、 動 的 障 害 物 の 空 間 位 置 の 不 確 実 性 楕 円 を 推 定 す る た め に 不 確 実 性 伝 播 を さ ら に 導 入 し ま す 。

\mathbf{P}t = \mathbf{F}\mathbf{P}{t-1}\mathbf{F}^\top + \mathbf{Q}, \quad \mathbf{Q} = \sigma_w^2 \mathbf{I}

You can't use 'macro parameter character #' in math mode ### 4.2 マルチソースセンシングの融合 単一のセンサーでは空域の状況を完全に認識することはできません。動的な空域デジタル ツインには以下を統合する必要があります。 |センサー |利点 |制限事項 |融合手法 | |--------|------|------|----------| | **ビジョンカメラ** |豊富なテクスチャ、低コスト |夜間/バックライトの故障、スケールの曖昧さ | SfM リカバリの深さ | | **ライダー** |照明の影響を受けない正確な測距 |まばら、高価 |点群登録 | | **ミリ波レーダー** |曇りを透過して速度を直接測定 |ノイズが多く、解像度が低い |ビジョン/レーザー点群との融合 | | **ADS-B** |航空交通情報の直接取得 |相手機器からのブロードキャストに依存 |位置の注釈 | | **音響アレイ** |未知の音源を検出 |都市の騒音による干渉 |音源定位 | **マルチモーダル融合センターとしての神経場**: 各センサー データは神経場の入力観察として使用され、神経場の密度と色の分布はボリューム レンダリング方程式によって制約されます。主な利点は、明示的な点群の登録や特徴のマッチングを必要とせずに、異なる視野角および異なる時間**で異なるセンサーによって収集されたデータをニューラル フィールドが自然に融合できることです。 ### 4.3 リアルタイム更新パイプライン 動的空域デジタル ツインのリアルタイム更新パイプラインの設計は次のとおりです。1. **データ収集**: UAV に搭載された前方監視カメラと下方監視カメラは、継続的に画像シーケンスを収集します。 2. **姿勢推定**: 視覚慣性オドメトリ (VIO) または GPS/IMU フュージョンを通じてカメラの姿勢を取得します。 3. **増分マッピング**: 新しい観測値をニューラル フィールド オプティマイザーに渡し、ローカル ガウス セットまたは MLP 重みを更新します。 4. **動的検出**: 画像の新しいフレームごとにセマンティック セグメンテーションを実行して、静的な背景と動的な前景を分離します。動的な前景は、移動ガウスまたは 4D NeRF として独立してモデル化されます。 5. **ステータス公開**: ROS 2 トピックまたは WebSocket API 経由で現在の空域ステータスをプランナーに公開します。 **主要なパフォーマンス指標**: エンドツーエンドの更新遅延 $< 100\text{ms}$、空間カバー率 $> 95\%$ (UAV 飛行コリドー エリアとの比較)、幾何学的精度 $> 10\text{cm}$ (@ $1\sigma$)。 --- ## 5. エンドツーエンドの計画: デジタルツイン → 軌道の最適化 ### 5.1 安全な回廊の抽出 ニューラル空域表現から安全な回廊を抽出することは、デジタル ツインを軌道計画に接続するための重要なステップです。従来の方法ではボクセル マップから自由空間境界ボックスを抽出しますが、神経フィールドの表現には新しい抽出方法が必要です。 - **密度勾配に基づく境界検出**: 神経フィールド $\nabla_\mathbf{x}\sigma(\mathbf{x})$ の密度勾配は、オブジェクトの表面で最大となり、衝突境界の位置を特定するために使用できます。 - **マーチング キューブは等値面を抽出します**: 密度フィールド $\sigma(\mathbf{x})$ をバイナリ占有フィールドにしきい値処理し、マーチング キューブ アルゴリズムを使用して等値面を安全なコリドー境界として抽出します - **ガウスベースの衝突検出**: 3DGS の各ガウス楕円体は SDF 近似を直接計算でき、軌道計画中にガウス セットとの衝突を検出するだけで済みます。 ### 5.2 軌道最適化の目的関数 デジタルツイン空域における軌道最適化のための目的関数設計:$$ \min_{\mathbf{p}(t)} J = \underbrace{w_1 \int_0^T \|\mathbf{p}(t)\|^2 dt}_{\text{軌道平滑化}} + \underbrace{w_2 \int_0^T \sigma(\mathbf{p}(t)) dt}_{\text{衝突回避}} + \underbrace{w_3 T}_{\text{飛行時間}} + \underbrace{w_4 \sum_{i=1}^{N} \phi(d_i)}_{\text{動的障害物}}

は動的障害物からの距離、は指数関数的な障害物回避ポテンシャル関数です。

この最適化問題に対してデジタルツインによって提供される主な入力は、の正確な推定値とのリアルタイム位置予測です。

5.3 検証とシミュレーション

デジタルツインプラットフォームを使用すると、計画された軌道を実際の UAV に展開する前に、シミュレーションで安全に検証できます。

衝突検出シミュレーション: 予測された動的障害物の軌道をデジタルツインに注入し、考えられるすべての衝突シナリオで UAV の計画軌道が回避できることを検証します。
知覚障害シミュレーション: カメラの遮蔽や LiDAR の障害などのセンサー障害シナリオをシミュレートし、デジタルツイン状態推定の堅牢性と劣化パフォーマンスをテストします。
複数航空機の協調シミュレーション: 複数の UAV の計画軌道をデジタルツインに同時に注入し、航空交通管理の衝突検出および回避機能を検証します。

6. 関連作品と代表的なシステム

6.1 都市レベルのデジタルツインプラットフォーム

AirSim City Twin (Microsoft、2017) は、最も初期のオープンソース UAV シミュレーションプラットフォームの 1 つで、写真のようにリアルな都市環境を提供し、RGB カメラ、LiDAR、IMU、その他のセンサーのシミュレーションをサポートします。 AirSim のデジタルツインは Unreal Engine 上に構築されており、リアルなテクスチャを備えていますが、幾何学的精度には限界があります。OnePlus City Digital Twin (大規模な都市景観再構築研究からインスピレーションを得た) は、写真測量 + LiDAR 融合手法を使用して、の解像度で中国の複数の都市のデジタルツインモデルを構築し、都市計画と UAV シミュレーションをサポートします。

NVIDIA Omniverse Replicator は、データ合成とデジタルツイン構築のための統合プラットフォームを提供し、USD (Universal Scene description) に基づいた都市シーン表現とニューラルレンダリングアクセラレーションをサポートします。

6.2 UAV 空域モデリング研究

研究	年	方法論	取材範囲	更新頻度
シティ-NeRF	2022年	マルチビュー NeRF	都市ブロック	静的
ガウス-アーバン	2023年	3DGS	ブロックレベル	リアルタイム
インスタントNGP	2022年	ハッシュエンコーディング	屋内/小規模シーン	リアルタイム
サッズ	2023年	ニューラルスラム	都市レベル	オンライン
瓦礫ヒューズ	2024年	マルチモーダル融合	都市部	準リアルタイム

7. 課題と今後の方向性

7.1 現在の主な課題

コンピューティングリソースのボトルネック: 都市レベルの空域デジタルツイン () には、1 枚のカードのコンピューティング能力をはるかに超える数十億のボクセル/ガウスが含まれています。ブロッキング戦略は、ブロック間の継ぎ目の処理やブロック間の軌道計画などの新たな問題をもたらします。

適時性と精度の矛盾: ニューラルフィールドの最適化には収束するために十分な観測データが必要ですが、都市空域の状態は急速に変化するため (一時的な建設、イベント制御)、デジタルツインは遅れる可能性があります。

多重解像度の一貫性: 高度ごとに空域の精度要件は異なります。地上付近 () では障害物を回避するためにセンチメートルレベルの精度が必要ですが、高高度の空域 () では状況認識が重視されます。既存のニューラルフィールド手法では、単一の表現で複数の解像度の要件を均一に処理することは困難です。

7.2 今後の開発の方向性ニューラルジオメトリハイブリッド表現: 明示的なボクセル/グリッド (効率的なジオメトリクエリ) と暗黙的なニューラルフィールド (フォトリアリズム) の利点を組み合わせて、都市空域の正確かつ美しい表現を開発します。

大規模言語モデル + 空域デジタルツイン: GPT-4V などのマルチモーダル大規模モデルを使用して空域のセマンティクスと制御ルールを理解し、デジタルツイン計画システムに自然言語制約を注入して「音声制御計画」を実現します。

クラウドソーシングによるデジタルツインの更新: UAV からの大量のリアルタイム観測データを利用して、Federated Learning を通じて都市のデジタルツインを配布および更新し、「クラウドソーシングによるマッピング」を実現します。

8. まとめ

デジタルツインは、都市部の低高度 UAV 計画に最も忠実でシミュレートされた検証可能なデジタルベースを提供します。ニューラルレンダリングテクノロジーは、微分可能な最適化、増分更新、マルチモーダルフュージョン機能を通じて、空域デジタルツインの構築効率とリアリズムを大幅に向上させます。

しかし、「静的な都市モデル」から「動的なリアルタイムツイン」までにはまだ距離があります。主な課題は、大規模な効率的な表現、動的要素のリアルタイムモデリング、および 複数解像度の一貫性にあります。 3DGS、NeRF、および大規模言語モデル技術の継続的な進歩により、都市低空デジタルツインは、今後 3 ～ 5 年以内に研究プロトタイプから実際の展開に移行すると予想されます。

参考文献

ミューラー、A.R.、他。（2022年）。 City-NeRF: 都市スケールのシーンレンダリング用のマルチビューニューラル放射輝度フィールド。 グラフィックス上の ACM トランザクション (ToG)。 https://doi.org/10.1145/3528223.3528346
Pumarola、A.、Corona、E.、Pons-Moll、G.、Moreno-Nuguer、F. (2021)。 D-NeRF: ダイナミックなシーンのためのニューラル放射輝度フィールド。 NeurIPS、34、10318–10329。- Kerbl, B.、Kopanas, G.、Leimkühler, T.、Drettakis, G. (2023)。リアルタイムの放射フィールドレンダリングのための 3D ガウススプラッティング。 グラフィックスに関する ACM トランザクション、42(4)、1 ～ 14。 https://doi.org/10.1145/3592403
ロシノール、A.、他。（2020年）。 Kimera: リアルタイムのメトリックセマンティックローカリゼーションとマッピングのためのオープンソースライブラリ。 IEEE ロボティクスとオートメーションレター、5(2)、892 ～ 899。
Qin、C.、他。（2022年）。多重解像度ハッシュエンコーディングを使用したインスタントニューラルグラフィックスプリミティブ。 ACM SIGGRAPH 2022。
Tosi、F.、他。（2024年）。 Social-SLAM: 人間のデモンストレーションからマルチロボットの協調ナビゲーションを学習します。 アイクラ。 https://doi.org/10.1109/ICRA57147.2024.10610603
Zhou、Y.、他。（2023年）。 SUDS: スケーラブルな都市の動的なシーンの理解。 ICCV。

※この記事は、都市低空ドローンルート計画に関するシリーズ記事の第3章の拡張章です。 *

都市低空 UAV ルート計画: デジタル ツインとニューラル レンダリング空域モデリング