O3D-SIMは、2Dマスクと埋め込みを3Dに投影し、初期の改良にDBSCANを使用して構築されています。O3D-SIMは、2Dマスクと埋め込みを3Dに投影し、初期の改良にDBSCANを使用して構築されています。

オープンセット3D表現の構築:特徴融合と幾何学的・意味的マージング

2025/12/15 01:00

概要と1 はじめに

  1. 関連研究

    2.1. ビジョンと言語によるナビゲーション

    2.2. セマンティックシーン理解とインスタンスセグメンテーション

    2.3. 3Dシーン再構築

  2. 方法論

    3.1. データ収集

    3.2. 画像からのオープンセットセマンティック情報

    3.3. オープンセット3D表現の作成

    3.4. 言語ガイドナビゲーション

  3. 実験

    4.1. 定量的評価

    4.2. 定性的結果

  4. 結論と今後の展望、開示声明、および参考文献

3.3. オープンセット3D表現の作成

O3D-SIMの構築を完了するために、各オブジェクトから抽出された特徴埋め込みを基に、オブジェクト情報を3D空間に投影し、クラスタリングを行い、複数の画像間でオブジェクトを関連付けて包括的な3Dシーン表現を作成します。セマンティック情報を3D空間に投影し、マップを洗練するプロセスは図3に示されています。

\ 3.3.1. O3D-SIMの初期化

\ 3Dマップは最初に選択された画像を使用して作成され、これがシーン表現を初期化するための参照フレームとして機能します。このステップは3Dシーンの基本構造を確立し、その後、後続の画像からのデータで段階的に拡張され、シーンの複雑さと詳細さを豊かにします。

\ 3Dシーン内のオブジェクトのデータは、最初は空の辞書内のノードとして整理されます。オブジェクトは初期画像から識別され、埋め込み特徴とマスクに関する情報を含む関連データも一緒に識別されます。画像内で識別された各オブジェクトについて、利用可能な深度情報とオブジェクトのマスクを使用して3Dポイントクラウドが作成されます。このポイントクラウド形成は、カメラの内部パラメータと深度値によって容易になる2Dピクセルの3D空間へのマッピングを含みます。その後、カメラのポーズを使用してポイントクラウドをグローバル座標系内に正確に配置します。シーン表現を洗練するために、背景フィルタリングは壁や床などの背景として識別された要素を除去します。これらの要素は、シーン表現の主な焦点を構成しないため、特にクラスタリング段階では、さらなる処理から除外されます。

\ オブジェクトのポイントクラウドのセットは、表現の洗練のためにDBSCAN[34]クラスタリングを使用してさらに処理されます。ポイントクラウドはボクセルグリッドフィルタリングによってダウンサンプリングされ、データの空間構造を維持しながらポイント数と計算の複雑さを削減します。DBSCANは密集したポイントをグループ化し、低密度領域に単独で存在するポイントをノイズとしてラベル付けします。クラスタリング後のステップでは、最大のクラスターが通常、ポイントクラウド内の主要な関心オブジェクトに対応すると識別されます。これはノイズや無関係なポイントをフィルタリングし、関心オブジェクトのよりクリーンな表現を生成するのに役立ちます。

\ 3D空間におけるオブジェクトのポーズは、バウンディングボックスの向きを計算することによって決定され、これは3D空間におけるオブジェクトの位置とサイズの簡潔な空間表現を提供します。その後、3Dマップ出力は初期ノードセットで初期化され、特徴埋め込み、ポイントクラウドデータ、バウンディングボックス、および各ノードに関連するポイントクラウド内のポイント数をカプセル化します。各ノードには、データの起源と、ノードとその2D画像の対応物との間のリンクを追跡するためのソース情報も含まれています。

\ 3.3.2. O3D-SIMの段階的更新

\ シーンを初期化した後、新しい画像からのデータで表現を更新します。このプロセスにより、追加情報が利用可能になるにつれて、3Dシーンが最新かつ正確に保たれます。画像シーケンス内の各画像を反復処理し、新しい画像ごとにマルチオブジェクトデータを抽出し、シーンを更新します。

\ 新しい画像ごとにオブジェクトが検出され、初期画像のように新しいノードが作成されます。これらの一時的なノードには、既存のシーンにマージするか、新しいノードとして追加する必要がある新しく検出されたオブジェクトの3Dデータが含まれています。新しく検出されたノードと既存のシーンノードの間の類似性は、特徴埋め込みから導出された視覚的類似性と、ポイントクラウドの重複から得られた空間(幾何学的)類似性を組み合わせて、総合的な類似性測定を形成することによって決定されます。この測定が事前に決められたしきい値を超えると、新しい検出はシーン内の既存のオブジェクトに対応すると見なされます。実際、新しく検出されたノードは既存のシーンノードとマージされるか、新しいノードとして追加されます。

\ マージには、ポイントクラウドの統合と特徴埋め込みの平均化が含まれます。CLIPとDINOの埋め込みの加重平均が計算され、ソースキー情報からの貢献を考慮し、より多くのソース識別子を持つノードを優先します。新しいノードを追加する必要がある場合は、シーン辞書に組み込まれます。

\ シーンの洗練は、入力シーケンス内のすべての画像からのオブジェクトが追加された後に発生します。このプロセスは、同じ物理的オブジェクトを表すノードを統合しますが、オクルージョン、視点の変化、または同様の要因により、最初は別々に識別されていました。空間的占有を共有するノードを識別するために重複マトリックスを使用し、それらを論理的に単一のノードにマージします。シーンは、最小ポイント数または検出基準を満たさないノードを破棄することで最終化されます。これにより、洗練され最適化された最終的なシーン表現が得られます - OpenSet 3D Semantic Instance Maps、別名O3D-SIM。

\

:::info 著者:

(1) Laksh Nanwani、国際情報技術研究所、ハイデラバード、インド;この著者は本研究に同等に貢献しました;

(2) Kumaraditya Gupta、国際情報技術研究所、ハイデラバード、インド;

(3) Aditya Mathur、国際情報技術研究所、ハイデラバード、インド;この著者は本研究に同等に貢献しました;

(4) Swayam Agrawal、国際情報技術研究所、ハイデラバード、インド;

(5) A.H. Abdul Hafez、ハサン・カリヨンジュ大学、シャヒンベイ、ガジアンテプ、トルコ;

(6) K. Madhava Krishna、国際情報技術研究所、ハイデラバード、インド。

:::


:::info この論文はarxivで入手可能であり、CC by-SA 4.0 Deed(表示-継承 4.0 国際)ライセンスの下で提供されています。

:::

\

市場の機会
OpenLedger ロゴ
OpenLedger価格(OPEN)
$0.17859
$0.17859$0.17859
-3.19%
USD
OpenLedger (OPEN) ライブ価格チャート
免責事項:このサイトに転載されている記事は、公開プラットフォームから引用されており、情報提供のみを目的としています。MEXCの見解を必ずしも反映するものではありません。すべての権利は原著者に帰属します。コンテンツが第三者の権利を侵害していると思われる場合は、削除を依頼するために [email protected] までご連絡ください。MEXCは、コンテンツの正確性、完全性、適時性について一切保証せず、提供された情報に基づいて行われたいかなる行動についても責任を負いません。本コンテンツは、財務、法律、その他の専門的なアドバイスを構成するものではなく、MEXCによる推奨または支持と見なされるべきではありません。