高品質3D映像をスマホ視聴、リアルタイム再生技術を開発

KDDI株式会社
株式会社KDDI総合研究所

KDDIとKDDI総合研究所は2023年10月23日、モバイル回線で効率的に伝送可能なデータ量に圧縮した動的な三次元（以下 3D）メッシュデータ（注1）を、高品質のままスマートフォンでリアルタイムに視聴できる技術を開発（以下 本開発）しました。人物などの動きを忠実に再現可能な高品質の3Dメッシュ映像を、スマートフォンで場所を選ばずに視聴できるようになります。
本開発では、高効率に圧縮された（注2）3Dメッシュ映像のデコード処理を2倍以上に高速化し、高品質な3Dメッシュ映像のリアルタイム再生・視聴をスマートフォン上で実現しました。
高品質な360度の3Dメッシュ映像は、スポーツのきめ細やかな指導やショーイベントの自由視点映像など、教育やエンターテインメント領域での活用が期待されています。今後、両社は3Dメッシュ映像を活かしたコンテンツの実用化に向けた実証を進めます。デジタルツインを活用し、スマートフォンで誰もがいつでも手軽に高い表現力での新たな映像視聴体験を楽しめる未来に向けて取り組んでいきます。

KDDIとKDDI総合研究所は、3D映像の視聴体験向上に取り組んでいます。一般的に、ゲームなどでは3Dキャラクター（注3）の生成において、3Dメッシュデータが活用されていますが、骨格を制御するモーションデータの推定精度などにより、動きに不自然さが生じる課題があります。そこで、両社は人物などの動きを自然かつ忠実に再現可能な、ボリュメトリックスタジオ（注4）などで取得できる高品質な3Dメッシュ映像に着目しています。高効率に圧縮された3Dメッシュ映像のリアルタイム再生・視聴には高性能PCが必要であり、また従来の圧縮技術では、3Dメッシュ映像をモバイル回線で安定的に伝送可能なデータ量に圧縮する際には、細部の情報損失が発生していました。
本開発では、3Dメッシュデータのデータ構造を見直し、オブジェクトごとの並列処理を可能とすることで、デコード処理の高速化に成功し、従来比2倍の効率で圧縮（注2）した3Dメッシュデータに対して、スマートフォンでのリアルタイム再生を実現しました。

なお、本開発は、総務省SCOPE（国際標準獲得型）JPJ000595の委託を受けて実施した研究開発の成果です。

KDDIとKDDI総合研究所は、KDDI VISION 2030「『つなぐチカラ』を進化させ、誰もが思いを実現できる社会をつくる。」を叶えるために、フィジカル（物理）空間で生じたデータをサイバー空間へ転送、デジタル上で高度かつリアルタイムにシミュレーションし、その結果を再度フィジカル空間にフィードバックして、生活をより良いものに変革する「KDDI Digital Twin for All」を推進しています。
「KDDI Digital Twin for All」実現には、フィジカル空間・サイバー空間での3Dデータの利用が必要であり、本開発の展開を推進します。

詳細は別紙をご参照ください。

＜別紙＞

■本開発の概要

従来の圧縮技術から2倍の効率で圧縮したデータを作成し、対応したデコード処理を実装する際に、速度低下の要因となっていた3Dメッシュデータのデータ構造を見直し、スマートフォンのチップセットでオブジェクトごとの並列処理を可能とする手法を新たに考案しました。これにより、デコード処理を2倍以上に高速化する技術を開発し、リアルタイムに再生・視聴できることを確認しました。
本開発の圧縮技術は、従来技術とは異なり、フレーム内符号化に加えて、フレーム間予測符号化の技術が利用されています。圧縮対象とするフレームの3Dメッシュデータを構成する頂点情報を符号化する際に、時間的に近接するフレームを参照して動きを予測し、当該フレームの頂点の座標値とその予測値との差分などを符号化することで、形状表現に必要な符号量の削減が可能となりました。

■映像の符号化伝送技術の研究と標準化活動の取り組み

KDDIとKDDI総合研究所は、長年にわたり映像の符号化伝送技術の研究と標準化活動に取り組んでいます。
点の集合で表現される3Dデータ（以下 3D点群）については、2022年10月に点群圧縮技術の最新の国際標準方式であるV-PCCに対応したリアルタイムエンコーダーを開発（注5）し、2023年1月にV-PCC、G-PCCに対応したリアルタイムコーデックを利用した伝送実験に成功（注6）しています。
3Dメッシュデータについても、国際標準規格V-DMC（Video-based Dynamic Mesh Coding）として標準化活動が進められています（注7）。KDDIもV-DMCの標準化活動に参画しており、3Dメッシュデータの圧縮技術を提案してきました。V-DMCは2024年に規格化完了見込みですが、本開発では、その暫定仕様に基づく3Dメッシュデータの圧縮技術を利用しています。
今後も、V-DMCの標準化への寄与を継続し、標準規格に対応したリアルタイムエンコーダーの開発を進め、V-DMC標準システムの実用化を目指します。

■KDDIとKDDI総合研究所の取り組み

KDDIとKDDI総合研究所は、2030年を見据えた次世代社会構想「KDDI Accelerate 5.0」を策定し、その具体化に向け、イノベーションを生むためのエコシステムの醸成に必要と考えられる「将来像」と「テクノロジー」の両面についてBeyond 5G/6G ホワイトペーパーにまとめました。
両社は新たなライフスタイルの実現を目指し、7つのテクノロジーと、それらが密接に連携するオーケストレーション技術の研究開発を推進します。今回の成果は7つのテクノロジーの中の「XR」に該当します。

• 注1）

  3D物体を表現するデータ形式で、フレーム毎に頂点の位置と頂点同士の接続関係から構成される面の集合によって形状を示す幾何情報と物体表面の色や模様を示すテクスチャ情報を持ちます。

• 注2）

  従来技術（Google 社が開発を主導する3Dメッシュデータ圧縮方式であるDraco）が100Mbpsに対し、本開発で利用する圧縮技術では50Mbpsに圧縮した際に、圧縮後のデータの主観画質が同等です。

• 注3）

  ゲームなどに登場する人物や動物などの3Dモデル。モデルデータに含まれる骨格情報などを制御することで動きの表現が可能で、インタラクティブ性が高い用途で利用されます。

• 注4）

  被写体を取り囲むように多数のカメラを設置して、さまざまな角度から撮影した映像データをもとに動的な3Dメッシュデータ（骨格情報などは含まず、人物などの動きが反映された形状情報の時系列データにより動きの表現が可能）のコンテンツを制作する撮影スタジオ。

• 注5）

  2022年10月24日 KDDI総合研究所ニュースリリース
  点群圧縮技術の最新の国際標準方式に対応したリアルタイムエンコーダーを開発

• 注6）

  2023年1月24日 KDDI総合研究所ニュースリリース
  点群圧縮技術の最新の国際標準方式に対応したリアルタイムコーデックによる伝送実験に成功

• 注7）

  MPEG-I: Video-based dynamic mesh coding