キヤノンは2023年10月19日〜20日、同社の新製品や最新技術を紹介する展示会「Canon EXPO 2023」を開催した。プリンティング、イメージング、メディカル、インダストリアルといった同社が展開する主要4事業の最先端技術が一堂に会しており、見どころは多岐にわたる。

本記事では、そのなかから、「EOS Rシリーズ」を使った3D VRなど、3Dイメージングに関する最新技術をレポートしよう。

8年ぶりにパシフィコ横浜で開催された「Canon EXPO」。会場に入ってすぐのブースには、低被ばく線量で高精細な画像が得られるフォトンカウンティング検出器搭載のX線CTなど、キヤノンが力を入れているメディカル分野の装置が展示されていた

3D空間データを即時生成するボリュメトリックビデオ技術

ボリュメトリックビデオ技術を使った映像の体験デモの様子。多くの人がVRヘッドセットを装着して360度の映像を体験していた

ボリュメトリックビデオ技術とは、空間内の複数の被写体をさまざまな角度から撮影して3Dデータ化し、背景と合成することで3D空間データを生成する技術のこと。複数の映像をつないで切り替えるのではなく、「立体化されたひとつの空間」を構築するのがポイントで、空間内の自由な位置・角度から映像を再現できるのが特徴だ。

キヤノンはこの技術で先行しており、100台以上のカメラを使って360度の3D空間データを即時生成できる仕組みを実用化している。東京ドームや埼玉スタジアム2002などの一部スポーツ施設ではすでに導入・利用されているので、野球やサッカー、バスケットボール、ラグビーといったスポーツ中継のリプレイシーンで、これまでとは違う視点での映像をご覧になったことがある人も多いことだろう。

こうしたスポーツ施設では、100台を超える専用4Kカメラを用意し、素早い動きにも対応できるように60fpsで同期撮影を行っている。驚かされるのは、各カメラを直列で接続したり、独自開発の通信アルゴリズムを使ったりといった工夫によって、100台以上のカメラで撮影された4K/60p映像データをリアルタイムに処理できる技術を確立していること。スポーツのライブ中継では３秒遅延でのライブストリームを提供できる状況にあるという。

技術概要の説明。100台以上のカメラで撮影したデータを用いて3秒で3D空間データを作成する

「Canon EXPO 2023」で用意されていた体験デモは、キヤノンのボリュメトリックビデオ技術を生かして撮影されたスポーツ映像（バスケットボール、野球）と、キヤノンの川崎事業所内にある特設スタジオで撮影されたアイドルのライブパフォーマンス映像を、VRヘッドセットを使って視聴するというもの。スポーツでは、通常のカメラでは撮影できないプレイヤーの視点を再現できるので、たとえば、野球であれば、サードやショートを守っている選手のプレイを疑似体験できるような映像を楽しめた。

面白いのは、360度の3D空間データなので、視点を中心に周りを見渡せること。たとえば、サードを守る選手の視点から見た映像では、自分の好プレイを見て別の選手（ショートを守る選手）がよろこんでいる姿を見られるのが新鮮だった。

ボリュメトリックビデオ技術の体験デモで使われた、MetaのVRヘッドセット「Oculus Quest 2」

今後は、3D空間データをARデータとして提供することや、3Dモデルのボーンをリアルタイムに抽出することなどの展開を考えているとのこと。将来的には、スマホ/タブレットを使って、自由な位置・角度から映像をリアルタイムで楽しめるようになるという。そのためには、端末の処理性能や通信ネットワークなどのさらなる強化が必要になるが、キヤノンによると技術的には十分に実現可能な段階に入っているという。

手軽に3D VR映像を撮影できる「EOS VR SYSTEM」

キヤノンは、ミラーレスカメラ「EOS Rシリーズ」とVR専用レンズ「RF5.2mm F2.8 L DUAL FISHEYE」を用いて180度の3D VR映像を気軽に撮影できる「EOS VR SYSTEM」を商品化している。2023年10月20日時点で「EOS VR SYSTEM」に対応するカメラは「EOS R5」「EOS R5 C」「EOS R6 Mark II」の3モデル。

VR専用レンズ「RF5.2mm F2.8 L DUAL FISHEYE」を装着したフルサイズミラーレス「EOS R5」

「Canon EXPO 2023」では、この技術を体験できるデモとして、ミュージシャン「ゴスペラーズ」の「Billboard LIVE Tokyo」でのライブパフォーマンスを、「EOS VR SYSTEM」を使って3D VRで収録した映像を用意（実際のライブの映像ではなく、この展示のために収録した映像）。VRヘッドセットで視聴できた。

実際に映像を体験してみたところ、「Billboard LIVE Tokyo」の落ち着いた雰囲気の中、「ゴスペラーズ」のメンバーが目の前で歌っているような臨場感があった。もちろん、高度なカメラワークなどプロの撮影技術を使っているものの、コンシューマー向けの1台のカメラでリアルな3D VR映像を撮影できることが驚きだった。

「ゴスペラーズ」のライブパフォーマンスを3D VRで体験できるデモの様子。ボリュメトリックビデオ技術のデモと同様、多くの人が詰めかけていた

こちらでもVRヘッドセットとしてMetaの「Oculus Quest 2」を使用していた

「EOS VR SYSTEM」が画期的なのは、これまでは2台のカメラが必要だった3D VRの仕組みを、1台のカメラ（単一センサー）で実現していること。ポイントはVR専用レンズ「RF5.2mm F2.8 L DUAL FISHEYE」。5.2mmの魚眼レンズを2個搭載し、それぞれのレンズで約190度の映像を記録する構造を採用することで、単一センサーで3D VR映像の素材を撮影できるようになっているのだ。

しかも、PC用のアプリ「EOS Utility」とスマートフォン用のアプリ「Camera Connect」を使ってのリモート撮影が可能。VR変換アプリ 「EOS VR Utility」（有償）も用意されている。「RF5.2mm F2.8 L DUAL FISHEYE」はMFレンズなので撮影の難易度は低くないが、コンシューマーでも気軽に挑戦できる環境がすでに整えられている。

• CANON
• RF5.2mm F2.8 L DUAL FISHEYE
• 価格.com最安価格262,350円 （ 発売日：2021年12月24日 ）
• 売れ筋ランキング- 位
• 「EOS VR SYSTEM」専用の2眼レンズ

価格.comで見る

• Amazonで見る
• 楽天市場で見る
• Yahoo!で見る

3D VR映像のライブ配信技術

「EOS VR SYSTEM」関連では、まだ実用化されていない技術として、8Kの映像を3D VRでリアルタイム配信するデモも用意されていた。

デモは、少し離れたステージで行われているマジック（トランプマジック）の様子を、VRヘッドセットを使って仮想的に目の前で体験するというもの。映像に合わせて音声でマジシャンとやり取りができるようになっていたため、本当に目の前でマジックを体験しているような感覚が得られた。音声と映像でごくわずかなタイムラグが発生するため音声の処理時間を調整しているとのことだったが、体験した限り違和感はまったくなかった。

この技術は、離れた場所で行われていることをリアルタイムに体験できるため、エンターテイメントだけでなく、医療の研修や大学の授業など、オンラインでのさまざまなユースケースが考えられるという。

離れたところで行われているマジックをリアルタイム配信で体験できるデモの様子。マジシャンの手元の動きを鮮明なVR映像で見ることができた

VR専用レンズ「RF5.2mm F2.8 L DUAL FISHEYE」を装着した、「CINEMA EOS」シリーズのシネマカメラ「EOS R5 C」

「Dual Pixel CMOS AF」を活用した3D画像生成技術

もうひとつ興味深い展示として紹介しておきたいのが、「EOS Rシリーズ」のミラーレスカメラが持つ「Dual Pixel CMOS AF」を使った3D画像生成技術だ。

「Dual Pixel CMOS AF」とは、1画素が2つのフォトダイオードを持つキヤノン独自のセンサー構造のこと。画素それぞれが位相差AFと撮像の機能を持っているため、高速・高精度なAFと高画質を両立できるのが特徴だ。

今回紹介されていた3D画像生成技術は、「Dual Pixel CMOS AF」の構造（2つのフォトダイオード）を有効活用して、ステレオカメラと同じ原理で処理するのがポイント。レンズとイメージセンサーの設計値と撮影時のパラメーターを用いて距離情報を生成し、2D画像を3D画像に変換するという。

3D画像を撮影・生成するデモ。「Dual Pixel CMOS AF」を搭載する「EOS Rシリーズ」のカメラで撮影した2D画像を3Dに変換する様子を展示していた

実際にその場で撮影した商品画像をデジタルサイネージで表示するデモ。タッチ操作で商品を移動・回転することができた

この技術は、「EOS Rシリーズ」のミラーレスカメラがあれば、特別な機材を用いることなく、1回の撮影で高画質な3D画像を生成できるのが便利。一般的な形式の3Dデータとして記録されるため、既存のビューワーでも手間なく表示できるという。ECサイトでの商品カタログとしての掲載はもちろん、飲食店のデジタルメニューなどへの導入も考えられる。

タブレットを用いた飲食店のデジタルメニューのデモ。よりリアルな質感でメニューを確認できる

取材まとめ　キヤノンの幅広い事業領域と技術の先進性を実感できた展示会

「Canon EXPO 2023」では、ここで紹介した3Dイメージング技術のほかにも、SPADセンサーを世界で初めて搭載した超高感度の産業用カメラ、ワンオペレーションで多彩なマルチカメラ撮影を実現する「マルチカメラ・オーケストレーション」、従来以上に精密な回路パターンを形成できるナノインプリントリソグラフィ技術を用いた半導体製造装置、低被ばく線量で高精細な画像が得られるフォトンカウンティング検出器搭載のX線CTなど、実に多彩な分野の製品、ソリューション、技術を紹介する展示が用意されていた。これらの展示に触れて、改めて「キヤノンは技術の会社」であることを実感した次第だ。

今回は、3Dイメージングの最新技術をレポートしたが、これを見るだけでもキヤノンの先進性が伝わるはずだ。大規模な施設向けのボリュメトリックビデオ技術だけでなく、「EOS Rシリーズ」を使った手軽な3D VR技術も同時に研究・開発していて、3Dイメージングに関する技術を幅広く手掛けているのがポイント。取材していて、そう遠くないうちに3D VRが標準化し、そのなかで、スポーツやライブイベントの中継から一般消費者が撮影する動画にいたるまで、キヤノンの製品や技術が活躍する未来が見えてくるようだった。