キヤノンのヘッドマウントディスプレイ関連特許出願

レンズ交換式カメラシステム対応のVRデュアル魚眼レンズをキヤノンが正式発表して話題となっていますね。そして、以前からヘッドマウントディスプレイ関連の特許出願も多く、VR出力機器も色々と登場しそうですねえ。

ヘッドマウントディスプレイ関連その１

【公開番号】特開2021-89382(P2021-89382A)

【公開日】令和3年6月10日(2021.6.10)

【発明の名称】電子機器、電子機器の制御方法、プログラム、記憶媒体

【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社

【課題】複数の光学系を用いて撮像されたＶＲ画像を、より好適に表示することのできる電子機器を提供する。

【０００２】
２つの光学系を用いて視差のある広角画像を得て、仮想球体上にマッピングして表示することで立体感のあるＶＲ（Ｖｉｒｔｕａｌ??Ｒｅａｌｉｔｙ）画像を表示する技術が知られている。視差のある画像を撮像するための二眼ＶＲカメラは、同じ方向に向いた２つの光学系を有しており、１度の撮像操作により、視差のある２枚の画像を撮像する。二眼ＶＲカメラとして、特に各光学系において上下左右１８０度（半球、画像中心から全方向に９０度）以上の広範囲を撮像するものが知られている。また、ＶＲ表示の方法として、ＶＲ画像を仮想球体にマッピングする変形を行って１つの画像を表示する「一眼ＶＲ表示」や、左眼用と右眼用のＶＲ画像を左右の区域に並べて表示する「二眼ＶＲ表示」が知られている。

ヘッドマウントディスプレイ関連その２

【公開番号】特開2021-118415(P2021-118415A)

【公開日】令和3年8月10日(2021.8.10)

【発明の名称】ヘッドマウントディスプレイの制御装置、方法及びプログラム

【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社

【課題】ヘッドマウントディスプレイ（ＨＭＤ）と顔との間から入る外光を適切に減光できるようにする。

【０００２】
近年、仮想現実をユーザに体験させることができるＶＲ（ＶｉｒｔｕａｌＲｅａｌｉｔｙ）技術や、現実と仮想現実をシームレスに融合して複合現実感が体験できるＭＲ（ＭｉｘｅｄＲｅａｌｉｔｙ）技術が知られている。
上記のような体験ができる技術の一つとして、ヘッドマウントディスプレイがある。ヘッドマウントディスプレイを頭部に装着したときに、ヘッドマウントディスプレイと顔との間に隙間ができると、外光の影響で、表示画像が見えにくくなったり、仮想現実体験等の没入感が低くなったりする問題がある。

??特許文献１には、眼鏡型ヘッドマウンテッドディスプレイ装置において、本体に随時使用可能な状態で装着されている遮光部材を備える構成が開示されている。これにより、室内等比較的暗い所では、閉塞感がなく、外部状況の変化を認識して即対応でき、屋外等比較的明るい所では、映像を見やすくできる。

動画撮影におけるVRの処理方法

【公開番号】特開2021-118426(P2021-118426A)

【公開日】令和3年8月10日(2021.8.10)

【発明の名称】画像処理装置、撮像装置、画像処理方法およびプログラム

【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社

【課題】レンズの歪みがあるフレーム画像により構成される動画の圧縮率を向上させるとともに、処理量を抑制することを目的とする。

【背景技術】
【０００２】
従来から、交換レンズシステムとして立体撮影用レンズが用いられている。立体撮影用レンズを用いることで、左右一対の視差画像を撮像できる。撮像した静止画または動画を再生するときには、ユーザの右眼には右眼用の映像が映り、左眼には左眼用の映像が映る。これにより、右眼と左眼とには視差のある映像が投影されるため、ユーザは立体感のある映像を視認することができる。関連する技術として、特許文献１のステレオアダプタが提案されている。特許文献１のステレオアダプタは、左画像を撮像するための左側開口と右画像を撮像するための右側開口とを有しており、カメラの撮像部の水平方向に２分された各領域において左画像および右画像を同時に結像する。

【０００３】
また、近年では、３Ｄ映像の規格としてＶＲ１８０が規定されている。ＶＲ１８０規格の動画では、２つのイメージサークルが撮像された１つの画像を１フレームとする動画が圧縮される。また、動画の圧縮方式としては、例えば、動画ではＨ．２６５やＨ．２６４等が適用される。動画の圧縮では、主に画面間の相関を利用する画面間予測と画面内の相関を利用する画面内予測との２つの予測方法がある。動画の圧縮は、２つの予測方法を組み合わせて圧縮が行われる。

【０００５】
ＶＲ１８０規格の動画の圧縮において、画面間予測では円周魚眼レンズによって同じように歪んだ２つのフレーム間で予測を行うため、歪みの影響はあまり大きくない。一方、画面内予測では、円周魚眼レンズの歪みの影響がある２つのイメージサークルを含むフレーム画像が圧縮される。このため、円周魚眼レンズの歪みが考慮されることなく、画面内予測の予測方向が決定されると、圧縮率（同じデータ量での画質）が低くなる可能性がある。また、画面内予測では予測方向が複数あるため、２つのイメージサークルのそれぞれで、全ての予測方向を試して、１つの予測方向を決定する処理が行われると、処理量が大きくなる。

正式発表された「RF5.2mm F2.8 L DUAL FISHEYE」は一つのイメージセンサー上に二つの魚眼レンズを投影する特殊なレンズです。そして、特殊なレンズで撮影した映像を専用のソフトウェアでVR映像として処理することが可能となる模様。交換レンズからイメージセンサー・ソフトウェアまで手掛けるキヤノンだからこそ実現したソリューションと言えそうですね。

キヤノンEOS R5で超高解像な8K動画に対応したのは、このようなVR映像への布石だったのかもしれません。（イメージセンサーで2つの映像を投影する必要があり、通常の4Kや6K映像性能では足りなかったと思われる）とは言え、EOS R5の8K動画撮影の継続時間は限られており、将来的により長い時間の8K連続撮影が可能なRFマウントシネマEOSが登場することでしょう。

そして、キヤノンはVR素材を撮影して映像にするだけでなく、VR映像を出力する機器も検討しているようです。ヘッドマウントディスプレイに関して、いくつもの特許出願を公開。（上に挙げた例はほんの一部に過ぎない）既に使い心地や見え方を追求するような技術の検討段階に入っており、キヤノン製のヘッドマウントディスプレイが登場するのは、そう遠くない未来のように見えます。

既にMRシステムHMD「MREAL」としてヘッドマウントディスプレイを実用化しており、ここからさらにVR用のヘッドマウントディスプレイが登場するかもしれませんね。

正式発表時の情報

RF5.2mm F2.8 L DUAL FISHEYE

5.2mmの魚眼レンズを2個搭載したキヤノン初^※1のVRレンズ。EOS R5^※2に装着することで、180° 3D VR映像を手軽に撮影できます。Lレンズならではの高画質はもちろん、2眼電動虹彩絞り（EMD）やゼラチンフィルダーホルダーを搭載することで、快適な撮影をサポート。また、VR撮影における省機材や省ワークフローも特長です。

10群12枚

絞り羽根7枚

F2.8-F16

最短撮影距離：0.2m

最大撮影倍率：0.03倍

ゼラチンフィルター対応

約121.1×53.5mm

約350g

EOS R5対応

キヤノン初となるVR映像撮影システム“EOS VR SYSTEM”が誕生　高画質な180度VR映像と効率的な映像制作ワークフローを実現

現在、VRはエンターテインメントや観光、教育など幅広い産業において活用が広がっています。このような背景のもと、キヤノンは、レンズ交換式カメラEOSシリーズなどで培ってきた光学技術を生かし、高画質な映像と効率的なワークフローを実現するVR映像撮影システムを立ち上げます。

本システムは、ミラーレスカメラ（※1）と専用のレンズ、PCソフトウエアで構成しており、カメラに新発売の専用レンズを装着することで、VR映像の撮影を実現しています。また、新公開のPCソフトウエアにて撮影映像のVR規格形式への変換から簡易的な編集までを行うことができます。

キヤノンは、本システムを立ち上げることで、映像クリエイターや制作プロダクション、新たにVR映像撮影を始めたいと考えるユーザーまで幅広いニーズに応えていきます。

■ 高画質な3Dの180度VR映像（※2）を実現する専用レンズ
新製品“RF5.2mm F2.8 L DUAL FISHEYE”は、2つの魚眼レンズを備え、左右の視差を利用した3Dの180度VR映像を撮影することができる専用のRFレンズです。ミラーレスカメラ「EOS R5」（2020年7月発売）に装着することで、8K（※3）を生かした没入感のある高精細な映像を出力することができます。また、特殊コーティングの採用により、逆光時での撮影も快適に行うことができます。

■ 撮影から編集まで効率的なワークフローの実現
“RF5.2mm F2.8 L DUAL FISHEYE”の2眼レンズそれぞれから入射する光を単一のCMOSセンサーを通じて記録することができるため、撮影前のカメラ位置の調整や同期設定、撮影後に映像を繋ぎ合わせる作業（スティッチ作業）が不要となり、映像制作ワークフローを効率化しています。また、ユーザーの制作環境に合わせて、PCアプリ“EOS VR Utility（※4）”と「Adobe Premiere Pro」（別売）専用プラグイン（※5） “EOS VR Plugin for Adobe Premiere Pro（※4）”のいずれかのデータ変換ソフトウエアを選択することができ、映像制作をサポートします。

製品名希望小売価格発売／公開日

RF5.2mm F2.8 L DUAL FISHEYE オープン価格 2021年12月下旬

EOS VR Utility 有償（※4） 2021年12月下旬

EOS VR Plugin for Adobe Premiere Pro 有償（※4） 2021年12月下旬

※1　今回対応するカメラは「EOS R5」。12月上旬公開予定のファームウエアの適用が必要です。
※2　視野が180度となるVR映像のこと。YouTubeなどの動画配信プラットフォームにおいて一般的に採用されているVR映像形式。
※3　カメラには魚眼画像で8K相当の解像度の動画が記録されます。
※4　トライアルとして、静止画や2分以内の動画に関しては無償でVR規格形式への変換ができます。トライアル活用以外の全機能を利用するためには有償のサブスクリプション・プランの購入が必要です。対応OSは、Windows／macOS。
※5　アプリケーションの機能を拡張するソフトウエア。「Adobe Premiere Pro 14.5」以降のバージョンに対応。

購入早見表

RF5.2mm F2.8 L DUAL FISHEYE（簡易検索）
楽天市場	Amazon	キタムラ	Yahoo
ソフマップ	e-BEST	ノジマ	PayPay
ビックカメラ	ヤマダ	PREMOA
レンズケース LS1014（簡易検索）
楽天市場	Amazon	キタムラ	Yahoo
レンズキャップ 5.2（簡易検索）
楽天市場	Amazon	キタムラ	Yahoo

以前にピックアップした特許出願

以下の特許出願はあくまでも実施例であり、このまま実用化するとは限りません。とは言え、噂の見出しを考えると、このような形状のレンズとなる可能性が高そうです。

【公開番号】特開2021-51282(P2021-51282A)

【公開日】令和3年4月1日(2021.4.1)

【発明の名称】レンズ装置および撮像装置

【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社

【０００２】
特許文献１には、二つの光学系が所定の距離（基線長）だけ離間して並列に配置され、一つの撮像素子に二つのイメージサークルが並列に結像する立体撮像光学系が開示されている。映像の鑑賞者は、基線長が長いほど立体感を強く感じることができる。また、自然な立体感を感じることができる基線長は、物体までの距離に応じて決定され、物体までの距離の１／２０?１／１００程度の範囲の基線長で撮影すると、自然な立体感が得られる。基線長がこの範囲よりも長いと立体感が強すぎ、一方、基線長がこの範囲よりも短いと立体感が弱くなる。基線長を変えるには、二つの光学系を互いに近づけまたは離す必要がある。しかし、一つの撮像素子上に二つの光学系の像を並べて結像させる場合、撮像素子の受光範囲を超えて像を離すことはできず、一方、二つの像が重なるほど近付けることもできない。

【０００６】
人間の両目の間隔の平均は６０?６５ｍｍ程度であり、人間の目と同様のより自然な立体感を得るには、それと同じ程度の基線長の光学系を用いる必要がある。しかし、これを実現するには、レンズマウントの口径を６０ｍｍよりも大きくする必要があるため、レンズ装置および撮像装置が大型化してしまう。

キヤノンのヘッドマウントディスプレイ関連特許出願

正式発表時の情報

購入早見表

以前にピックアップした特許出願

キヤノン関連記事

とるなら

製品名	希望小売価格	発売／公開日
RF5.2mm F2.8 L DUAL FISHEYE	オープン価格	2021年12月下旬
EOS VR Utility	有償（※4）	2021年12月下旬
EOS VR Plugin for Adobe Premiere Pro	有償（※4）	2021年12月下旬