オリンパスの積層型撮像デバイスを使った部分的高速フレームレートに関する特許出願

2021年1月14日付けでオリンパスの気になる特許出願が公開されています。積層型撮像デバイスの一部から動体を予測して部分的にフレームレートを高速化する技術のようですね。

部分的な高速フレームレート

【公開番号】特開2021-5846(P2021-5846A)

【公開日】2021年1月14日

【発明の名称】積層型撮像デバイス、撮像装置、撮像方法、学習方法及び画像読み出し回路

【出願日】2019年6月27日

【出願人】
【識別番号】000000376
【氏名又は名称】オリンパス株式会社

【課題】画素部から読み出すべき画素の領域を予測し、読み出し領域を制限することにより高速フレームレートでの読み出しを可能にする。

【0001】
本発明は、高速読み出しを可能にする積層型撮像デバイス、撮像装置、撮像方法、学習方法及び画像読み出し回路に関する。

【0002】
近年、デジタルカメラなどの撮影機能付き携帯機器（撮影機器）が普及している。この種の撮影機器に用いる撮像デバイスとして、積層型撮像デバイスが開発されている。積層型撮像デバイスは、撮像用画素を有する画素部（センサ部）が構成された層（以下、センサ層という）と、信号処理回路が構成された層（以下、信号処理層という）との積層構造を有する。センサ層と信号処理層との積層構造を採用することで、センサ部と信号処理回路（周辺回路）とを同一層に構成した撮像デバイスに比べて、センササイズを小さくしながら画素数を増加させることができる。

【0003】
また、信号処理層の回路スペースに余裕が生じることから、比較的大きい規模の信号処理回路を搭載することが可能であり、多機能の撮像デバイスを構成することが可能となる。また、センサ層と信号処理層とを別々のプロセスで製造してもよく、高画質化に特化した製造プロセスを採用できる。

【0008】
本発明は、画素部から読み出すべき画素の領域を予測し、読み出し領域を制限することにより高速フレームレートでの読み出しを可能にすることができる積層型撮像デバイス、撮像装置、撮像方法、学習方法及び画像読み出し回路を提供することを目的とする。

【0073】
例えば、センサ部３１の全画素を読み出す通常撮影モードで、サッカー競技の撮像が行われているものとする。サッカーボールを撮像範囲の略中央に捉えている状態で図６の撮像制御が実行されると、サッカーボールを捉えた所定の優先領域の画素から、通常フレームレートよりも高速のフレームレートで読み出しが行われる。例えば、優先領域が全有効画素領域の１／４で、通常フレームレートが３０ｆｐｓの場合には、１２０ｆｐｓでの高速撮影が可能となる。これにより、サッカーボールを含む範囲を高画質化することができると共に、記録された画像をスロー再生することで、サッカーボールの回転等の動きをより詳細に確認することも可能となる。

【0074】
領域判定部１４は、例えば、動く物体の動きを予測することで、優先領域を移動させることも可能であり、動く物体を含む優先領域を撮像し続けることも可能である。また、図４及び図５の手法を採用し、所定時間毎に変化領域の検出を行うことで、動く物体を含む優先領域を撮像し続けることも可能である。

積層型センサーの特許では無く、積層型センサーを活用する仕組みに関する特許のようですね。学習することにより、動く被写体を予測し、部分的な高速フレームレートに対応する模様。ローリングシャッター云々ではないように見えます。

これをどのようにイメージとして出力するのか、いまいちピンときませんが、部分的な高速フレームレートにより、追従AF時の演算回数を向上させるには効果的と言えるかもしれませんね。例えば、ソニーα9は秒間60回でAF追随用の動体予測アルゴリズムを演算していると言われています。これが倍の120fpsなどで駆動するようになると、AF性能の向上が期待できそう。

文献内では【073】のように「優先領域が全有効画素領域の１／４で、通常フレームレートが３０ｆｐｓの場合には、１２０ｆｐｓでの高速撮影が可能となる。これにより、サッカーボールを含む範囲を高画質化することができると共に、記録された画像をスロー再生することで、サッカーボールの回転等の動きをより詳細に確認することも可能」と記載しています。部分的に120fpsで撮像し、30fpsのフレーム全体にマージされるのか、120fpsの優先領域で出力されるのか、ちょっとよく分かりません。

そもそも論として、オリンパスの映像事業は2020年末に会社から切り離され、OMデジタルソリューションズへ移行しています。今後、このようなオリンパスの技術を使ったカメラが登場するのか気になるところですね。（文献内でも記載されていますが、医療用となる可能性あり？）

何はともあれ、OMデジタルソリューションズ移行後、最初の新型カメラは新しいブランドを印象付ける重要なモデルになると思います。画期的な機能や性能を詰め込んで登場すると良いですねえ。

参考：E-M1系購入早見表

E-M1 Mark III

OM-D E-M1 Mark III ボディ
楽天市場	Amazon	キタムラ	Yahoo
e-BEST		ノジマ	PayPay
OM-D E-M1 Mark III 12-40mm F2.8 PRO レンズキット
楽天市場	Amazon	キタムラ	Yahoo
e-BEST		ノジマ	PayPay