カメラ デジタルカメラ総合 海外機材情報

クアルコムが写真機能の強化を含むSnapdragon 8 Gen 2を発表

クアルコムがSnapdragon Summitにて最新のAIエンジンを搭載して様々なコンピューショナルフォトの強化を組み込んだ最新チップセット「Snapdragon 8 Gen 2」を発表しました。

DPReview：Qualcomm's Snapdragon 8 Gen 2 mobile platform has new Cognitive ISP, 18-bit processing and more

Qualcomm Technologies Inc.はSnapdragon SummitでSnapdragon 8 Gen 2を発表した。 クアルコムは、パフォーマンスの向上に加え、最新のチップセットに写真中心の新しい機能を多数追加している。

  • Cognitive ISPと呼ぶ新しい画像信号処理（ISP）技術が搭載。
  • Direct Link技術を使用してHexagon ProcessorをSpectra ISPに接続。
  • この新技術はHexagon Processor内のAIニューラルネットワークを使用して、シーン内の最大8つのレイヤーを分離してから、これらのレイヤーを個別に処理して、全体の画質をより細かく調整するReal-Time Semantic Segmentationを実現。
  • 画像処理パイプラインは、個々の顔、顔の特徴、髪、服、空など、シーンのレイヤーに異なるレベルのノイズ除去、シャープネス、色補正を独立して適用することができる。
  • この新しい技術によって、静止画と動画の撮影フレームごとに、肌を滑らかにし、髪の毛をシャープにし、空の青を豊かにし、布地の細部をレイヤー単位で維持できることを説明。
  • カメラがメガネの反射を識別し、ユーザーの入力なしに自動的に除去できるようになった。
  • ビデオモードでは最大8つのレイヤーを処理でき、それぞれのレイヤーに独自のチューニングパラメーターが適用される。
  • Snapdragon 8 Gen 1を発表した際に、ソニーセミコンダクターソリューションズとのパートナーシップを締結した。
  • 詳細はまだ明らかになっていないが、クアルコムによると、Snapdragon 8 Gen 2は、ソニーの新しいQuad-Exposure Digital Overlap（QDOL）センサーを最大限に活用する新しいQuad Exposure技術をサポートし、より大きなダイナミックレンジを実現するはずだと述べている。
  • このセンサー（次期フラッグシップ機に搭載されると思われる）は、1つのセンサーから異なるゲインレベルの4つの画像を同時に出力し、それらを合成して1つのHDR画像を形成することができる。ソニーセミコンダクタソリューションズでは、これまで2?3段階のゲインを同時に出力できるセンサーは存在したが、4枚の同時露光を撮影・処理できるのはこれが初めてだ。
  • また、ポートレートモード風の画像に見られる背景のぼかしの品質、強度、形状を調整できる新しいボケエミュレータ機能「Bokeh Engine 2」を追加。現在、ハードウェアレベルで、Snapdragon 8 Gen 2は、星、ハート、四角いピンぼけハイライトの異なる形のボケをエミュレートすることが可能だ。
  • 写真部門におけるその他の改善点として、手ぶれ補正の改善、ローカルトーンマッピングの強化、自動露出の再設計、コントラスト検出AFの改善、位相差検出AFエリアの拡大、マルチフレーム撮影時の高速ノイズリダクション、所定のイメージセンサーが持つあらゆるピクセルパターンに対するユニバーサルセンサー処理などが挙げられる。
  • クアルコムは、Samsungの200MP ISOCELL HP3イメージセンサーを含むスマートフォンのイメージセンサーを最大限に活用するため、Samsugnと協力していることも明らかにしている。
  • Snapdragon 8 Gen 2は、60fpsで最大8K HDRの動画再生をサポートするAV1コーデックを搭載する初のSnapdragonだ。

（グラフィック・サウンドの話は割愛）

  • Snapdragon 8 Gen 2は、年末までに新製品に搭載され、2023年にはスマートフォンに広く採用される予定だ。
  • クアルコムとAdobeは、モバイル、コンピュート、XRの各プラットフォームにおいて、Snapdragon搭載デバイスのクリエイティブエクスペリエンスをサポートするための協力関係の強化を発表した。
  • Snapdragon搭載Windows PCでは、Adobe PhotoshopとLightroomのネイティブサポートに加え、Adobe FrescoとAdobe Acrobatがネイティブ対応。また、Adobeは、Snapdragonデバイスでの拡張現実および複合現実体験のための3DおよびImmersiveツールも発表している。

その他 参考リンク

とのこと。
グラフィックやサウンドなどは割愛しましたが、カメラ機能の部分だけみても様々な強化があるみたいですね。中でも4つ露出で同時に撮影したHDRは面白そうですね。大型センサーのRAWよりも幅広いダイナミックレンジを自然な描写で実現できるのか気になるところです。
（参考：ITmedia スマホカメラが進化した裏側で起きていること　ソニーのイメージセンサー開発部隊に聞く）

また、被写体や領域に応じて処理を最適化することで、見栄えの良いノイズ/シャープニング処理が可能となっている模様。このチップセットと1型イメージセンサー（より大きくなる可能性も？）を搭載した最新スマートフォンでどのような結果が得られるのか注目したいと思います。

ちなみに、DPReviewは本記事を執筆前に「ニコンと数年に渡るパートナーシップを締結」と発信し、SnapdragonチップセットにISPテクノロジを導入していると記載していました。現在では記事そのものが消えてしまい確認することは出来ませんが、誤報だったのかフライングだったのか気になるところ。

ニコン関連記事

-カメラ, デジタルカメラ総合, 海外機材情報
-,