English
KoreanSID Display Week 2023 報告 (3)
UDDI TECHNICAL WRITER PH.D. 鵜飼育弘氏の特別寄稿 ※原稿ママ掲載※
１．はじめに
SID2023 Symposium報告(3)は、ソニーグループからの論文を紹介する。講演タイトルは、「瞳孔拡大システムを搭載した導波路型網膜走査型ARディスプレイ」と題した招待講演である(1)。
２．背景
拡張現実 (AR：augmented reality) 用のニアアイ ディスプレイ (NED: near-eye display)技術は、仮想コンテンツを現実世界に自然に重ね合わせるために広く開発されてきた。 輻輳調節競合 (VAC: vergence accommodation conflict) は、快適な 3D 視聴体験を実現する上で最も困難な問題の 1 つである。 人間の視覚系は、任意の焦点面に位置する物体を注視している間、輻輳と調節の間の一貫性を維持することがよく知られている。 しかし、従来のNEDでは、虚像が固定焦点面に焦点を結ぶように設計されているため、輻輳と調節の間に不一致が発生する。
この不一致により、視覚的な不快感や奥行きの誤認識が発生する。VACを克服するために、可変焦点ディスプレイ、ライトフィールドディスプレイ、ホログラフィックディスプレイ、マクスウェルビューディスプレイなどの様々な方法が提案されている。
私たちのアプローチは、マクスウェリアン ビュー ディスプレイの一種である網膜スキャン ディスプレイ (RSD: retinal scan display) であり、視聴者の調節状態に関係なく焦点のない画像を表示する。 RSD の主な課題は、光学システムの射出瞳におけるビーム直径が観察者の瞳孔の直径よりも小さいため、アイボックス (有効な可視画像が形成される空間容積) を拡大すること。 したがって、アイボックスを拡大するためにさまざまなタイプの光学アーキテクチャが存在した。 そのようなアーキテクチャの 1 つは、結合器の機械的な動作を伴う。 別のアーキテクチャには、コンバイナへの入射角のステアリングが含まれる。
これらのアーキテクチャはシステムの複雑さに対処するため、複数の射出瞳を形成する瞳複製が提案されている。 このシステムでは、空間的に異なる位置に配置された複数の射出瞳のいずれかと瞳が一致するため、比較的大きなアイボックスが確保される。 一方で、これら複数の射出瞳は所定の間隔で存在するため、周囲環境の明るさや心理的要因などにより観察者の瞳孔径が変化した場合、瞳孔内に複数の射出瞳が同時に落ち込む可能性がある。
それにより、マクスウェルビュー(Maxwellian view)の特性が犠牲になったり、射出瞳のいずれも瞳に入らない可能性がある。 なお、マクスウェルビューとは、物体から出た光を一旦瞳孔の中心で収束させてから網膜上に投影して像を観察する方法。レンズの中心を通る光は、レンズの屈折の影響を受けずに直進するため、瞳孔の中心を通る光は、水晶体の厚みに関係なく網膜に達す。このように、マックスウェルビューは、基本的にピンホールカメラの原理に似ている(著者注)。
そこで、この問題を解決するために、空間的に異なる位置に配置された複数の射出瞳のON/OFF状態を偏光依存光学系で制御できるスイッチングシステムが提案されている。 しかしながら、従来の研究では、複数の射出瞳を切り替えるには、限られた選択性が依然として問題となっている。
私たちの研究では、ホログラフィック光学素子 (HOE: holographic optical elements) レンズ アレイと複数の導波路光学系で構成する新しい瞳スイッチング アーキテクチャを備えた導波路型 RSD を開発した。 このシステムは、導波路の数を追加するだけで複数の射出瞳を独立して切り替える選択度の自由度の拡大に貢献する。
３. 設計
３.1 表示仕様
このディスプレイ システムは、図 1 に示すように、28 × 42° の視野 (FOV :field of view)、水平方向の 5.0 mm アイボックス、640 × 720 ピクセルの解像度のフルカラー画像を表示する。最大輝度は 2000 cd/m2 、ただし RSD のスループットが高いため、これより大きくなる可能性がある。
図1 赤、緑、青の波長で作成された対角 50°FOV のキャプチャされた白画像 瞳スイッチング方式を採用した導波路型網膜走査ディスプレイの仕様を表に示す
3.2 瞳孔拡大システム
私たちの瞳スイッチング光学システムは、図 2 に示すように、瞳拡大の 2 つの概念を組み合わせている。最初の 1 つは、導波路光学系とホログラフィック レンズアレイによる瞳の複製。 レーザー ビーム スキャニング (LBS ：laser beam scanning) プロジェクターからの投影画像は、全反射 (TIR :total internal reflection) 角を持つ導波路を通って伝播し、HOE レンズ アレイは水平方向の異なる位置に複数の射出瞳を形成する。このシステムでは、観察者の瞳孔が空間的に異なる位置に配置された複数の射出瞳のいずれかと一致するため、比較的大きなアイボックスが確保される。
2 番目のコンセプトは、複数の導波路光学系を使用した瞳スイッチングである。 当社のスイッチング アーキテクチャでは、LBS プロジェクターの異なる投影エリアからの投影画像が、ユーザーの眼球から異なる距離にある各導波路に結合する。 各導波路に結合する投影光は空間的に分離されているため、システムは LBS プロジェクターの異なる投影領域に画像を表示することで射出瞳を切り替えることができる。
図2 導波路型網膜走査ディスプレイの概略図。 このシステムは、導波管内の全反射によって射出瞳を複製し、異なる投影領域に画像を表示することで複数の射出瞳を切り替える。 ズームレンズは光軸に沿って移動し、複数の射出瞳の光学性能をそれぞれ制御する。
これらのコンセプトを実現するために、ガラス導波路の厚さは 5 mm、射出瞳間の距離は 2.5 mm、平行参照光はフルカラー HOE レンズアレイに 45°の偏心角で入射し、目に入射するように設計、リリーフは16mm。 我々は、Covestro 製の厚さ 3𝜇m のフォトポリマーで赤、緑、青の各層をそれぞれラミネートすることによって HOE レンズ アレイを構築した。
HOE 設計では、各射出瞳が各 HOE レンズに対応するように設計した。 内部結合光学系としてのガラスプリズムは、屈折率整合オイルを使用して各導波路に取り付けた。 LBS プロジェクターは、微小電気機械システム (MEMS :micro-electro-mechanical systems) ミラー、レーザー光源、リニア アクチュエーターを備えたズーム レンズで構成した。
MEMSミラーはレーザー光源を速軸と遅軸で2次元に走査して画像を生成する。 ズームレンズはアクチュエーターにより光軸に沿って0.4mmの範囲で移動し、観察者の瞳位置に応じて射出瞳における光学性能を最適化し、設計されたアイボックス内で均一な画質を観察者に知覚させる。 瞳孔位置を取得するためにカスタマイズされた眼球感知ユニットを使用した。瞳孔位置の更新周期は 333 Hz 以上、静的精度 (平均誤差) は 0.1 ～ 0.2 mm を達成した。
4. 結果
まずはフルカラーの画質を評価した。 評価カメラとしてARTCAM-1400MI-WOM（(Artray社）、評価カメラのレンズとしてGMTHR36014MCN（GOYO Optical）を使用した。 カメラの焦点を 250 mm と無限遠の 2 つの条件に設定して、ディスプレイのコントラスト伝達関数 (CTF :contrast transfer function) の評価を行った。 空間周波数依存性(spatial frequency dependence)の結果を図3に示す。
この結果から、すべての射出瞳およびすべての色でフォーカスフリーの画像を表示できることがわかった。 水平ビームの直径は約 0.3 mm に設計されており、垂直ビームの約 0.6 mm に設計されているものよりも小さいため、回折限界理論に従って、水平 CTF の結果は垂直 CTF の結果より低くなる。 また、空間周波数依存性の結果を補間することにより、水平方向と垂直方向でそれぞれ 5 ～ 6 および 10 ～ 15 サイクル/度 (cpd) のカットオフ周波数 (CTF の周波数がゼロに等しい) も得られた。各射出瞳のCTFを図4に示す。
射出瞳と色の間に大きな違いは見られなかった。これは、光軸に沿って移動するズームレンズによって光学性能を最適化できることを意味する。
次に瞳切り替えのデモンストレーションを行い、図5に示すように水平方向5.0mmのアイボックス領域内で複数の射出瞳のON/OFFを切り替えられることを確認した。また、観察者が画像内のアーティファクトを知覚しないことも観察した。 アイボックスの境界で、視線検出ユニットによって射出瞳間で画像が切り替わる。 これは、開発した RSD システムが、視聴者が自然かつ快適に画像を認識できる広いアイボックスを提供することを意味する。
最後に、図6と図7に示すように、各射出瞳でのフルカラー画像と、さまざまなカメラの焦点条件で焦点のない画像の写真を撮影した。
図4 1 度あたり 3 サイクルの画像を使用した、赤、緑、青の波長における中心 FOV の水平および垂直 CTF の射出瞳変動の結果。 カメラのフォーカスは250mmと無限遠の2条件に設定。
図5 複数の射出瞳の切り替えのデモ。 導波路 2 を介して画像を表示することにより、射出瞳 1 と 3 がオンになる。導波路 1 を介して射出瞳 2 も同様にオンになる。
図6 複数の射出瞳におけるフルカラー画像。 左の図は白の画像を示し、右の図は同時に投影された赤、緑、青の画像を示す。
図 7 射出瞳 1 におけるさまざまなカメラの焦点条件での焦点のない画像のデモンストレーション。実際のオブジェクトのそれぞれには、カメラからの距離の数値が表示される。
5. ディスカッション
私たちの研究では、水平方向のみに複数の導波路を備えた新しい瞳スイッチング アーキテクチャを実装した。これは 1 次元のアイボックス拡張である。 アイボックスは 3 次元の空間ボリュームであるため、ここでは、アイボックスを 1 次元から下の 3 次元に拡張するためにアーキテクチャを適用する方法について説明する。
私たちのシステムでは、HOE レンズ アレイを自由に設計できる。 したがって、HOE レンズ アレイの焦点距離の設計により複数の射出瞳を配置することで、3 次元アイボックスを簡単に実装できる。 また、導波路の数を増やすと、アイボックスを大きくすることができると同時に、HOE レンズ アレイに伝播するビームの偏心角が大きくなり、導波路の総厚を薄くすることができる。
6. 結論
我々は、HOE レンズアレイと複数の導波路光学系で構成した新しい瞳拡張アーキテクチャを備えた導波路型 RSD を開発した。 表示システムは、HOE レンズアレイと導波路で形成される複数の射出瞳の ON/OFF により水平方向に 5mm のアイボックス、対角 50°の視野、640×720 ピクセルの解像度を表示できる。 システムが視覚センサーユニットで複数の射出瞳を切り替える一方で、視聴者が画像内に不快感や光学的アーティファクトを感じないことを確認した。 私たちは、このアーキテクチャが RSD の技術的限界を拡張し、将来のさまざまな AR アプリケーションを開くことに貢献すると信じている。
6．ソニーグループにおけるディスプレイR&Dアクティビティ
(1)空間ディスプレイ
空間や物体を映像として撮像・制作・編集・伝送する技術が急激に進歩する中で、この空間や物体の情報を表示するディスプレイの実現が強く望まれている。本テーマでは、スクリーンを感じさせない映像表現や光線を正確に再生する光線制御技術により、あたかも実物が存在するかのような映像体験を目指している。このような新しい映像表現方法で、これまでの平面ディスプレイではできなかった、親近感・信頼感のあるエージェントアバターの表示や、リモートオペレーション・リモートコミュニケーションなどを可能にする。
(2)アイウェアディスプレイ
小型軽量で低消費電力かつ屋外でも視認性の高い光学モジュールを開発し、ハンズフリーでのリアルタイムの情報提示を可能とするSmart Glassを実現する。セキュリティや自動翻訳などのBtoB用途のほか、旅先でのナビゲーションやお知らせ告知など場所に由来した情報を提示するCE分野の用途展開を進めている。また、拡張現実技術を使って実空間と虚像を融合したゲーム体験や、チームでデザインした創作品を実寸大で確認するクリエイターツールなどの用途で使われるAR Glassも開発を進め、現実世界をシームレスに拡張するMixed Realityの実現を目指している。
(3)マイクロOLEDディスプレイ
ソニーのマイクロOLEDディスプレイは、独自のOLED技術と半導体シリコン駆動技術によって、超小型・高精細でありながら、高コントラスト、広色域、高速応答性能を実現。きめ細やかな映像や、より自然な色再現、階調特性、優れた動画特性を可能にした。マイクロOLEDディスプレイはデジタル一眼カメラ用電子ビューファインダ（EVF）やヘッドマウントディスプレイ（HMD）などに搭載され、高い評価を得ている。今後は仮想現実（VR）、拡張現実（AR）向けの小型ディスプレイとして幅広い用途で採用されることが期待される。
(4)網膜直描アイウェアディスプレイ
近距離空間に実際に触れられるかのような高輝度・高精細・自然な奥行き感のある映像を表示することで、自然に映像にインタラクションできるMR（複合現実）の世界を実現するシースルーアイウェアディスプレイを開発している。要素技術は、マイクロデバイスでスキャンされたレーザービームを観察者の瞳孔を介して網膜に直接照射する“フリーフォーカス網膜直描方式”である。映像が観察者から遠方の固定面に表示される従来のシースルータイプのアイウェアディスプレイと異なり、映像をユーザーの手の届く範囲内の近距離でも投影することができる点に大きな特徴がある。
7．著者所見
複数の導波路光学素子上のホログラフィック レンズ アレイを特徴とする新しい瞳スイッチング システムを備えた焦点のない画像を表示するフルカラー網膜スキャン AR ディスプレイを開発したことは素晴らしい成果である。従来のNEDでは、虚像が固定焦点面に焦点を結ぶように設計されているため、輻輳と調節の間に不一致が発生する。輻輳と調節の間の不一致により、視覚的な不快感や奥行きの誤認識が発生するVAC(vergence accommodation conflict)を克服できることに期待が掛かる。
【引用・参考文献】
Akira Yoshikaie, et al., “A Waveguide-type Retinal Scan AR Display with Pupil Expansion 題System” SID2023 Digest pp.962-965 (2023)
鵜飼、メタバースを支えるディスプレイおよび部材の動向 シーエムシーリサーチ(2022)(基礎から最新技術動向まで網羅)
https://www.sony.com/ja/SonyIn...
UDDI Technical Writer
Ph.D. 鵜飼育弘
yasuhiro.ukai@hotmail.co.jp
※ウェブサイト管理者より: 以下の「WRITTEN BY」表記は、システム上の都合により、DSCCウェブサイト編集者の情報となります。