NVIDIA DLSS 3, 次世代DLSSテクノロジー

エヌビディアコーポレーション

パウロ テシエラ

エヌビディアコーポレーション

デベロッパーテクノロジーエンジニア

Paulo Silva is a Developer Technology Engineer at NVIDIA, working on GPU work optimization. His interests cover all things related to real-time graphics, machine learning, GPU performance optimization, physics simulation, and software architecture. He received a M.Sc. in computer science from the University of Tokyo under the supervision of professor Tomoyuki Nishita.

これまでのご経歴と現在の職務内容を教えてください。

NVIDIA デベロッパーテクノロジーエンジニアのパウロと申します。ゲーム開発を行う企業に向けてNVIDIAの最新テクノロジーを紹介したり、グラフィックス周りのエンジン最適化などの直接的なサポートを行ったり、あるいはこのインタビューのようにパブリックな場所での技術的な発表、説明などを行っています。

私は子どもの頃から日本のゲームでよく遊んでいて、ゲーム開発の現場に強い憧れを持っていました。日本に留学してからは、修士・博士課程とリアルタイムグラフィックスに関連する研究を行っていました。その後、モバイルゲーム開発会社、AAAタイトルのエンバイロメントなどに関わり、2016年にNVIDIAに入社しました。

NVIDIAと言えば、GPUなどハードウェア開発からAIを活用したソフトウェア開発まで幅広い領域に携わる世界的な半導体メーカーとして知られています。改めて会社概要を教えてください。

設立当初はグラフィックスにフォーカスした企業で、GPU開発および販売が中心でした。その後、2000年代からはGPGPUやGPUコンピューティングによる「グラフィックスだけではないGPUの活用」に活動領域を広げました。プログラマブルシェーダが2001年のNVIDIA GeForce 3(NV20)で初めて一般に公開され、そのシリーズのカード発売以後プログラマブルシェーダを開発者が利用できるようなりました。2006年にはCUDAを発表し、以降はAIを活用したソフトウェアなども提供してきました。

その後、2018年にはTuring世代として新たなアーキテクチャを発表し、リアルタイムレイトレーシングをインゲームで用いることが出来るようになったほか、AI/MLで用いるTensorコアも搭載しました。これらによって、今日これから紹介するDLSSなど、AIを活用したグラフィックスの向上などが実現できるようになりました。

グラフィックスへのフォーカスから、GPGPUなど徐々に領域を拡大していったということですね。

そうですね。一般販売するRTXシリーズをはじめとしたGPU開発や、データセンター、あるいはコンシューマーゲームに向けたハードウェア提供だけでなく、ソフトウェアの面においても近年ではNVIDIA Omniverse プラットフォームをリリースするなど、ハード・ソフトを問わず開発を進めています。

代表のジェンスン・フアンは、よく「他の会社が出来ないことをやる」と話しています。NVIDIAはグラフィックスのパイオニアではありますが、現在もチャレンジする姿勢を持ち続けています。現在はグラフィックスだけではなく、あらゆる分野に用いられるAIに注力をしています。

AI技術を用いて高品質&高フレームレートを実現するDLSS 3

今回のテーマとなる『DLSS 3』について教えてください。

DLSSはディープラーニング スーパーサンプリングの略称で、AIベースで低解像度の画像を高解像度にアップスケールするための技術です。これはTuring世代から搭載されたTensorコアを用いており、第1世代となるDLSSは2018年に発表されています。

ゲーム開発においてハイメッシュモデルの活用や高品位なライティングなどは負荷が大きくなりがちですが、DLSSの場合は学習データに基づいてゲーム画面そのものを高画質化していると。その後、2020年に発表されたDLSS 2では、どういったアップデートがあったのでしょうか。

DLSS 2は今現在ゲーム業界で用いられている技術で、既に200以上のタイトルで使われています。DLSS 2ではTensorコアを効率的に使用するようになり、最初のバージョンに比べて実行速度が2倍程度になりました。これによってフレームレートが向上しています。

DLSSと異なり、画像入力の際に周囲のデプス情報を含んでおり、前のフレームの情報も推論に利用しています。より具体的には、シーン内の物体がフレーム間でどの方向に移動するか示した移動ベクトルを前フレームの高解像度出力に適用することで、次のフレームを推測しています。私たちはこの仕組みを「テンポラル フィードバック (時系列フィードバック)」と呼んでいますが、これによって出力画像が高品質かつ安定的なものになりました。

Tensorコアが含まれるRTXシリーズなどのGPUを購入していれば、これらの技術を用いたゲームが遊べるわけですね。これらを踏まえて、最新のDLSS 3では、どういった技術が実現しているのでしょうか。

DLSS 3はNVIDIA GTC 2022で発表した最新技術です。最も特徴的なのが「オプティカルマルチフレーム生成」です。これはAIが連続したフレームやモーションデータを、GeForce RTX 40シリーズGPUの新たなオプティカルフローアクセラレータで分析することで、全く新しい追加フレームを生成するという技術です。

レイトレーシングやリフレクション、シャドウの設定などをすべて最高品質にした場合、グラフィックスは向上しますが演算処理は当然重くなり、フレームレートは落ちてしまいます。DLSS 3ではフレームの間を自動的に補完するため、「最高品質かつ高フレームレート」でゲームを遊ぶことが可能になります。

DLSS 3はどういったシーンで使うと恩恵を受けやすいのでしょうか。

例えば、4K/30fpsで遊んでいるゲームに対してDLSS 3を適用すれば、約4倍のフレームレート(4K/120fps)で遊ぶことができます。画質設定を落とさなくてもフレームレートを担保できる点がメリットです。

また、GPUだけでなくCPUパフォーマンスを必要とするゲームも、同様に高フレームレートで遊ぶことができます。世界地図など広大なマップを処理するなどの作品であっても、どこがボトルネックであれフレームを自動生成してしまえばフレームレートを向上できます。既にDLSS 3に対応した35タイトルの開発が進行しています。

なお、DLSS 3ではシステム遅延を削減するNVIDIA Reflexも活用します。NVIDIA Reflexは、CPUとGPUを同期させることでシステム遅延の最適化を行い、マウスなどの入力遅延を短くする技術で、従来よりも遥かに優れた応答性でゲームを遊ぶことが可能になります。

DLSS 3を用いたUnity開発

DLSS 3とUnityのデモとして、現在「Enemies – real-time cinematic teaser | Unity(以下、Enemies)」が公開されています。このデモについて教えてください。

EnemiesはHDRPを用いた最先端のデモで、Digital Humanツールキットや最新のヘアシステムなどを用いたデジタルヒューマンを表現しています。このデモではフォトリアリスティックなルックを実現するためにリアルタイムレイトレーシングなどの技術が数多く活用されていますが、高解像度での描画は当然負荷が高くなります。

このため、NVIDIAとUnityが協力して、この最新のデモにDLSS 3を組み込んでいます。その結果、画質の変化を感じさせないまま、フレームレートが38fpsから128fpsと約3.3倍高速化されました。

DLSS 3の統合については、NVIDIAが提供する「Streamline」というオープンソースのAPIを用いました。このAPIを使えば、Unitryにプラグイン化してさまざまな機能を取り入れることができます。こういった部分の実装サポートは、まさに私のようなデベロッパーテクノロジーエンジニアの仕事ですね。

Unityとのインテグレートは完璧ですね。DLSS 3を自分のプロジェクトに活かそうと思った場合、どのように始めれば良いのでしょうか?

現時点では一般向けのDLSS 3のリリースは未定ですが、Unityの場合はNVIDIA DLSSテクノロジーがネイティブにサポートされています。以前はAsset StoreでダウンロードできるSDKの形式を取っていましたが、現在はNVIDIAパッケージをインストールした上でHDRPアセットに対してDLSSを適用するだけでDLSSのアップスケール技術を作品に活かすことが可能になっています。

使い方は公式ドキュメントにも記載がありますが、NVIDIA Developer アカウントを取得いただければ、私たちが使い方やトラブルに対してサポートを行います。テストをして、きちんと動いたらゲーム開発をして、なにか困ったらサポートチームに相談をする流れになります。

開発に際してサポートを受ける場合、費用は発生しますか?

ロゴ表記などの規約はありますが、使用料は掛かりません。NVIDIAが提供するソフトウェアはPhysXなども含めてオープンソース化されており、無償提供となっています。最近はドキュメントも充実してきて、あまりサポートの必要もなくなってきていますが、何かあればぜひご相談ください。

SYNC来場者に向けて

SYNC 2022にはUnityに興味を持つ多くの方が参加します。参加者の方へメッセージをお願いします。

私は以前からUniteなどにも参加していましたが、こうしたカンファレンスは技術の勉強だけでなく、コネクションを作る機会にもなります。新しい技術で新しい作品を作って、またいろいろと勉強して、楽しんでゲーム開発に取り組んで欲しいと願っています。

NVIDIAとしては、ぜひゲーム開発にRTXテクノロジーを活用して欲しいと思います。私自身も美しいゲーム画面やデモンストレーションが非常に好きなので、今回ご紹介したDLSS 3などを多くの方に使っていただき、より素晴らしいグラフィックスを皆さんに生み出していただきたいと思っています。