写真の照明をBlenderみたいに操作できるAIが来た。SIGGRAPHで発表された「Physically Controllable Relighting」とは

写真を撮り終えた後に、照明の位置や色を変えたい——そういう欲求は、カメラマンにも広告制作者にもある。ただ、これが「本当に使えるレベル」で実現されてきたかというと、正直なところ怪しかった。

SFU(サイモン・フレイザー大学)のChris CareagaとYağız Aksoyによる研究「Physically Controllable Relighting of Photographs」は、SIGGRAPH 2025に採択された論文で、その問題に対してかなり正面から取り組んでいる。大学発の研究論文ではあるが、メディアへの波及ぶりが興味深い。SFU Computing Scienceのリリースに加え、PetaPixelや「Two Minute Papers」まで取り上げており、研究コミュニティの外にまで届いている。


リライティングの何が難しかったのか

写真の照明を後から変えること自体は、Photoshopでも手作業でできる。問題は「物理的に正確で、かつフォトリアリスティックに見える」結果を、一般的な写真に対して自動で出せるかどうかだ。

従来のアプローチには大きく2つの方向性があった。ひとつは従来の3DCGレンダリングに寄った方法で、物理的な正確さはあるが、実写の質感・複雑な光の散乱を再現するのが難しい。もうひとつはニューラルネットワーク頼みの方法で、見た目のリアリティは出るが、ユーザーが「どこに光源を置くか」を明示的にコントロールしにくい。

今回の研究が面白いのは、この2つを組み合わせることを選んだ点だ。論文のAbstractには明確にこう書かれている。

"We achieve this by combining the physical accuracy of traditional rendering with the photorealistic appearance made possible by neural rendering."

物理的正確性はパス追跡エンジンに任せ、フォトリアリスティックな仕上げはニューラルレンダラーに任せる。二段構えの設計だ。


パイプラインの流れを整理する

技術的な流れを順を追って整理しておく。

  1. シーンの推定:入力写真から、単眼深度推定と「Intrinsic Image Decomposition(固有画像分解)」を使って、シーンのカラーメッシュ表現を生成する。要するに、2Dの写真から3D構造と素材情報を推定する。

  2. 照明の定義:ユーザーが3D空間の中で望む照明構成を定義する。BlenderなどのCGツールで光源を置くのと同じ感覚でコントロールできる、というのが売りだ。

  3. パス追跡レンダリング:新しい照明設定のもとでシーンを物理ベースのパス追跡エンジンでレンダリングする。ここで得られる結果はあくまで「物理的に正確だが、荒削りな近似」。

  4. ニューラルレンダラーの通過:その近似レンダリングをフィードフォワード型のニューラルレンダラーに通し、フォトリアリスティックな最終結果を予測する。

  5. 自己教師あり学習:ニューラルレンダラーの訓練には、ラベルなしの生の画像コレクションを使う。微分可能なレンダリングプロセスによってシーンの照明を逆推定することで、アノテーションなしで学習が成立する。

この最後の「自己教師あり」という点が実は重要で、照明の正解ラベルが付いたデータセットを大量に用意しなくても訓練できることを意味する。教師データの収集コストがリライティング研究の大きなボトルネックだったことを考えると、これはアーキテクチャ上の実用的な判断だ。


この研究は「突然出てきた」ものではない

論文ページを見ると、同じ研究グループによる関連論文が並んでいる。

  • Intrinsic Image Decomposition via Ordinal Shading(ACM Trans. Graph., 2023):シェーディングとアルベドの分離を高解像度で行う手法。
  • Colorful Diffuse Intrinsic Image Decomposition in the Wild(ACM Trans. Graph. / SIGGRAPH Asia 2024, Best Paper Award Honorable Mention):単色照明とランバート世界の仮定を外し、カラフルなシェーディングを推定する拡張。
  • Intrinsic Harmonization for Illumination-Aware Compositing(SIGGRAPH Asia 2023):コンポジット画像の照明整合性を取る手法。

今回のSIGGRAPH 2025論文は、これらの蓄積の上に成立している。Intrinsic Image Decompositionがあるからこそ、写真からメッシュと素材情報を推定できる。単発の「すごいデモ」ではなく、3〜4年かけて積み上げた研究系列の集大成に近い。

ここからは見方の話になるが、こういう構造の研究は評価のしかたが少し変わる。単体の論文の新規性だけでなく、「何年かけてどういう問題を解いてきたか」という文脈で読む必要がある。今回の技術は、Intrinsic Decompositionという地盤があって初めて機能する。


業界の流れとして何を示しているか

「物理ベース+ニューラル」のハイブリッドアーキテクチャは、ここ数年でかなり一般的な設計思想になってきた。物理シミュレーションの正確さを保ちながら、ニューラルネットがその荒削りな出力を「見た目よく」仕上げるという構造は、NeRFや3D Gaussian Splattingの系譜にも共通する考え方だ。

今回の研究が象徴しているのは、CGツールとAI画像編集の境界線が溶け始めているということだ。BlenderやHoudiniは長らく「3Dモデルがあって初めて使えるツール」だった。写真をそのままの素材として3D的に照明操作できるようになると、従来の「撮影→レタッチ」というワークフローの前提が揺らぐ。

ただし、期待値の調整も必要だ。現時点では研究論文であり、SFU Technology Licensing Officeへのライセンス問い合わせ窓口が明示されているように、商用化はこれからの段階だ。デモビデオの品質と、実際のプロダクト組み込み後の品質は別物として見ておくべきだろう。


実務的に何を考えるべきか

恩恵を受けそうな現場を考えてみる。

ECと広告制作は最もわかりやすい応用先だ。商品撮影を1回やり、その後で「夕方の光」「スタジオ照明」「屋外の自然光」と複数バリエーションを生成できるなら、撮影コストとスタジオ費用の削減になる。ただし現時点では「シーン全体のリライティング」であり、「特定の商品だけ精密に制御する」用途への適合度は、実際に触ってみないとわからない。

映像・VFX制作にとっては、実写映像への照明整合(たとえばCG合成素材と実写の光源を合わせる作業)への応用が考えられる。関連研究の「Intrinsic Harmonization」はまさにその問題を扱っており、今回の技術と組み合わせた将来像は想像しやすい。

次に問題になることとして挙げておきたいのは2点だ。

ひとつはIP・ライセンスの問題。論文ページには「The methodology presented in this work is safeguarded under intellectual property protection」と明記されており、SFUが権利を保持している。これは大学発の技術移転ルートを前提にしていることを意味する。誰でも使えるOSSになるのか、特定企業へのライセンスになるのか、スタートアップとして独立するのか——今後の事業化の形によって、業界への普及速度が大きく変わる。

もうひとつは倫理と悪用の論点だ。「写真の照明を後から変える」技術は、フォトジャーナリズムや証拠写真の信頼性とも無関係ではない。現状の研究論文では触れられていないが、商用化が進むにつれて必ず出てくる論点だ。


まとめにかえて:このニュースを見る軸

今後、同種のリライティング・照明編集系のAIニュースを見るとき、チェックすべき軸をひとつ渡しておく。

「そのデモは、ユーザーが照明を明示的にコントロールできるか?」という点だ。生成AI的な「雰囲気を変える」と、3D空間で光源を操作するという「物理的制御」は似て非なるものだ。今回の研究が主張しているのは後者であり、それが難しい理由はパイプラインの複雑さを見ればわかる。

研究が使えるプロダクトになるまでには、まだ時間がかかる。ただ、問題の立て方と技術的アプローチの組み合わせとしては、追いかける価値のある系列だと思っている。


参考元: Physically Controllable Relighting of Photographs