El crecimiento de la informática móvil, junto con el aumento de la demanda de redes sociales visuales ha llevado a un tremendo aumento enla popularidad de la fotografía digital de consumo. En las fotografías de cuerpo entero, la iluminación juega un papel importante en la transmisión de la apariencia del sujeto, y los cambios en la iluminación pueden provocar a interpretaciones drásticamente diferentes. Sin embargo, estas fotografías generalmente carecen de condiciones de iluminación controladas.


Presentamos un método de reiluminación de una sola imagen que actúa como un paso de postprocesamiento, lo que permite a un usuario ocasional cambiar y manipular la iluminación de un sujeto en una fotografía.

Volver a iluminar normalmente se beneficia de múltiples imágenes como entrada y requiere resolver un problema de renderizado inverso; en el caso general, la información de la iluminación debe diferenciarse de la geometría y la apariencia del material, basándose en valores de píxeles simples. Esto es un problema bien estudiado pero mal planteado, para el que no existe una solución definitiva. Este documento adopta un enfoque del problema basado en datos,
requiriendo solo una fotografía y una iluminación de objetivo especificada por el usuario como entrada.

Su método se basa en transferencia de radiancia SKS02 e iluminación de armónicos esféricos RH01. Basado en esto, una red neuronal convolucional (CNN) descompone la imagen en su albedo, iluminación y componentes de transporte ligero; a partir del cual se puede calcular fácilmente el sombreado. Separar la iluminación de todos los demás factores de la escena permite una reiluminación eficaz, mientras que el esquema basado en PRT permite un renderizado rápido y eficiente.

Nuestro trabajo eleva el suposición de materiales lambertianos presentes en métodos previos de reiluminación humana de una sola imagen [SKCJ18; KE18]. Modelamos el PRT en nuestro marco mediante la aproximación de resultados encendidos con una sola imagen como entrada para diferentes mapas de iluminación.


Para entrenar su modelo, han creado un conjunto de datos sintéticos que contiene casi 140.000 imágenes con una rica variedad de humanos (105), poses (5) y mapas de iluminación (266). Evaluamos cuantitativa y cualitativamente los resultados de la iluminación tanto en imágenes sintéticas como reales.

Tenéis el paper completo en https://graphics.unizar.es/papers/2021-EGSR-lagunas-relighting.pdf