Neural Rendering es un método, basado en redes neuronales y otras técnicas,
capaz de crear imágenes y vídeos nuevos basados en escenas preexistentes. El
modelo DirectVoxGo es un software de Neural Rendering para reconstrucción de
escenas en 3D, basado en la tecnología NeRF y consistente en la optimización de
varias redes de vóxeles. Con esto, consigue tiempos de ejecución considerablemente
menores a los de otros modelos NeRF con calidad comparable.
En este proyecto llevamos a cabo un estudio de hiperparámetros sobre este
modelo. En él, analizamos semánticamente el rol que juegan estos hiperparámetros
en la ejecución del modelo, para así seleccionar los que consideramos más relevantes
para nuestros experimentos. Posteriormente, seleccionamos las métricas
a medir: calidad (PSNR, SSIM y LPIPS), consumo de memoria y tiempo de ejecución.
Proseguimos diseñando un código para la ejecución de pruebas, basado
en la implementación original del modelo, y que nos permita realizar diferentes
puebas consecutivas y exportar los resultados. A continuación, analizamos los
resultados y, buscando los valores óptimos de Pareto, encontramos cuáles son los
valores que mejor consiguen un balance entre pares de métricas.
Con estos resultados, creamos combinaciones de valores óptimos. Realizamos
una fase de experimentación con estos, encontrando las combinaciones Pareto
óptimas, y analizándolas semánticamente. De nuestra investigación, obtenemos
dos combinaciones Pareto óptimas para las 6 gráficas, de las cuales una creemos
que mejora los resultados de la configuración estándar de los hiperparámetros.
Concluimos que el estudio de hiperparámetros es una forma efectiva de optimizar
modelos de Neural Rendering, y, más en concreto, el DirectVoxGo. Consideramos
que, debido a la variabilidad ...
Buscar en Dimension