Up-scale mediante IA

[Rafa18]

Hola, saludos a todos. Cuanto tiempo.

Pues parece que lo de la IA va avanzando, como era de esperar. Recientemente he descubierto esta web:

https://www.stickermule.com/es/upscale

Que usa IA para realizar un escalado de imagen bastante decente. Es gratuita, tan solo pide regitro.

Anteriormente usaba Let's enhance para tal fin, pero es de pago. Eso sí, permite hacer cierto número de pruebas gratuitas insertando una marca de agua. También aplica otra serie de filtros de mejora de imagen, digamos que es más completa.

https://letsenhance.io/es/

Si nos centramos solo en el escalado. ¿Cuál de las dos os parece que funciona mejor?

¿Conocen alguna otra web similar que de mejor resultado que estas dos?

.

[Chemax]

Hola Rafa18, es verdad, mucho tiempo sin verte por aquí.

Gracias por compartir los enlaces. De momento no voy a probarlo, sólo le he echado un ojo, pero lo veo útil para cuando se necesite, así que bueno es saberlo.

Un saludo!

[Rafa18]

Me he encontrado con muchas páginas de este tipo, algunas bastante mediocres.

También hay programas de ordenador, como el Topaz pero es de pago.

No sé de todas estas opciones qué dará mejor resultado. Creo que también depende del tipo de imagen ya que alguna están más optimizadas para fotos y otras para dibujos.

[rivaner]

Hola. Ante todo, me alegro de verte otra vez por aquí. En cuanto a lo que comentas, hace tiempo hice algunas pruebas con Let's Enhance (desafortunadamente no las encuentro, supongo que las deseché). También probé Topaz Gigapixel hasta la versión 5.2.2 pero al parecer las versiones superiores tienen un amplio historial de errores (en el Mac al menos) y lo fui descartando. La verdad es que hasta ahora no he tenido ninguna necesidad real de aumentar el tamaño de las fotos, así que todo se queda en probar por probar, además de que Topaz parece haber integrado casi todas sus aplicaciones anteriores en Photo AI que sí he utilizado un poco con los fotogramas de cine.

Ahora he vuelto a probar con una captura que tengo en el escritorio, un fotograma de Michèle Morgan en una Rolleiflex en Pourquoi viens-tu si tard? (Henri Decoin, 1959). Para mí que el resultado más equilibrado es el de Topaz Photo AI a 6x, donde la mejora de la cara no es excesiva y la textura de la piel de las manos del fotógrafo me parece más natural. La de Gigapixel aumenta el tamaño pero no mejora lo más mínimo, creo. Por el contrario, en la de Let's Enhance el embellecimiento de la cara y la piel de las manos me parece un poco pasado de rosca y poco realista. Es cierto, no obstante, que todas las pruebas están hechas con los valores por defecto, por lo que supongo que con distintos ajustes los resultados pueden variar.

Captura (1532 x 925):


Topaz PhotoAI 2.9x (4458 x 2692):


Topaz PhotoAI 6x (9192 x 5550):


Topaz Gigapixel v5.2.2 6x (9192 x 5550):


Let's Enhance 4x (6128 x 3698):


Luminar Neo 1.25.1 6x (9192 x 5550):

[Rafa18]

El Topaz tiene buena fama, pero es de pago.

Hay infinidad de webs dedicadas al escalado de foto online entre otras cosas, algunas con registro, otras con marca de agua, con limitaciones, etc. Probarlas todas dedicándole tiempo a probar las distintas opciones se hace un trabajo titánico.

También parece ser que el resultado varía dependiendo del tipo de foto. Si es foto antigua, si es dibujo o pintura, foto a color, etc.

Era un poco por saber la experiencia de cada cual en estas cosas, principalmente por falta de tiempo para experimentar por uno mismo.

[ikusimakusi]

Luminar también tiene esa función, aunque solo la he probado por saber que hacía. Si he probado a rejuvenecer fotos antiguas y a parte de limpiar artefactos, redimensiona la foto con más píxeles.

Enviado desde mi 23108RN04Y mediante Tapatalk

[Rafa18]

Otro más a la lista.

Jejeje.

[rivaner]

El Topaz tiene buena fama, pero es de pago.
...
Era un poco por saber la experiencia de cada cual en estas cosas, principalmente por falta de tiempo para experimentar por uno mismo.

Cierto. Yo compré hace tiempo la suite de Topaz (Mask, Sharpen, Studio, DeNoise, etc) aprovechando que en un Black Friday la ofertaban bastante barata y con actualizaciones incluidas. Luego sustituyeron la suite por Photo AI y durante un tiempo mantuvieron las mismas condiciones de actualizaciones gratuitas hasta la versión 2.2.2 que es la que tengo instalada. Como dije, para algunas de las aplicaciones no tenía un uso real, se trataba solo de trastear, y el resultado era dispar. Si la foto original era medio buena, el resultado podía ser sorprendente por excelente, pero tampoco creo que se puedan esperar milagros. En los fotogramas de cine algunos han resultado bastante bien, incluso muy bien, otros aceptablemente mejorados, y en otros, por último, tuve que usar el original porque la "mejora" hacía un verdadero estropicio, sobre todo en las caras. Para ese uso no he visto necesario ir más allá de la versión que tengo, que se puede seguir usando indefinidamente... o hasta que el Mac introduzca una actualización que haga incompatible algo, como parece haber ocurrido con Gigapixel.

Luminar también tiene esa función, aunque solo la he probado por saber que hacía. Si he probado a rejuvenecer fotos antiguas y a parte de limpiar artefactos, redimensiona la foto con más píxeles.

Yo tengo Luminar Neo (1.25.1) para lo mismo, para trastear, pero nunca había usado esa función. Acabo de hacer la prueba con el mismo fotograma a 6x y la he añadido a mi mensaje anterior, para comparar. Usando los ajustes por defecto me parece que el resultado es inferior al de Topaz Photo AI, quizás porque en esa configuración no realiza ninguna mejora.

[JMLA]

Entiendo un interés comercial para este tipo de soluciones. Al menos así es como yo las vivo desde el mundo de las artes gráficas, cuando aparece (no pocas veces) un cliente que quiere publicar algo y pretende hacerlo con fotos que quizá no tienen ni 50 píxeles de lado, sacadas de su web corporativa, o de su muro de no se qué, o que alguien se las hecho llegar por whatsapp. O quiere hacer un cuadro a partir de una foto de carnet de los años 60, o de una foto la boda de su abuela que mide 10 cm.

Pero no nos engañemos, que esto ya no es fotografía; fotografía en el sentido de aquella que era huella fósil de un instante. Algo que, visto desde hoy, cubre de nostalgia la conocida película de Antonioni Blow Up, en la que el fotógrafo manifestaba la frustración de no poder distinguir si aquel borrón oculto entre el grano de la película era un cadáver.

Y es que estas aplicaciones de IA sacan de donde no hay e inventan lo necesario para rellenar el pavo, eso que viene a llamarse farsa.

De entre los ejemplos que trae Rivaner, vemos que lo mismo ha imaginado textura de piel donde no la había o colocado unos brillitos en un lagrimal que no lucía.

[daniel]

A veces necesito reajustar la resolución de laguna foto para llegar al tamaño que quiero. Por lo general es algo que sucede con los viejos archivos de la E-M1mII. Lo que hago es personalizar la resolución en Preferencias para CamaraRAW en Photoshop. Calculo el porcentaje de resolución que aumenté y lo agrego en Efectos/Textura. Como resultado no aparecen artefactos y las superficies no parecen plástico extruido.

[Chemax]

Por si fuera útil:

Luis Labrado - Cómo ampliar cualquier imagen en Photoshop sin perder calidad

https://www.youtube.com/watch?v=WzyCCeXocLY



Dice que utiliza ampliaciones del 10 ó 20 por ciento cada vez, y me ha hecho recordar, como dije en otra ocasión, que en el manual de Photoshop CS4 casi literalmente se decía que los mismos creadores de Photoshop no sabían por qué, pero si se ampliaba la imagen el 10% cada vez, la imagen no perdía calidad...

Algo de ruido se ve en el resultado final del vídeo, pero prácticamente es el mismo que tiene la foto original. Yo creo que para ese nivel de ampliación el resultado no está mal.

Además decir que hace poco tiempo comenté que hace años existía un programa/plugin de Photoshop llamado Genuine Fractals que parece que daba buenos resultados sin usar la IA actual.

https://www.jggweb.com/2008/07/11/genui ... -imagenes/

Por lo que parece pasó a llamarse se llama ON1 Resize:

https://www.on1.com/press/the-next-gene ... fTvtnCj55q

[JMLA]

El Ps que yo utilizo es más antiguo y no presta las opciones que comenta Daniel ni las de este último vídeo de Chemax, pero bien, cualquier método "mecánico" de interpolación creo que es respetuoso con la foto. Por el contrario, los métodos basados en IA no lo son, bien se muestren más espectaculares (lo que puede ser conveniente en algún caso, como cualquier otra mentira piadosa) pierden en que ya no son la foto sino una reconstrucción.

[Rafa18]

El ON1 Resize tiene buena pinta, no sé que tal "pintará" luego.

Este tipo de cosas las veo interesante para pinturas o dibujos, donde la interpretación inventada de la IA quizás no afecte tanto al resultado. Pero ocurre que aplicaciones que van más o menos bien con fotografías, no funcionan tan bien con dibujos. Habría que probar una u otra dependiendo del tipo de imagen. Que pereza.

Para su uso en fotografía el resultado es un tanto dispar. Lo veo útil en fotos muy estropeadas a las que se les tenga apego y teniendo claro que el resultado es una interpretación, según qué persona esa interpretación puede no ser importarle.

Tradicionalmente se usaba retoque fotográfico para eliminar manchas, arañazos, e incluso personas con dotes de dibujo se las ingeniaban para dibujar las partes faltantes. A fin de cuentas no deja de ser una interpretación, aunque realizada por una persona y no una máquina. Esto ya sería otro uso de la IA en fotografía más allá del escalado.

Puede ser buena cosa, entendiéndolo como si fuese un filtro automático de mejora de imagen a lo Instagram o similar, teniendo en cuenta siempre eso, que se inventa la imagen.

[rivaner]

Pero no nos engañemos, que esto ya no es fotografía; fotografía en el sentido de aquella que era huella fósil de un instante.

Absolutamente.

De entre los ejemplos que trae Rivaner, vemos que lo mismo ha imaginado textura de piel donde no la había o colocado unos brillitos en un lagrimal que no lucía.

Bueno, y con ser eso chocante, no es ni la mitad de lo que a veces hace con las caras, aunque hay que reconocer que en esto juega mucho nuestra propia percepción. Quiero decir que una cara, supongamos, algo borrosa puede sernos perfectamente reconocible pero la aplicación juega con lo que hay, no con lo que vemos (que es más bien lo que sabemos). Siendo conscientes de esto se evitan algunas decepciones y se aprende a ver cuáles pueden funcionar. Lo mismo vale para cualquier objeto de la foto.

De todas formas, siendo totalmente cierto lo que apuntas, al decir que el resultado más equilibrado parece ser el de Topaz Photo AI a 6x, me refiero a una situación comparable. Las imágenes del primer post tienen distintas ampliaciones (2.9x, 4x, 6x) pero viéndolas en una escala similar (por ejemplo, a pantalla completa en mi modesto Dell 1920x1080) y sacando capturas del detalle de la cara es más fácil compararlas incluso sin ampliar la imagen low a su tamaño real de 770x576 aproximadamente.

Captura:


Topaz Photo AI 2.9x:


Topaz Photo AI 6x:


Topaz Gigapixel 6x:


Let's Enhance 4x:


Luminar Neo 6x:


Se ve que no hay diferencia apreciable entre la captura de partida y las de Gigapixel o Luminar, mientras que la peor por irreal sigue siendo la de Let's Enhance, un tanto "excesiva" respecto a la original. Las mejores (o menos malas, si se quiere) son las de Topaz Photo AI, ya que las texturas añadidas pueden resultar aceptables dependiendo de cómo se vaya a usar, la distancia de visualización o el tamaño al que realmente se vaya a ver, que puede no ser forzosamente el mismo de la ampliación. A ese tamaño de visualización la imagen devuelta por Topaz Photo AI 6x parece un buen compromiso ya que mejora lo suficiente la original sin perder su aspecto "cinematográfico" añoso y sin que las texturas añadidas sean tan visibles ni antinaturales. Por supuesto, si realmente se necesitan los 6x entonces es otra cuestión.

[Rafa18]

Pues yo hubiese optado por la Gigapixel x6 ya que es la que me parece más similar a la captura original.

Digamos que es la que a mi parecer menos altera el resultado, aumentando el tamaño y manteniendo la estética casi al 100%

La versión obtenida por Topaz X6, además de aumentar el tamaño aumenta la nitidez, añadiendo de paso esas texturas que comentas.

No la veo mal tampoco pero yo me hubiese decantado por la de Gigapixel x6 por lo comentado.

¿Podrías probar a hacer lo mismo con un dibujo o pintura a ver qué resultado da?

[rivaner]

Pues yo hubiese optado por la Gigapixel x6 ya que es la que me parece más similar a la captura original.
Digamos que es la que a mi parecer menos altera el resultado, aumentando el tamaño y manteniendo la estética casi al 100%

Sí, Gigapixel AI y Luminar son las que menos "parecen" alterar la imagen original (aunque algo debe de haber, porque el aumento tendrá que salir de algún lado), pero todo depende de lo que quieras obtener para el uso que le vayas a dar, y esto es algo a decidir caso por caso. En el mío, tratándose de fotogramas de cine de baja calidad, la cuestión era buscar cierta mejora que más o menos recuperara algo de la que se supone que tenía el original, y ese "supone" es el meollo del asunto, porque en muchos casos es difícil saber si la baja calidad del fotograma es fruto de una pésima masterización, algo frecuente en los primeros tiempos del DVD, si al hacerla partieron de una mala copia, también frecuente, o si el film original ya era así. Por tanto se trata de alcanzar un cierto compromiso para obtener esa ligera mejora que podemos suponer que tenía pero sin que deje de verse como una imagen de ese momento y, desde luego, sin llegar a la falsificación de Let's Enhance.

¿Podrías probar a hacer lo mismo con un dibujo o pintura a ver qué resultado da?

Creo que tengo algo por ahí. A ver si saco un rato y lo busco.

[Rafa18]

Hombre, teniendo en cuenta tu punto de vista, ciertamente la que comentas se parece más a lo que buscas.

[rivaner]

¿Podrías probar a hacer lo mismo con un dibujo o pintura a ver qué resultado da?

Bueno, tenía algunas pruebas ya hechas hace tiempo con Gigapixel, pero he preferido hacerlas un poco más sistemáticamente. El primer punto a considerar era qué imágenes escoger. Aunque en la red hay para todos los gustos y de todos los tamaños desde pocos KB a varios MB, generalmente faltan referencias para valorar su calidad respecto al original, así que he optado por utilizar algunas de la web del Rijksmuseum de Amsterdam por varios motivos: se pueden descargar libremente con solo registrarse, ofrecen mayor garantía en cuanto a la calidad del punto de partida, y van bien para poner a prueba las aplicaciones con archivos de cierto peso.

Las imágenes JPG del Rijksmuseum son, por término medio, de 4500 x 4500 píxeles (a 72 ppp) lo que resulta en archivos de 5 MB para arriba, con alguna excepción. Las tres obras son de diferentes características y se han ampliado a 6x para ver no solo la calidad obtenida sino también la respuesta de las aplicaciones. En consecuencia, los archivos generados tienen un peso más que notable por lo que la carga de la imagen puede ser lenta en según qué condiciones, pero creo que permiten apreciar mejor la diferencia de resultados. En todas pruebas se han desactivado las "mejoras" que estas aplicaciones suelen introducir (recuperación de caras, nitidez, etc) pero se han mantenido las configuraciones (denoise, blur) que por defecto están asociadas a la ampliación. En Photo AI se ha utilizado el modo Standard ya que, contra lo que pudiera parecer, el modo High Quality no hace referencia a la calidad del resultado, sino a la de la imagen de partida.

Granja en Provenza. Vincent van Gogh, c. 1888. (4096 x 3000, 2.4 MB)


Granja en Provenza. Vincent van Gogh. Topaz Photo AI 6x (24576 x 18000, 119 MB)

Granja en Provenza. Vincent van Gogh. Luminar Neo 6x (24576 x 18000, 227 MB)

Granja en Provenza. Vincent van Gogh. Topaz Gigapixel 6x (24576 x 18000, 320 MB)

A pequeño tamaño las diferencias lógicamente son inapreciables, pero la vista a tamaño real de un pequeño fragmento es otra cosa:





Resulta significativo que no haya una relación directa entre la calidad de la ampliación y el tamaño del archivo, ya que no solo los 320 MB del archivo obtenido con Gigapixel resultan excesivos (y no es el mayor, como se verá) sino que incluso los 227 MB del Luminar parecen desproporcionados para la imagen que devuelve.

Con las restantes imágenes me ha resultado imposible utilizar Luminar por lo que la comparación queda reducida a Photo AI vs Gigapixel.

La lechera. Johannes Vermeer, c. 1660. (4649 x 5177, 5 MB)


La lechera. Johannes Vermeer. Topaz Photo AI 6x (27894 x 31062, 263 MB)

La lechera. Johannes Vermeer. Topaz Gigapixel 6x (27894 x 31062, 632 MB)

Como se ve, los resultados son similares al ejemplo anterior, y aquí tampoco parece que la imagen devuelta por Gigapixel justifique ese elefantiásico archivo de 632 MB:



Oostzijdse molen... Piet Mondriaan, 1903. (5259 x 4310, 5.8 MB)


Oostzijdse molen... Piet Mondriaan. Topaz Photo AI 6x (31554 x 25860, 318 MB)

Oostzijdse molen... Piet Mondriaan. Gigapixel 6x (31554x25860, 670 MB)



Las diferencias a favor de Photo AI no se limitan al resultado, sino que se extienden al propio funcionamiento de las aplicaciones, ya que tanto Gigapixel como Luminar Neo hacen un altísimo consumo de recursos (CPU y memoria RAM). Con el archivo de Vermeer Gigapixel llega a ponerse en un 490% de CPU (lo que en un Intel de 6 núcleos viene a ser un 86% real) y en 19 GB de consumo de memoria, que en mi Mac Mini con 16 GB de RAM son 14 de memoria física y 5 de cache, causando más de un crash por agotamiento de la memoria de aplicación.





Lo mismo, y aun peor, puede decirse de Luminar, que no solo se pone en casi 43 GB de consumo de memoria sino que hace un uso creciente del espacio de disco SSD forzando también un crash.



Demasiado, ambos, para manejar unos archivos de 5 MB. Se podrá decir que eso se soluciona con más máquina, pero lo cierto es que Photo AI hace un mejor uso de los recursos y, aunque se toma su tiempo para generar el archivo, en ningún momento bloquea el ordenador ni obliga a cerrar las restantes aplicaciones. Naturalmente son mis resultados y para otros puede ser diferente.

[Maldoror]

Gran trabajo Rivaner, gracias.
Interesante, tal vez en alguna oportunidad se necesite una ampliación gigantesca, pero no va a ser mi caso, seguro. Pero es un trabajazo que se te agradece.

[rivaner]

Gran trabajo Rivaner, gracias.
Interesante, tal vez en alguna oportunidad se necesite una ampliación gigantesca, pero no va a ser mi caso, seguro.

Ni el mío tampoco, segurísimo pero a raíz del comentario de Rafa sobre las pinturas me ha parecido interesante ponerlas a prueba "a lo bestia", porque ampliando a 2x no se ven realmente las diferencias. En mi caso, sea por culpa de Topaz o de Apple, ya había tenido un par de trastazos con Gigapixel y nunca lo usé mucho, pero lo de Luminar sí que clama al cielo, porque ampliar a 6x un archivo de 5 MB debería resultar, si por comparación nos atenemos a los resultados del Van Gogh, en algo en la horquilla de los 200-300 MB del Photo AI y los 600 MB del Gigapixel. Es inconcebible que, apenas se echa a andar la ampliación en Luminar, los 45 GB de espacio libre en mi SSD se van reduciendo cada pocos segundos hasta algunos MB, dejando sin espacio la memoria virtual y causando el crash. En cuanto se "mata" el Luminar, el espacio en disco vuelve a la cifra anterior y la presión de memoria se reduce a casi cero, por lo que parece evidente que esa aplicación tiene un bug en la gestión de su memoria y con el espacio de disco.

Pero es un trabajazo que se te agradece.

Bueno, ya sabes, sarna con gusto no pica.

(Por cierto, antes de que Inma me regañe, sé que la carga de las imágenes ralentiza la página, así que las dejaré unos días por si Rafa las mira como están y luego sustituiré los [low] pesados por enlaces limpios.)

[JMLA]

Apenas puedo cargar esta página (con mi mac de casi 15 años y sus 8gb...) así que no me voy a detener en analizar los resultados.

Sin embargo se me ocurre que puede ser interesante tomar algunas de estas fotos de originales de 4500px para disminuirlas a (por ejemplo) 900px, y posteriormente partir de estas últimas para ampliar al tamaño original de 4500px mediante estas aplicaciones. Luego sí comparar los originales de 4500px con los resultados de 4500px obtenidos aquí.

[rivaner]

Apenas puedo cargar esta página (con mi mac de casi 15 años y sus 8gb...) así que no me voy a detener en analizar los resultados.

Es comprensible. Mi Mac Mini de pocos años con 16 GB la carga, pero las imágenes pesadas tardan algunos segundos. De todas formas he hecho lo que dije, cambiarlas por enlaces simples. Quien quiera comprobarlas puede hacerlo igualmente a partir de los enlaces, y las comparaciones, que son el meollo del asunto, sí son asequibles.

Sin embargo se me ocurre que puede ser interesante tomar algunas de estas fotos de originales de 4500px para disminuirlas a (por ejemplo) 900px, y posteriormente partir de estas últimas para ampliar al tamaño original de 4500px mediante estas aplicaciones. Luego sí comparar los originales de 4500px con los resultados de 4500px obtenidos aquí.

Buen punto. Lo pensé también pero supongo que la reducción posiblemente introduciría un factor de distorsión. Pero se podría reducir y ampliar la misma reducida con las tres aplicaciones y ver cuál "recupera" mejor el original. No sé si es esto lo que propones.

[Guillermo Luijk]

Buen punto. Lo pensé también pero supongo que la reducción posiblemente introduciría un factor de distorsión. Pero se podría reducir y ampliar la misma reducida con las tres aplicaciones y ver cuál "recupera" mejor el original. No sé si es esto lo que propones.

Es que ésa es la forma ideal y correcta de evaluar ampliaciones o reducciones de ruido hechas con IA, comparar lo que da la IA con el dato real que sería esperable obtener.

Aquí hice precisamente eso (en este caso no era aumento de tamaño sino reducción de ruido pero el concepto es idéntico, poder comparar lo que sale con lo que "tendría que salir"). Veo a todos los youtubers comparando ampliaciones/reducciones de ruido pudiendo tener la imagen original de alta resolución/sin ruido. Evidentemente o les faltan conocimientos para entender bien qué es una red neuronal o simplemente van a por el efecto WOW y en realidad les da igual entender cómo funciona realmente la herramienta.

Salu2!

[JMLA]

De todas formas he hecho lo que dije, cambiarlas por enlaces simples. Quien quiera comprobarlas pueda hacerlo igualmente a partir de los enlaces, y las comparaciones, que son el meollo del asunto, sí son asequibles.

Mucho mejor, gracias!

Buen punto. Lo pensé también pero supongo que la reducción posiblemente introduciría un factor de distorsión. Pero se podría reducir y ampliar la misma reducida con las tres aplicaciones y ver cuál "recupera" mejor el original. No sé si es esto lo que propones.

Creo que es interesante, serviría para ver qué tipo de manejo hacen, si hay sesgos evidentes, etc.

[rivaner]

Bien, aunque con bastante retraso aquí van las pruebas que he hecho. Para no recargar la página solo incluyo imágenes relativas a los resultados. Los archivos utilizados en cada caso se pueden ver y descargar en los enlaces.

En esta prueba he intentado, dentro de mis posibilidades, aplicar un criterio algo más objetivo que la pura apreciación visual. Un requisito de las métricas de comparación (más sobre esto a continuación) es que las imágenes a comparar tengan exactamente el mismo tamaño en píxeles. Por tanto, las imágenes reducidas deberán ser tales que al ampliarse (x6) resulten las mismas dimensiones que las de sus originales respectivos. Dado que las originales no son todas exactamente divisibles por 6, la solución más simple ha sido recortar unos pocos píxeles los tres archivos (Van Gogh, Vermeer y Mondriaan) para que las ampliaciones tengan esos mismos tamaños:

Código: Seleccionar todo

           Original     Recortado    Reducido
Van Gogh:  4096x3000 -> 4092x3000 -> 682x500
Vermeer:   4649x5177 -> 4644x5172 -> 774x862
Mondriaan: 5259x4310 -> 5256x4308 -> 876x718


Para hacer las reducciones he probado Gigapixel, ImageMagick y Vista Previa (Mac):



Como se ve, las imágenes resultantes no muestran diferencias apreciables y cualquiera de ellas podría valer para hacer las posteriores ampliaciones x6. Métricas para comparar imágenes hay bastantes, cada una con sus ventajas e inconvenientes, y sobre todas hay en la red amplia información de todos los niveles, desde lo muy básico (en español), a medio (en inglés), y más allá, además de múltiples variantes. Precisamente el problema con todo esto es que no solo distintas implementaciones de una misma métrica dan resultados diferentes, lo que resultaría comprensible, sino que incluso los resultados obtenidos con una métrica no coinciden con los publicados para esa misma implementación.

En un primer momento probé con dssim 3.4.0, una variante MSSIM (Multi-Scale SSIM) de Kornel Lesinski, por ser bastante conocida y disponer de binarios para Mac, pero, entre otras limitaciones, en principio solo permite comparar imágenes de dos en dos. Para agilizar las cosas parece mejor disponer de una implementación que permita comparar en una sola ejecución varias imágenes contra el original de referencia y, ya puestos, usar distintas métricas. En este aspecto la biblioteca ImageMagick/Imagick ofrece la ventaja de disponer de las métricas más comunes de modo nativo en C por lo que hacerle un "envoltorio" en Bash o PHP es bastante sencillo. No obstante, por curiosidad pedí a dos asistentes IA, Gemini de Google y Copilot de Microsoft, una muestra de código PHP para comparar imágenes usando métrica SSIM y ambos respondieron con una función basada en GD. Esta biblioteca dispone de un buen número de funciones para manipulación de imágenes pero carece de métricas de comparación lo que hace necesario implementarlas en PHP. Por ello ambas IA precisaban que con Imagick sería más rápido al tenerlas ya en código nativo, como es sabido. Las respuestas literales, incluyendo sus "sugerencias", están aquí:

Gemini, SSIM con GD
Gemini, SSIM con Imagick
Copilot, SSIM con GD
Copilot, SSIM con Imagick

Visto lo anterior, las versiones para GD no tienen mayor interés que mostrar la lógica y el modo de hacer el cálculo de SSIM. La versión de Gemini para Imagick, bastante simple, no es muy diferente de lo que yo ya tenía hecho, pero la de Copilot es bastante más completa y detallada, aunque no exenta de errores. Algunos gazapos (FILTERLANCZOS o CHANNELALL por FILTER_LANCZOS o CHANNEL_ALL) son fáciles de ver, pero que utilice una constante inexistente (Imagick::METRICSSIM) es más serio. Mi primera idea fue acudir al código fuente de Imagick en C para comprobar el typedef enum de los tipos de métrica realmente disponibles, ver qué entero le corresponde al definido para SSIM (StructuralSimilarityErrorMetric) y trabajar con ese valor. Sin embargo no era un buen arreglo porque el desarrollador ha cambiado los tipos entre versiones (!) así que la solución fue utilizar un pequeño script que volcara las constantes realmente presentes en la versión de Imagick que estoy utilizando (7.1.0-23 Q16).

Una vez resuelto el problema y hechas las modificaciones oportunas, la comparación con la imagen de referencia revela en todas las métricas una ligera superioridad de la imagen reducida con Vista Previa, con menores AE y MAE, y mayores PSNR y SSIM. Simplificando un tanto, las tres primeras métricas (como también MSE y RMSE) son, en la práctica, formas distintas de presentar la medición de la diferencia píxel a píxel entre dos imágenes, mientras que SSIM apunta a la calidad percibida atendiendo a estructura, luminancia y contraste. Para el caso del Van Gogh (como curiosidad se incluye la comparación del original contra sí mismo, con 0 errores y 100% de similitud):

Código: Seleccionar todo

AE = Absolute Error = Número total de píxeles diferentes
MAE = Mean Absolute Error = Media de las diferencias entre píxeles correspondientes
PSNR = Peak Signal Noise Ratio = Proporción máxima señal/ruido
SSIM = Índice de Similitud Estructural

ImageMagick 7.1.0-23 Q16-HDRI x86_64 2022-02-05 https://imagemagick.org

SK-A-2226_Van_Gogh_Granja_Provenza_4092x3000.jpg
AE     : 0
MAE    : 0.0000
PSNR   : inf
SSIM   : 100%

SK-A-2226_Van_Gogh_Granja_Provenza_682x500_Gigapixel.jpg
Resizing 682 x 500 -> 4092 x 3000
AE     : 12275999
MAE    : 0.0352
PSNR   : 25.0479
SSIM   : 75.76%

SK-A-2226_Van_Gogh_Granja_Provenza_682x500_Imagemagick.jpg
Resizing 682 x 500 -> 4092 x 3000
AE     : 12276000
MAE    : 0.0352
PSNR   : 25.0453
SSIM   : 75.75%

SK-A-2226_Van_Gogh_Granja_Provenza_682x500_VistaPrevia.jpg
Resizing 682 x 500 -> 4092 x 3000
AE     : 12274937
MAE    : 0.0313
PSNR   : 26.4102
SSIM   : 77.72%

Total time: 00:06:40


La misma prueba con los otras imágenes (Vermeer y Mondriaan) da resultados similares. Hay que señalar que hasta aquí no se ha comparado todavía cuál de las tres aplicaciones comerciales -Gigapixel, Topaz Photo AI o Luminar- hace un mejor trabajo, sino cuál de las reducciones anteriores es más fiel al original, para usarla con esas aplicaciones. Las pruebas de ampliación se han hecho desactivando en todas ellas las mejoras que suelen estar activadas por defecto (denoise, deblur, reconocimiento y mejora de caras, etc). Estos son los archivos y los resultados en métricas para cada imagen:

Van Gogh
Vincent van Gogh. Granja en Provenza. Imagen de referencia (4092 x 3000, 4.1 MB)
Vincent van Gogh. Granja en Provenza. Topaz Gigapixel 6x (4092 x 3000, 9.2 MB)
Vincent van Gogh. Granja en Provenza. Luminar 6x (4092 x 3000, 10.7 MB)
Vincent van Gogh. Granja en Provenza. Topaz Photo AI 6x (4092 x 3000, 3.4 MB)

Código: Seleccionar todo

SK-A-2226_Van_Gogh_Granja_Provenza_4092x3000_6x_Gigapixel.jpg
AE     : 12161821
MAE    : 0.0358
PSNR   : 24.6986
SSIM   : 77.13%

SK-A-2226_Van_Gogh_Granja_Provenza_4092x3000_6x_Luminar.jpeg
AE     : 12020771
MAE    : 0.0409
PSNR   : 23.1898
SSIM   : 76.16%

SK-A-2226_Van_Gogh_Granja_Provenza_4092x3000_6x_PhotoAI.jpeg
AE     : 12070369
MAE    : 0.0329
PSNR   : 25.5360
SSIM   : 77.36%


Excepto en Error Absoluto, la ampliación con Topaz Photo AI obtiene mejores resultados en las restantes métricas (además de generar un archivo de menor tamaño). Para comprobar en qué medida esos valores coinciden o no con lo percibido se puede comparar un mismo fragmento del original, las ampliaciones y también de la imagen reducida, 682x500 en este caso, que las aplicaciones han utilizado como punto de partida:



Vermeer
Vermeer. La lechera. Imagen de referencia (4644 x 5172, 9.6 MB)
Vermeer. La lechera. Topaz Gigapixel 6x (4644 x 5172, 16.1 MB)
Vermeer. La lechera. Luminar 6x (4644 x 5172, 17.6 MB)
Vermeer. La lechera. Topaz Photo AI 6x (4644 x 5172, 6.1 MB)

Código: Seleccionar todo

SK-A-2344_Vermeer_Lechera_4644x5172_6x_Gigapixel.jpg
AE     : 23889111
MAE    : 0.0323
PSNR   : 26.2555
SSIM   : 54.08%

SK-A-2344_Vermeer_Lechera_4644x5172_6x_Luminar.jpeg
AE     : 23718979
MAE    : 0.0308
PSNR   : 26.3696
SSIM   : 55.84%

SK-A-2344_Vermeer_Lechera_4644x5172_6x_PhotoAI.jpeg
AE     : 23829249
MAE    : 0.0321
PSNR   : 26.2477
SSIM   : 53.18%


En este caso, desde el punto de vista de las métricas la ventaja comparativa parece estar en Luminar, y también, desde luego subjetivamente, en la comparación de los fragmentos, donde las texturas -pinceladas y grietas- parecen resultar marginalmente mejores que en las otras ampliaciones.



Mondriaan
Mondriaan. Oostzijdse. Imagen de referencia (5256 x 4308, 10.6 MB)
Mondriaan. Oostzijdse. Topaz Gigapixel 6x (5256 x 4308, 18.8 MB)
Mondriaan. Oostzijdse. Luminar 6x (5256 x 4308, 18.5 MB)
Mondriaan. Oostzijdse. Topaz Photo AI 6x (5256 x 4308, 6.1 MB)

Código: Seleccionar todo

SK-A-4987_Mondriaan_Oostzijdse_5256x4308_6x_Gigapixel.jpg
AE     : 22613320
MAE    : 0.0488
PSNR   : 23.2528
SSIM   : 37.35%

SK-A-4987_Mondriaan_Oostzijdse_5256x4308_6x_Luminar.jpeg
AE     : 22516260
MAE    : 0.0459
PSNR   : 23.6749
SSIM   : 38.24%

SK-A-4987_Mondriaan_Oostzijdse_5256x4308_6x_PhotoAI.jpeg
AE     : 22557027
MAE    : 0.0441
PSNR   : 24.0414
SSIM   : 39.65%


Aquí la diferencia de métricas está de nuevo a favor de Topaz Photo AI, pero diría que la comparación visual de los fragmentos no parece confirmarlo ya que, a pesar del 2% de diferencia en SSIM, las pinceladas aparecen bastante más difuminadas que en el de Gigapixel.



Por último, para no limitarnos a lo pictórico he hecho las mismas pruebas con la conocida fotografía Retrato de Florence Owens Thompson, de Dorothea Lange (1936), también obtenida de la colección del Rijksmuseum:



Las ampliaciones x6 a partir de una reducción 541x682 son las siguientes, con las métricas obtenidas:

Dorothea Lange. F. Owens Thompson. Topaz Gigapixel 6x (3246 x 4092, 3.5 MB)
Dorothea Lange. F. Owens Thompson. Luminar 6x (3246 x 4092, 9.1 MB)
Dorothea Lange. F. Owens Thompson. Topaz Photo AI 6x (3246 x 4092, 3.00 MB)

Código: Seleccionar todo

RP-F-F17668_D_Lange_Florence_O_Thompson_3246x4092_6x_Gigapixel.jpg
AE     : 12891398
MAE    : 0.0253
PSNR   : 27.7198
SSIM   : 69.21%

RP-F-F17668_D_Lange_Florence_O_Thompson_3246x4092_6x_Luminar.jpeg
AE     : 12915416
MAE    : 0.0233
PSNR   : 28.1826
SSIM   : 73.37%

RP-F-F17668_D_Lange_Florence_O_Thompson_3246x4092_6x_PhotoAI.jpeg
AE     : 12617417
MAE    : 0.0216
PSNR   : 28.5567
SSIM   : 74.82%


En este caso todas las métricas dan mejor resultado a la ampliación de Topaz Photo AI (con un peso de archivo casi idéntico al original) seguida por la de Luminar y con Gigapixel un tanto por debajo, pero ese orden no es tan evidente al comparar los fragmentos porque, aunque es cierto que la de Photo AI es la que más se asemeja al original -dibujo del tejido de la camisa, textura de la lana- la de Luminar no solo parece reinventar el primero sino "lavar" los detalles de la segunda y de la propia piel:



Lo anterior es más evidente en un fragmento de la cara, donde las ampliaciones de Photo AI y Gigapixel, en ese orden, son las más semejantes al original (aun con mayor "grano" en Gigapixel y algo de detalle inventado en Photo AI, como ya se vio en las pruebas iniciales), mientras que la de Luminar, a pesar de tener desactivado el "Mejorador de cara", suaviza toda la piel que se muestra en la foto.



Así pues, aunque en general para cada imagen parece haber concordancia entre las distintas métricas y también entre estas y la comparación visual, también es verdad que el "grado de acierto" varía de unas imágenes a otras, tal vez porque las métricas empleadas no sean las más adecuadas para un determinado tipo de imagen o porque el código C subyacente a la implementación no sea 100% fidedigno. Con todo, lo que tal vez resulta más extraño es que una métrica como SSIM, diseñada precisamente para cuantificar la "calidad percibida" de una imagen respecto de otra tomada como referencia, parezca desbarrar en algún caso como en el Mondriaan o en la foto de Dorothea Lange.