NVIDIA introduce DLSS 2.0

Si bien la Conferencia anual de tecnología GPU de NVIDIA se ha retrasado ampliamente y la mayoría de los anuncios de NVIDIA se han pospuesto para otro día, resulta que la compañía todavía tiene un anuncio bajo la manga esta semana. Y un anuncio relacionado con los juegos, nada menos. Esta mañana, NVIDIA finalmente está eliminando su tecnología DLSS 2.0, que la compañía está enviando como una actualización importante de su tecnología anterior de mejora de inteligencia artificial.

Respondiendo tanto a la presión competitiva como a la realización de sus propias limitaciones tecnológicas, la última versión de la tecnología de escalamiento de NVIDIA es una revisión bastante significativa de la técnica. Si bien NVIDIA todavía está haciendo una mejora de la IA en un nivel básico, DLSS 2.0 ya no es una mejora pura; NVIDIA ahora lo está combinando esencialmente con anti-aliasing temporal. Los resultados, promete NVIDIA, son una mejor calidad de imagen que DLSS 1.0, así como una integración más rápida dentro de los juegos individuales al eliminar la capacitación por juego.

Como un repaso rápido, Deep Learning Super Sampling (DLSS) se lanzó originalmente alrededor del lanzamiento de la generación Turing (GeForce RTX 20 series) en el otoño de 2018. DLSS fue el primer gran esfuerzo de NVIDIA para utilizar su experiencia de rápido crecimiento en programación de IA y Hardware de IA para aplicar la tecnología a la calidad de imagen en videojuegos. Con todas sus tarjetas GeForce RTX enviadas con núcleos tensoriales, ¿qué mejor manera de usarlas que usarlas para mejorar la calidad de imagen en los juegos de una manera semi-abstraída? Tal vez fue un caso de un martillo en busca de un clavo, pero la idea fundamental era razonable, especialmente porque los monitores 4K se vuelven más baratos y la GeForce 2080 Tis no.

Desafortunadamente, DLSS 1.0 nunca estuvo a la altura de su promesa. NVIDIA adoptó un enfoque del proceso muy centrado en la imagen, basándose en un extenso programa de entrenamiento que involucraba crear una red neuronal diferente para cada juego en cada resolución, entrenando a las redes sobre cómo debería ser un juego al alimentarlos con una resolución ultra alta, 64x imágenes suavizadas. En teoría, las redes resultantes deberían haber sido capaces de reconocer cómo debería funcionar un mundo más detallado y, en consecuencia, producir imágenes más claras y nítidas.

A veces esto funcionó bien. Más a menudo los resultados fueron mixtos. NVIDIA lanzó principalmente la tecnología como una forma de reducir los costos de renderizado de resoluciones más altas, es decir, renderizar un juego con una resolución más baja y luego escalar, con el objetivo de hacer coincidir la resolución nativa de un juego con el suavizado temporal. Los resultados finales a veces alcanzarían o superarían este objetivo, y en otras ocasiones una imagen aún sería suave y carecería de detalles, revelando sus orígenes de menor resolución. Y todo el tiempo llevó mucho trabajo agregar DLSS a un juego: cada juego y cada resolución admitida requerían capacitación y otra red neuronal. Mientras tanto, un filtro simple de aumento de escala + nitidez (AMD FidelityFX, luego emulado por NVIDIA) podría ofrecer un aumento no insignificante en la calidad de imagen percibida con solo una fracción del trabajo y el uso de GPU.

Ingresa DLSS 2.0

Si bien DLSS 1.0 era puro, en retrospectiva, tal vez fue un poco ingenuo. Como NVIDIA dice claramente ahora, DLSS 1.0 fue difícil de trabajar porque dependía de la idea de que los videojuegos son deterministas: que todo se comportaría de una manera predefinida y predecible. En realidad, los juegos no son deterministas, e incluso si los personajes de IA hacen lo mismo cada vez, los efectos de segundo orden, como las partículas y similares, pueden desaparecer haciendo lo suyo. Como resultado, fue difícil entrenar redes DLSS 1.0, que necesitaban este determinismo para mejorar, y mucho menos aplicarlas a los juegos.

• Calidad de imagen superior – El DLSS 2.0 ofrece una calidad de imagen comparable a la resolución nativa mientras renderiza solo un cuarto o la mitad de los píxeles. Emplea nuevas técnicas de feedback temporal para hacer más nítidos los detalles de la imagen y mejorar la estabilidad frame a frame.

• Gran escalado en todas las GPUs RTX y resoluciones – Una nueva red de Inteligencia Artificial usa de manera más eficiente los Tensor Core para ejecutarlo dos veces más rápido que la versión original. Esto mejora la tasa de frames y elimina las limitaciones previas en qué GPUs, ajustes y resoluciones se pueden activar.

• Una red para todos los juegos – El DLSS original requería entrenar una red de Inteligencia Artificial para cada juego nuevo. El DLSS 2.0 se entrena usando contenido no específico del juego, siendo así una red que funciona en todo tipo de títulos. Esto significa que la integración en los juegos es más rápido y, por extensión, más juegos con DLSS.

• Opciones personalizables – El DLSS 2.0 ofrece al usuario 3 modos de calidad de imagen – Calidad, Equilibrado y Rendimiento- que controlan la resolución de renderizado interna del juego. En modo

• Rendimiento se puede hacer un 4X de super resolución (de 1080p @ 4K, por ejemplo). Esto significa más elecciones para el usuario y también mejoras más grandes de rendimiento.

Entonces, para su segunda puñalada en la mejora de la inteligencia artificial, NVIDIA está tomando un rumbo diferente. En lugar de depender de redes neuronales individuales por juego, NVIDIA ha creado una única red neuronal genérica que están optimizando al máximo. Y para compensar la falta de información que proviene de las redes por juego, la compañía lo compensa integrando la información del vector de movimiento en tiempo real del juego en sí, un aspecto fundamental del anti-aliasing temporal (TAA) y similares. técnicas El resultado neto es que DLSS 2.0 se comporta mucho más como una solución de escalamiento temporal, lo que lo hace más tonto en algunos aspectos, pero también más inteligente en otros.

El cambio más grande aquí es, por supuesto, la nueva red neuronal genérica. Buscando eliminar el costoso entrenamiento por juego y los muchos (muchos) problemas que los juegos no deterministas presentaron en el entrenamiento, NVIDIA se ha movido a una única red genérica para todos los juegos. Esta nueva red neuronal se basa en un conjunto de entrenamiento totalmente sintético en lugar de juegos individuales, lo que a su vez es completamente determinista, lo que permite a NVIDIA entrenar extensamente la nueva red exactamente de la manera que necesitan para que se repita y mejore durante generaciones. Según NVIDIA, esta nueva red también es más rápida de ejecutar en la GPU, lo que reduce la sobrecarga de usar DLSS para empezar.

Además de eliminar los tiempos de entrenamiento por juego y molestar a los desarrolladores sobre el determinismo, el otro resultado para NVIDIA es que la red genérica les brinda más opciones de escalado de resolución. NVIDIA ahora puede escalar cuadros de hasta 4x en resolución, desde entrada de 1080p a 4K, lo que permite utilizar DLSS 2.0 con un rango más amplio de resoluciones de entrada / salida, y permite un uso más fuerte, a falta de un término mejor . DLSS 1.0, por el contrario, generalmente apuntaba a un nivel máximo de 2x.

Esta nueva flexibilidad también significa que NVIDIA ahora ofrece múltiples modos de calidad DLSS, compensando la resolución de renderización interna (y, por lo tanto, la calidad de imagen) para un mayor rendimiento. Esos modos son rendimiento, equilibrio y calidad.

De lo contrario, el proceso real de capacitación en red no ha cambiado por completo. NVIDIA todavía está entrenando contra imágenes de 16K, con el objetivo de enseñar a la red neuronal tanto como sea posible sobre la calidad. Y esto todavía se está ejecutando como redes neuronales a través de los núcleos tensoriales, aunque tengo curiosidad por ver si DLSS 2.0 tiene tanto trabajo para los núcleos tensoriales como 1.0 antes.

El problema con DLSS 2.0, sin embargo, es que esto todavía requiere la integración del desarrollador del juego, y de una manera muy diferente. Debido a que DLSS 2.0 se basa en vectores de movimiento para volver a proyectar el fotograma anterior y calcular mejor la apariencia de la imagen de salida, los desarrolladores ahora deben proporcionar esos vectores a DLSS. Como muchos desarrolladores ya están haciendo algún tipo de AA temporal en sus juegos, esta información a menudo está disponible dentro del motor, y simplemente necesita exponerse a DLSS. Sin embargo, significa que DLSS 2.0 aún debe integrarse por juego, incluso si el entrenamiento por juego se ha ido. No es una solución pura de postprocesamiento de fin de cadena como FXAA o que combina la nitidez de la imagen con la ampliación de escala.

Más allá de eso, debe tenerse en cuenta que NVIDIA todavía está definiendo resoluciones DLSS de la misma manera que antes; es decir, están hablando de la resolución de salida en lugar de la resolución de entrada. Por lo tanto, el modo de calidad 1080p, por ejemplo, generalmente significaría que la resolución de renderización interna es la mitad de la resolución de salida, o 1280×720 que se escala a 1920×1080. Y me dijeron que el modo de rendimiento sería un 4x exclusivo.

Mientras tanto, no hace falta decir que el tema de la mejora y la mejora de la imagen ha sido un tema candente desde la introducción de DLSS, así como los esfuerzos más recientes de AMD para contrarrestarlo con Radeon Image Sharpening. Por lo tanto, NVIDIA está comenzando a funcionar, por así decirlo, en la promoción de DLSS 2.0.

De hecho, “promoción” es quizás la palabra clave para hoy. Si bien NVIDIA finalmente finalmente anuncia DLSS 2.0 hoy y describe cómo funciona, la compañía ya lo ha estado enviando a los desarrolladores de juegos por un tiempo. Tanto Deliver Us the Moon como Wolfenstein: Youngblood ya se envían con DLSS 2.0. Y ahora que NVIDIA está contento con el estado de la tecnología ahora probada en el campo, están avanzando para implementarla en los jugadores y desarrolladores de juegos en general, incluida la integración en Unreal Engine 4.

Junto con los juegos antes mencionados, tanto Control como MechWarrior 5 están recibiendo actualizaciones de DLSS 2.0. El control en particular será un caso interesante, ya que es el único juego en este conjunto que también tenía una implementación DLSS 1.x, lo que significa que puede usarse como un control para juzgar las diferencias de calidad de imagen. Incluso NVIDIA está yendo tan lejos para demostrar algunas de las mejoras de calidad.

En cuanto al rendimiento, NVIDIA generalmente promete cifras de rendimiento similares a DLSS 1.0. Esto significa que el modo de calidad comparable puede ser un poco más lento que el DLSS 1.0 en juegos como Control, pero en general, ese modo de calidad y su resolución de representación de la mitad deberían ofrecer ganancias de velocidad significativas sobre los juegos de resolución nativos. Mientras tanto, la calidad de imagen resultante debería ser mejor de lo que DLSS 1.0 podría ofrecer. NVIDIA incluso está promocionando DLSS 2.0 como una mejor calidad de imagen que los juegos de resolución nativos, aunque dejando de lado por el momento la naturaleza subjetiva de la calidad de imagen, puede que no sea una comparación de manzana a manzana dependiendo de los desarrolladores de efectos de post-procesamiento. usando (por ejemplo, reemplazando un filtro TAA muy borroso con DLSS 2.0).

En cualquier caso, DLSS 2.0 ahora está oficialmente disponible hoy. Las actualizaciones para Control y MechWarrior 5 se enviarán esta semana, y si NVIDIA se sale con la suya, pronto seguirán más juegos.

2 respuestas a «NVIDIA introduce DLSS 2.0»

  1. el 1er dlss cuando lo usas solo si c ve mas borroso pero si lo usas al mismo tiempo q el image sharpenig q si q ahora nvidia tambien lo tiene se ve casi igual q a resolusion nativa tienes q ponerte con lupa para notar diferencia y eso es inventando uno como usuario asi q si nvidia se pone pa eso puede mejorar esta tecnologia bastante

    1. Eso depende del juego, y se que es lo que se mira

      Si ahora lo hacen generalista, sin clavarse por juego, es mejor para los desarrolladores
      y si controlan comoel dicen el aspecto temporal, el caso de objetos y regiones en movimiento quedará mejor

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *