Nvidia
INTRODUZIONE
Il Frame Generation ha l’obiettivo di aumentare la fluidità e la frequenza dei frame percepita, creando frame fittizi da aggiungere a quelli reali generati dalla GPU, incrementando così il conteggio dei frame finale. La versione sviluppata da NVIDIA, si integra nel pacchetto “DLSS” accanto alla già collaudata Super Resolution, ampliando l’utilizzo del framework DLSS, che ora conta ben due tecnologie principali specializzate nell’elaborazione delle immagini tramite reti neurali, AI e algoritmi dedicati su hardware proprietario. Questa combinazione fornisce una base solida a NVIDIA, che dopo aver sfruttato il DLSS Super Resolution, ed aver introdotto ora il Frame Generation, prospetta per le sue GPU un futuro fatto di tecnologie interessanti e hardware dedicati.
FUNZIONAMENTO
ANALISI DEL BUFFER
Tramite algoritmi avanzati ed AI, la GPU tenta di comprendere la scena, come cambia dinamicamente e quali sono i frames che verranno a breve mostrati. Nel dettaglio, la GPU analizza il buffer e campiona alcuni frame analizzando quelli precedenti e successivi (a quelli presi in esame), per stabilire se sono adatti alla manipolazione e ad una successiva duplicazione,
tenendo presente che scene più concitate potrebbero essere più complesse da analizzare, rispetto a scene statiche.
Per questo lavoro, la GPU si affida a diversi sistemi che si basano proprio sulle tecnologie DLSS, come ad esempio, il sistema OFA: Optical Flow Accelerator ed il sistema LSS: Learning Super Sampling.
RENDERING A BASSA RISOLUZIONE
Per quanto non stiamo trattando strettamente algoritmi di up-scaling, anche per eseguire l’analisi delle immagini, nvidia si affida ad un sistema di rendering a bassa risoluzione. Questo consente di diminuire il carico di lavoro sulla scheda video, ma garantisce comunque la possibilità di elaborare i dati e di passarli ai successivi steps, senza perdere troppa informazione.
ACQUISIZIONE CONTESTO E INFORMAZIONI
Trovati i frame necessari, è fondamentale includere informazioni sull’immagine utili all’elaborazione. È in questo step che nvidia inizia ad aggiungere, al singolo frame, nozioni fondamentali come lo studio della profondità di campo e l’analisi dei vettori di movimento.
OPTICAL FLOW ACCELERATOR
Per l’analisi dei vettori di movimento, NVIDIA utilizza una combinazione di tecnologie hardware e software specifiche, oltre al classico sistema tradizionale di analisi. Questa analisi consente di predire come i singoli frame si muoveranno nello spazio. La GPU, attraverso metodi tradizionali e l’Optical Flow Accelerator (OFA), genera una mappa dei movimenti dei pixel.
Ogni pixel viene considerato come un punto che può spostarsi in diverse direzioni. L’OFA analizza il flusso d’intensità luminosa tra frame consecutivi, per determinare la direzione e la velocità del movimento permettendo così, di comprendere meglio come avvengono le transizioni tra i frame, e di creare una mappa dettagliata dei vettori di movimento essenziale per
migliorare la predizione del movimento dell’immagine.
RETE NEURALE
Terminata questa prima raccolta dei dati, i così chiamati RAW-DATA (dati grezzi), questi vengono passati alla rete neurale del pacchetto DLSS, che si occuperà di gestire l’immagine sotto diversi aspetti. Addestrata su migliaia di immagini ad alta risoluzione, La Rete Neurale insieme ai corrispettivi frame a bassa risoluzione scelti, lavorano per predire come potrebbe essere generato un FRAME FITTIZZIO, creando l’immagine partendo dalle informazioni condivise e aggiungendo un proprio tocco finale all’opera, iniziando un lavoro di pulizia della stessa e contestualizzando il frame stesso (come la ricostruzione di bordi, e la pulizia da artefatti o pixel bruciati a causa del rendering a bassa risoluzione, pulizia dal tearing e da un eventuale
allargamento dell’immagine verso zone non richieste ect…).
OUTPUT FINALE
L’immagine viene renderizzata a risoluzione nativa, ma essendo il frame “fittizio”, questo si aggiunge ai frame reali generati dalla GPU, aumentando direttamente il numero di frame a video.
L’algoritmo, sempre in esecuzione, si evolve e si adatta in base all’analisi effettuata sia sul buffer, sia dalla rete neurale, migliorando di volta in volta qualità e prestazioni, oltre a predire in modo piú corretta la scelta dei frame per la manipolazione.
CONCLUSIONI
Per concludere, nvidia utilizza la propria architettura per raggiungere l’obbiettivo, e si affida a diversi componenti hardware durante il percorso di produzione dei frames. Le principali tecnologie presentate includono ad esempio Reti Neurali Convoluzionali, Tensor Core e Vettori di Movimento (tradizionali ed OFA) combinati con Buffer di Profonditá di Campo e ulteriori algoritmi di pulizia finale.
