Cosa significa davvero "AI" in un upscaler AI?

Ormai la scritta "AI" compare su così tanti prodotti che è giusto chiedersi cosa significhi su un upscaler di immagini. Qui significa una cosa precisa: lo strumento contiene un modello, un grande insieme di numeri prodotto dall'addestramento, che ha imparato com'è di solito il dettaglio fine e usa questa conoscenza per riempire pixel che un normale ridimensionamento può solo sfocare. È una differenza reale, che si vede e si misura. Ha anche un rovescio della medaglia che conviene capire prima di fidarsi del risultato. Questo articolo spiega entrambe le cose in parole semplici.

La versione breve

Un normale ridimensionamento tratta la foto come una griglia di numeri e la leviga tra un numero e l'altro. Un upscaler AI riconosce degli schemi in quei numeri (un bordo, una ciocca di capelli, la curva di una lettera) e disegna come appaiono di solito quegli schemi a una risoluzione più alta. Il primo può solo rendere un'immagine più grande. Il secondo può renderla più grande e più nitida, perché porta con sé una conoscenza che viene da fuori della tua foto.

Un paragone

Immagina di chiedere a due persone di ridisegnare un'immagine piccola e sfocata a quattro volte la sua dimensione. La prima è molto precisa ma non ha mai visto una fotografia: ingrandisce ogni macchia di colore così com'è e ammorbidisce i passaggi. Il risultato è grande, fedele e morbido. La seconda ha guardato milioni di foto. Quando vede una linea scura, sottile e un po' sfocata vicino a un occhio, sa che quasi certamente è un ciglio, e disegna un ciglio nitido. Quando vede una sfumatura morbida tra due colori sul bordo di un oggetto, disegna un confine netto.

La versione della seconda persona è molto più bella. Ma è anche in parte una sua interpretazione: dove la sfocatura era troppo forte per capire cosa ci fosse, ha disegnato quello che di solito c'è. Questo è, in poche parole, un upscaler AI, rovescio della medaglia compreso.

Cosa ha imparato davvero il modello

Il modello di un upscaler AI viene addestrato mostrandogli coppie di immagini: una foto nitida ad alta risoluzione e una copia ridotta e degradata della stessa foto. Il suo compito è trasformare di nuovo la copia piccola nell'originale. All'inizio i tentativi sono scarsi. Dopo ogni tentativo, i suoi numeri interni vengono regolati leggermente per fare meglio. Ripeti tutto questo milioni di volte con un'enorme varietà di foto, e i numeri finiscono per contenere una sorta di esperienza visiva: come proseguono i bordi, come sono le texture da vicino, come si risolve di solito un gradino sfocato tra due colori.

Il punto fondamentale è che il modello non conserva le foto di addestramento e non va a cercare niente. Ha imparato schemi generali, come tu sai com'è fatto un gatto senza aver memorizzato gatti specifici. Quando gli dai la tua foto, applica a lei quegli schemi.

Il modello del nostro upscaler di immagini è ESRGAN-slim, una versione compatta di un noto modello di ricerca, abbastanza piccolo da essere scaricato in un browser e da girare sulla scheda grafica del tuo computer. Il nostro articolo su come funziona l'ingrandimento delle immagini con IA entra nella parte tecnica: addestramento, tasselli e perché la versione per browser ha queste dimensioni.

Perché un filtro non può fare lo stesso

A volte si pensa che un upscaler AI sia solo un ridimensionamento seguito da una forte nitidezza. L'idea si può verificare, e non regge. La nitidezza aumenta il contrasto lungo i bordi che ci sono già; non può disegnare un bordo che non c'è, e su un ingrandimento sfocato produce aloni duri invece di dettaglio.

Abbiamo confrontato direttamente le due cose. Abbiamo ridotto un ritratto a 480 × 480 pixel e l'abbiamo ingrandito a 4x con il ridimensionamento di alta qualità del browser stesso e con il nostro modello AI, poi abbiamo misurato il dettaglio dei contorni sul volto. Il ridimensionamento ha ottenuto 3,0; la versione AI 34,7, circa undici volte di più. Più eloquente del numero: la versione AI aveva ciglia separate e bordi puliti sui denti, cose che nessun filtro di nitidezza può tirare fuori da una sfocatura morbida.

PrimaDopo

Il rovescio: dove l'IA sta indovinando

Poiché il modello disegna ciò che di solito c'è, a volte disegnerà qualcosa che non c'è. Nel nostro test sul ritratto, occhi e capelli sono venuti convincenti, ma la pelle era più liscia che in una vera foto ad alta risoluzione. La texture fine e casuale, come i pori, è stata sostituita da qualcosa di plausibile ma più semplice. È normale, e in una foto di famiglia spesso è gradito.

Conta di più in altre situazioni:

• Volti molto piccoli. Un volto largo 20 pixel non contiene abbastanza informazione per stabilire com'è la persona. Il modello produrrà un volto, non necessariamente il suo.
• Testi e numeri troppo piccoli per essere letti nell'originale. Il modello può produrre caratteri nitidi che sono i caratteri sbagliati.
• Prove di qualsiasi tipo. Un'immagine ingrandita è una ricostruzione plausibile, non una registrazione. Non usarla per leggere una targa, identificare qualcuno o dimostrare un dettaglio.

Una regola utile: ingrandisci l'originale al 100%. Se lì riesci a distinguere il dettaglio che ti interessa, anche a grandi linee, l'upscaler lo renderà bene. Se no, tutto quello che aggiunge è invenzione.

Come capire se uno strumento usa davvero l'IA

Siccome "AI" vende, alcuni strumenti usano la parola per un normale ridimensionamento con nitidezza. Tre modi per verificarlo:

1. Confronta con un ridimensionamento normale. Ingrandisci la stessa foto in un qualsiasi programma di grafica e nello strumento, poi confronta al 100%. Un vero modello di super-risoluzione produce bordi e texture visibilmente più nitidi, non solo più contrasto.
2. Guarda la velocità. Una rete neurale impiega qualche secondo per immagine su una scheda grafica, e la prima volta di solito comporta il download di un modello. Un risultato istantaneo su una foto grande di solito è un ridimensionamento classico.
3. Leggi cosa dice lo strumento di sé. Il nostro ti dice dopo ogni lavoro quale motore ha funzionato: il modello AI o il motore classico. Diciamo chiaramente che su smartphone e tablet si usa sempre il motore classico, perché i browser mobili non danno alle pagine web abbastanza memoria grafica per il modello. Su computer fisso o portatile, le foto fino a circa 10 megapixel passano dall'IA.

Cosa non significa "AI"

Non significa cloud. Molti strumenti AI caricano la tua foto su un server, ma il modello può funzionare altrettanto bene sul tuo dispositivo. Il nostro funziona nel tuo browser; la foto non viene mai caricata.

Non significa che lo strumento impari dalle tue foto. Il modello è stato addestrato prima di arrivare a te e non cambia quando lo usi. Le tue foto non vengono usate per addestrare niente e, nel nostro caso, non lasciano mai il tuo computer.

Non significa che capisca la tua foto. Il modello non ha idea che la persona nell'immagine sia tuo nonno, né di cosa dica l'etichetta di un prodotto. Riconosce schemi visivi e nient'altro.

Non significa che possa sistemare tutto. Il mosso, la messa a fuoco sbagliata e la compressione pesante eliminano informazione. Il modello può rendere queste foto più grandi e un po' più pulite, ma non può recuperare ciò che non è mai stato registrato.

Perché alcune foto vengono meglio di altre

La conoscenza del modello è disomogenea, perché riflette ciò che ha visto durante l'addestramento. Ciò che compare di continuo nelle foto (volti, capelli, pelle, tessuti, fogliame, cielo, bordi degli oggetti di tutti i giorni, testo stampato) è dove rende meglio, perché ne ha visti innumerevoli esempi da vicino. I contenuti insoliti ricevono meno aiuto: disegni tecnici, motivi strani, scrittura a mano, texture molto particolari. Con questi, il modello ripiega su un comportamento generico di definizione dei bordi, e il guadagno rispetto a un normale ridimensionamento è minore.

Conta anche il tipo di danno. Il modello è stato addestrato a correggere la morbidezza che nasce quando si riduce un'immagine, e i modelli addestrati su danni più realistici se la cavano anche con un po' di rumore e di compressione. Non è stato addestrato a correggere il movimento della fotocamera o un obiettivo messo a fuoco sulla cosa sbagliata, quindi quei risultati deludono, qualunque sia lo strumento.

È anche per questo che due upscaler possono piazzarsi in modo diverso su foto diverse. Uno può gestire meglio i volti, un altro il testo o i paesaggi. Se ingrandisci spesso un certo tipo di immagine, conviene provare un paio di strumenti su qualche tuo esempio invece di fidarsi di una classifica generale. Il test più equo è ridurre una tua foto nitida a un quarto della sua dimensione e vedere quale strumento si avvicina di più all'originale quando la ingrandisce di nuovo.

In breve: l'"AI" è reale e misurabile, ed è conoscenza sulle foto in generale applicata alla tua. Considera il suo risultato una stima eccellente, non una registrazione.

Sfruttare al massimo la parte AI

• Dagli un originale pulito. Il modello tratta i blocchi di compressione come dettaglio e può ingrandirli. L'originale della fotocamera batte sempre la copia di un'app di chat.
• Usa il fattore più piccolo che raggiunge il tuo obiettivo. Ogni raddoppio in più è più invenzione.
• All'inizio lascia la nitidezza spenta. Il modello ricostruisce già i bordi; altra nitidezza aggiunge aloni.
• Controlla al 100% ciò che conta: volti, testi, dettagli del prodotto.

E se stai decidendo tra ingrandire una foto e migliorarne l'aspetto, il nostro articolo su upscaler di foto e miglioratori di immagini spiega quale problema risolve ciascuno. Per la parte pratica su formati di stampa e numero di pixel, vedi la guida per aumentare la risoluzione di un'immagine.

Domande frequenti

Un upscaler AI carica le mie foto o impara da esse?

Il nostro no. Il modello è stato addestrato prima di arrivare a te, gira nel tuo browser e non cambia quando lo usi; le tue foto non vengono mai caricate né usate per l'addestramento.

Come capisco se uno strumento usa davvero l'IA?

Confrontalo con un ridimensionamento normale al 100%, guarda la velocità (un vero modello richiede secondi per immagine e di solito va prima scaricato) e leggi cosa segnala lo strumento. Il nostro dice dopo ogni lavoro se ha funzionato l'IA o il motore classico.

L'IA può rendere leggibile un volto o una targa minuscola?

No. Se nell'originale al 100% non distingui il dettaglio, ciò che aggiunge il modello è un'ipotesi e non va preso per buono.