O que significa de verdade a "IA" num upscaler com IA?

Hoje o rótulo "IA" está em tanto produto que é natural perguntar o que ele significa num upscaler de imagem. Aqui ele quer dizer algo específico: a ferramenta tem um modelo, um grande conjunto de números gerado por treinamento, que aprendeu como o detalhe fino costuma ser e usa esse conhecimento para preencher pixels que um redimensionamento comum só consegue borrar. É uma diferença real, que dá para ver e medir. Ela também tem uma pegadinha que vale entender antes de confiar no resultado. Este texto explica as duas coisas de um jeito simples.

A versão curta

Um redimensionamento comum trata a foto como uma grade de números e suaviza entre eles. Um upscaler com IA reconhece padrões nesses números (uma borda, uma mecha de cabelo, a curva de uma letra) e desenha como esses padrões costumam ser em resolução maior. O primeiro só consegue deixar a imagem maior. O segundo consegue deixar maior e mais nítida, porque traz um conhecimento que vem de fora da sua foto.

Uma comparação

Imagine pedir a duas pessoas que redesenhem uma imagem pequena e borrada com quatro vezes o tamanho. A primeira é muito caprichosa, mas nunca viu uma fotografia: ela aumenta cada mancha de cor exatamente como é e suaviza as transições. O resultado é grande, fiel e mole. A segunda já olhou milhões de fotos. Quando vê uma linha escura, fina e meio borrada perto de um olho, sabe que quase com certeza é um cílio, e desenha um cílio nítido. Quando vê um degradê suave entre duas cores na borda de um objeto, desenha um limite limpo.

A versão da segunda pessoa fica muito melhor. Mas ela também é, em parte, uma interpretação: onde o borrão era forte demais para saber o que havia ali, ela desenhou o que costuma haver. Esse é o upscaler com IA em resumo, pegadinha incluída.

O que o modelo realmente aprendeu

O modelo de um upscaler com IA é treinado vendo pares de imagens: uma foto nítida em alta resolução e uma cópia reduzida e degradada da mesma foto. A tarefa dele é transformar a cópia pequena de volta no original. No começo, ele vai mal. Depois de cada tentativa, os números internos são ajustados um pouco para ele acertar mais. Repita isso milhões de vezes com uma variedade enorme de fotos, e os números acabam guardando uma espécie de experiência visual: como as bordas continuam, como as texturas são de perto, como um degrau borrado entre cores costuma se resolver.

O ponto principal é que o modelo não guarda as fotos do treinamento nem consulta nada. Ele aprendeu padrões gerais, do mesmo jeito que você sabe como é um gato sem ter decorado gatos específicos. Quando você entrega a sua foto, ele aplica esses padrões nela.

O modelo do nosso upscaler de imagem é o ESRGAN-slim, uma versão compacta de um modelo de pesquisa bem conhecido, pequeno o bastante para ser baixado num navegador e rodar na placa de vídeo do seu computador. Nosso artigo sobre como funciona a ampliação de imagens com IA entra na parte técnica: treinamento, blocos e por que a versão para navegador tem o tamanho que tem.

Por que um filtro não faz a mesma coisa

Às vezes as pessoas acham que um upscaler com IA é só um redimensionamento seguido de muita nitidez. Dá para testar essa ideia, e ela não se sustenta. A nitidez aumenta o contraste nas bordas que já existem; ela não consegue desenhar uma borda que não está lá, e numa ampliação borrada produz halos ásperos em vez de detalhe.

Comparamos as duas coisas diretamente. Reduzimos um retrato para 480 × 480 pixels e ampliamos em 4x com o redimensionamento de alta qualidade do próprio navegador e com o nosso modelo de IA, depois medimos o detalhe das bordas no rosto. O redimensionamento marcou 3,0; a versão com IA, 34,7, cerca de onze vezes mais. Mais revelador que o número: a versão com IA tinha cílios separados e bordas limpas nos dentes, coisas que nenhum filtro de nitidez tira de um borrão suave.

AntesDepois

A pegadinha: onde a IA está chutando

Como o modelo desenha o que costuma haver, às vezes ele vai desenhar algo que não há. No nosso teste com o retrato, olhos e cabelo saíram convincentes, mas a pele ficou mais lisa do que numa foto real de alta resolução. A textura fina e aleatória, como os poros, foi trocada por algo plausível, porém mais simples. É o normal, e numa foto de família muitas vezes é bem-vindo.

Isso pesa mais em outras situações:

• Rostos muito pequenos. Um rosto com 20 pixels de largura não tem informação suficiente para saber como a pessoa é. O modelo vai gerar um rosto, não necessariamente o dela.
• Textos e números pequenos demais para ler no original. O modelo pode gerar caracteres nítidos que são os caracteres errados.
• Provas de qualquer tipo. Uma imagem ampliada é uma reconstrução plausível, não um registro. Não use para ler uma placa de carro, identificar alguém ou provar um detalhe.

Uma regra útil: dê zoom de 100% no original. Se você consegue distinguir ali o detalhe que importa, mesmo que mais ou menos, o upscaler vai reproduzi-lo bem. Se não consegue, tudo o que ele acrescentar é invenção.

Como saber se uma ferramenta usa IA de verdade

Como "IA" vende, algumas ferramentas usam a palavra para um redimensionamento comum com nitidez. Três jeitos de conferir:

1. Compare com um redimensionamento comum. Amplie a mesma foto em qualquer editor de imagem e na ferramenta, e compare em 100%. Um modelo de super-resolução de verdade gera bordas e texturas visivelmente mais nítidas, não só mais contraste.
2. Repare na velocidade. Uma rede neural leva alguns segundos por imagem numa placa de vídeo, e a primeira vez costuma envolver baixar um modelo. Um resultado instantâneo numa foto grande geralmente é um redimensionamento clássico.
3. Leia o que a ferramenta diz sobre si mesma. A nossa avisa depois de cada trabalho qual motor rodou: o modelo de IA ou o motor clássico. Dizemos com clareza que em celulares e tablets sempre roda o motor clássico, porque os navegadores móveis não dão às páginas memória gráfica suficiente para o modelo. Num desktop ou notebook, fotos de até uns 10 megapixels passam pela IA.

O que "IA" não significa

Não significa nuvem. Muitas ferramentas com IA enviam sua foto para um servidor, mas o modelo pode rodar muito bem no seu próprio aparelho. O nosso roda no seu navegador; a foto nunca é enviada.

Não significa que a ferramenta aprende com as suas fotos. O modelo foi treinado antes de chegar até você e não muda quando você usa. Suas fotos não são usadas para treinar nada e, no nosso caso, nunca saem do seu computador.

Não significa que ela entende a sua foto. O modelo não faz ideia de que a pessoa na imagem é o seu avô, nem do que diz a etiqueta de um produto. Ele reconhece padrões visuais e mais nada.

Não significa que ela conserta tudo. Foto tremida, foco errado e compressão pesada eliminam informação. O modelo pode deixar essas fotos maiores e um pouco mais limpas, mas não recupera o que nunca foi registrado.

Por que algumas fotos saem melhores que outras

O conhecimento do modelo é desigual, porque reflete o que ele viu no treinamento. O que aparece o tempo todo em fotos (rostos, cabelo, pele, tecido, folhagem, céu, bordas de objetos do dia a dia, texto impresso) é onde ele se sai melhor, porque viu incontáveis exemplos de como essas coisas são de perto. Conteúdos incomuns recebem menos ajuda: desenhos técnicos, padrões diferentes, letra à mão, texturas muito específicas. Nesses casos, o modelo recorre a um comportamento geral de definir bordas, e o ganho em relação a um redimensionamento comum é menor.

O tipo de dano também importa. O modelo foi treinado para desfazer a moleza que aparece quando uma imagem é reduzida, e modelos treinados com danos mais realistas também lidam com um pouco de ruído e compressão. Ele não foi treinado para desfazer foto tremida nem uma lente focada na coisa errada, então esses resultados decepcionam, seja qual for a ferramenta.

É por isso também que dois upscalers podem se sair de forma diferente em fotos diferentes. Um pode lidar melhor com rostos, outro com texto ou paisagens. Se você costuma ampliar um tipo específico de imagem, vale testar duas ou três ferramentas com alguns exemplos seus em vez de confiar num ranking geral. O teste mais justo é reduzir uma foto nítida sua para um quarto do tamanho e ver qual ferramenta chega mais perto do original ao ampliá-la de volta.

Resumindo: a "IA" é real e mensurável, e é conhecimento sobre fotos em geral aplicado à sua. Trate o resultado como uma estimativa excelente, não como um registro.

Tirando o máximo da parte de IA

• Dê a ela um original limpo. O modelo trata blocos de compressão como detalhe e pode ampliá-los. O original da câmera sempre ganha da cópia de um app de conversa.
• Use o menor fator que chega ao seu objetivo. Cada dobra a mais é mais invenção.
• Deixe a nitidez desligada no começo. O modelo já reconstrói as bordas; nitidez extra cria halos.
• Confira em 100% o que importa: rostos, textos, detalhes do produto.

E se você está decidindo entre ampliar uma foto e melhorar a aparência dela, nosso artigo sobre upscalers de foto e melhoradores de imagem explica qual problema cada um resolve. Para a parte prática de tamanhos de impressão e quantidade de pixels, veja o guia para aumentar a resolução de uma imagem.

Perguntas frequentes

Um upscaler com IA envia minhas fotos ou aprende com elas?

O nosso não. O modelo foi treinado antes de chegar até você, roda no seu navegador e não muda quando você usa; suas fotos nunca são enviadas nem usadas para treinamento.

Como saber se uma ferramenta usa IA de verdade?

Compare com um redimensionamento comum em 100%, repare na velocidade (um modelo de verdade leva segundos por imagem e costuma ser baixado antes) e veja o que a ferramenta informa. A nossa diz depois de cada trabalho se rodou a IA ou o motor clássico.

A IA consegue deixar legível um rosto ou uma placa minúscula?

Não. Se você não distingue o detalhe no original em 100%, o que o modelo acrescentar é um palpite e não deve ser levado como verdade.