AI 업스케일러의 'AI'는 정확히 무슨 뜻일까?

요즘은 너무 많은 제품에 'AI'가 붙어 있어서, 이미지 업스케일러의 AI가 무슨 뜻인지 궁금해지는 게 당연합니다. 여기서는 구체적인 뜻이 있습니다. 도구 안에 학습으로 만들어진 거대한 숫자 묶음인 '모델'이 들어 있고, 이 모델은 미세한 디테일이 보통 어떻게 생겼는지 배웠으며, 그 지식으로 일반 크기 조절이 흐리게만 만드는 픽셀을 채웁니다. 눈으로 보고 숫자로 잴 수 있는 진짜 차이입니다. 그만큼 결과를 믿기 전에 알아 둘 함정도 있습니다. 이 글은 둘 다 쉬운 말로 설명합니다.

짧게 말하면

일반 크기 조절은 사진을 숫자 격자로 보고 그 사이를 매끄럽게 메웁니다. AI 업스케일러는 그 숫자 안의 패턴(윤곽, 머리카락 한 가닥, 글자의 곡선)을 알아보고, 그런 패턴이 더 높은 해상도에서 보통 어떻게 보이는지 그립니다. 앞의 것은 이미지를 크게만 할 수 있습니다. 뒤의 것은 크게 하면서 선명하게도 할 수 있습니다. 내 사진 바깥에서 지식을 가져오기 때문입니다.

비유로 보면

작고 흐릿한 그림을 네 배 크기로 다시 그려 달라고 두 사람에게 부탁한다고 해 보세요. 첫 번째 사람은 아주 꼼꼼하지만 사진을 한 번도 본 적이 없습니다. 색 덩어리를 하나하나 그대로 키우고 경계를 부드럽게 다듬습니다. 결과는 크고 충실하지만 흐릿합니다. 두 번째 사람은 사진을 수백만 장 봤습니다. 눈 옆에서 어둡고 가늘고 조금 흐린 선을 보면 거의 틀림없이 속눈썹이라는 걸 알고 또렷한 속눈썹을 그립니다. 물체 가장자리에서 두 색이 부드럽게 바뀌는 걸 보면 깔끔한 경계를 그립니다.

두 번째 사람의 그림이 훨씬 보기 좋습니다. 하지만 일부는 그 사람의 해석이기도 합니다. 흐림이 너무 심해서 무엇이 있었는지 알 수 없는 곳에는 보통 거기 있는 것을 그렸으니까요. 함정까지 포함해서, 이것이 AI 업스케일러를 한마디로 설명한 겁니다.

모델이 실제로 배운 것

AI 업스케일러의 모델은 이미지 쌍을 보여 주면서 학습합니다. 선명한 고해상도 사진과, 같은 사진을 줄이고 손상시킨 사본입니다. 모델의 과제는 작은 사본을 원본으로 되돌리는 것입니다. 처음에는 잘 못합니다. 시도할 때마다 내부 숫자가 조금씩 더 잘하는 쪽으로 조정됩니다. 엄청나게 다양한 사진으로 이걸 수백만 번 반복하면, 숫자 안에 일종의 '본 경험'이 새겨집니다. 윤곽이 어떻게 이어지는지, 질감이 가까이서 어떻게 생겼는지, 두 색 사이의 흐릿한 계단이 보통 어떻게 정리되는지 같은 것들입니다.

중요한 건, 모델이 학습에 쓴 사진을 저장하지도 않고 무언가를 찾아보지도 않는다는 점입니다. 특정 고양이를 외우지 않아도 고양이가 어떻게 생겼는지 아는 것처럼, 일반적인 패턴을 배웠을 뿐입니다. 내 사진을 주면 모델은 그 패턴을 사진에 적용합니다.

저희 AI 이미지 업스케일러의 모델은 ESRGAN-slim입니다. 잘 알려진 연구용 모델의 작은 버전으로, 브라우저에 내려받아 컴퓨터의 그래픽 카드에서 돌릴 수 있을 만큼 작습니다. 학습, 타일, 브라우저 버전이 이 크기인 이유 같은 기술적인 이야기는 AI 이미지 업스케일링의 원리 글에서 다룹니다.

필터로는 같은 일을 못 하는 이유

AI 업스케일러가 크기 조절 뒤에 선명도를 세게 거는 것뿐이라고 생각하는 경우가 있습니다. 확인해 볼 수 있는데, 사실이 아닙니다. 선명도는 이미 있는 윤곽의 대비를 높일 뿐, 없는 윤곽을 그릴 수 없고, 흐릿하게 확대된 이미지에 걸면 디테일이 아니라 거친 테두리가 생깁니다.

둘을 직접 비교했습니다. 인물 사진을 480 × 480픽셀로 줄이고, 브라우저 자체의 고화질 크기 조절과 저희 AI 모델로 각각 4배 키운 뒤 얼굴의 윤곽 디테일을 쟀습니다. 크기 조절은 3.0, AI 버전은 34.7로 약 11배였습니다. 숫자보다 더 분명했던 건, AI 버전에 속눈썹이 한 올씩 나뉘어 있고 치아 윤곽이 깔끔했다는 점입니다. 어떤 선명도 필터도 부드러운 흐림에서 이런 걸 만들어 내지 못합니다.

보정 전보정 후

함정: AI가 추측하는 부분

모델은 보통 거기 있는 것을 그리기 때문에, 가끔은 실제로 없는 것을 그립니다. 인물 사진 테스트에서 눈과 머리카락은 설득력 있게 나왔지만, 피부는 실제 고해상도 사진보다 매끄러웠습니다. 모공 같은 미세하고 불규칙한 질감이 그럴듯하지만 더 단순한 것으로 바뀐 겁니다. 흔한 일이고, 가족사진이라면 오히려 반가운 경우가 많습니다.

더 문제가 되는 상황도 있습니다.

• 아주 작은 얼굴. 너비 20픽셀짜리 얼굴에는 그 사람이 어떻게 생겼는지 정할 만큼의 정보가 없습니다. 모델은 얼굴을 만들어 내지만, 꼭 그 사람의 얼굴은 아닙니다.
• 원본에서 너무 작아 읽을 수 없는 글자와 숫자. 모델이 또렷하지만 틀린 글자를 만들 수 있습니다.
• 모든 종류의 증거. 키운 이미지는 그럴듯한 재구성이지 기록이 아닙니다. 번호판을 읽거나, 사람을 알아보거나, 세부를 증명하는 데 쓰지 마세요.

쓸모 있는 원칙이 있습니다. 원본을 100%로 확대해 보세요. 거기서 중요한 디테일을 대략이라도 알아볼 수 있다면 업스케일러가 잘 살려 냅니다. 알아볼 수 없다면 더해진 건 모두 지어낸 겁니다.

정말 AI를 쓰는 도구인지 알아보는 법

'AI'가 잘 팔리다 보니 선명도를 건 일반 크기 조절을 AI라고 부르는 도구도 있습니다. 확인하는 방법은 세 가지입니다.

1. 일반 크기 조절과 비교하세요. 같은 사진을 아무 이미지 편집 프로그램과 그 도구로 각각 키우고 100%로 비교하세요. 진짜 초해상도 모델이라면 대비만 높아지는 게 아니라 윤곽과 질감이 눈에 띄게 선명해집니다.
2. 속도를 보세요. 신경망은 그래픽 카드에서 장당 몇 초가 걸리고, 처음에는 대개 모델을 내려받습니다. 큰 사진이 순식간에 끝난다면 대개 전통적인 크기 조절입니다.
3. 도구가 스스로 밝히는 내용을 읽으세요. 저희 도구는 작업이 끝날 때마다 AI 모델과 클래식 엔진 중 무엇이 돌았는지 알려 줍니다. 휴대폰과 태블릿에서는 모바일 브라우저가 웹페이지에 모델을 돌릴 만큼의 그래픽 메모리를 주지 않아서 항상 클래식 엔진을 쓴다는 점도 분명히 밝힙니다. 데스크톱이나 노트북에서는 약 1000만 화소까지의 사진이 AI를 거칩니다.

'AI'가 뜻하지 않는 것

클라우드라는 뜻이 아닙니다. 많은 AI 도구가 사진을 서버에 올리지만, 모델은 내 기기에서도 똑같이 잘 돌아갈 수 있습니다. 저희 도구는 브라우저에서 돌아가고, 사진은 업로드되지 않습니다.

도구가 내 사진으로 배운다는 뜻이 아닙니다. 모델은 나에게 오기 전에 학습을 마쳤고, 써도 바뀌지 않습니다. 내 사진은 어떤 학습에도 쓰이지 않고, 저희의 경우 컴퓨터 밖으로 나가지도 않습니다.

사진을 이해한다는 뜻이 아닙니다. 모델은 사진 속 사람이 할아버지라는 것도, 상품 라벨에 무엇이 쓰여 있는지도 모릅니다. 시각적인 패턴을 알아볼 뿐입니다.

무엇이든 고칠 수 있다는 뜻이 아닙니다. 흔들림, 초점 실수, 심한 압축은 정보를 없앱니다. 모델은 그런 사진을 더 크고 조금 더 깨끗하게 만들 수는 있지만, 기록되지 않은 것을 되살리지는 못합니다.

사진마다 결과가 다른 이유

모델의 지식은 고르지 않습니다. 학습에서 본 것을 반영하기 때문입니다. 얼굴, 머리카락, 피부, 옷감, 나뭇잎, 하늘, 일상 물건의 윤곽, 인쇄된 글자처럼 사진에 늘 나오는 것들은 가장 잘합니다. 가까이서 어떻게 보이는지 셀 수 없이 많이 봤기 때문입니다. 흔하지 않은 내용은 도움을 덜 받습니다. 기술 도면, 특이한 무늬, 손글씨, 아주 특수한 질감 같은 것들입니다. 이런 경우 모델은 일반적으로 윤곽을 또렷하게 하는 동작에 기대게 되고, 일반 크기 조절보다 나아지는 정도도 작습니다.

손상의 종류도 중요합니다. 모델은 이미지를 줄일 때 생기는 흐림을 되돌리도록 학습했고, 더 현실적인 손상으로 학습한 모델은 약간의 노이즈와 압축도 처리합니다. 하지만 카메라 흔들림이나 엉뚱한 곳에 맞은 초점을 되돌리도록 학습하지는 않았기 때문에, 어떤 도구를 쓰든 그런 사진의 결과는 실망스럽습니다.

두 업스케일러의 순위가 사진에 따라 뒤바뀌는 것도 그래서입니다. 얼굴을 잘하는 도구가 있고 글자나 풍경을 잘하는 도구가 있습니다. 자주 키우는 이미지 종류가 정해져 있다면, 일반적인 순위를 믿기보다 내 사진 몇 장으로 도구 두세 개를 시험해 볼 만합니다. 가장 공정한 방법은 내 선명한 사진을 4분의 1 크기로 줄이고, 그걸 다시 키웠을 때 어떤 도구가 원본에 가장 가까운지 보는 겁니다.

정리하면, 'AI'는 진짜이고 측정할 수 있으며, 사진 전반에 대한 지식을 내 사진에 적용한 것입니다. 결과를 기록이 아니라 아주 훌륭한 추정으로 다루세요.

AI 부분을 최대한 활용하려면

• 깨끗한 원본을 주세요. 모델은 압축 블록을 디테일로 여기고 키울 수 있습니다. 카메라 원본은 채팅 앱 사본을 언제나 이깁니다.
• 목표에 닿는 가장 작은 배율을 쓰세요. 배율을 한 단계 올릴 때마다 지어내는 게 늘어납니다.
• 처음에는 선명도를 끄세요. 모델이 이미 윤곽을 다시 만듭니다. 선명도를 더하면 테두리가 생깁니다.
• 중요한 부분을 100%로 확인하세요. 얼굴, 글자, 상품 디테일입니다.

사진을 키울지, 보기 좋게 다듬을지 고민 중이라면 사진 업스케일러와 이미지 보정 도구의 차이 글에서 각각이 해결하는 문제를 설명합니다. 인쇄 크기와 픽셀 수 같은 실용적인 부분은 이미지 해상도 높이는 방법 가이드를 참고하세요.

자주 묻는 질문

AI 업스케일러가 내 사진을 업로드하거나 학습에 쓰나요?

저희 도구는 그렇지 않습니다. 모델은 나에게 오기 전에 학습을 마쳤고, 브라우저에서 돌아가며, 써도 바뀌지 않습니다. 사진이 업로드되거나 학습에 쓰이지 않습니다.

정말 AI를 쓰는 도구인지 어떻게 알 수 있나요?

100%로 일반 크기 조절과 비교하고, 속도를 보고(진짜 모델은 장당 몇 초가 걸리고 보통 처음에 내려받기가 있습니다), 도구가 알려 주는 내용을 확인하세요. 저희 도구는 작업이 끝날 때마다 AI와 클래식 엔진 중 무엇이 돌았는지 알려 줍니다.

AI로 아주 작은 얼굴이나 번호판을 읽을 수 있게 되나요?

아닙니다. 원본을 100%로 봐도 디테일을 알아볼 수 없다면 모델이 더한 건 추측일 뿐이니 믿어서는 안 됩니다.