AIアップスケーラーの「AI」とは、本当は何を意味するのか

今やあまりに多くの製品に「AI」と書かれているので、画像アップスケーラーの「AI」が何を意味するのか気になるのは当然です。ここでの意味ははっきりしています。ツールの中に、学習によって作られた膨大な数値の集まりである「モデル」が入っていて、細かい細部がふつうどう見えるかを学んでおり、その知識を使って、普通のリサイズではぼかすことしかできないピクセルを埋めるのです。これは目で見て、数字で測れる本当の違いです。同時に、結果を信用する前に知っておきたい落とし穴もあります。この記事では、その両方をやさしい言葉で説明します。

ひと言でいうと

普通のリサイズは、写真を数字の格子として扱い、その間をなめらかにつなぎます。AIアップスケーラーは、その数字の中にあるパターン（輪郭、髪の毛の束、文字のカーブ）を見分け、そうしたパターンが高い解像度ではふつうどう見えるかを描きます。前者は画像を大きくすることしかできません。後者は大きくしたうえでシャープにもできます。あなたの写真の外から知識を持ち込んでいるからです。

たとえ話

小さくぼやけた絵を、4倍の大きさに描き直してほしいと2人に頼むところを想像してください。1人目はとても丁寧ですが、写真を一度も見たことがありません。色のかたまりを1つ1つそのまま大きくして、境目をなめらかにします。結果は大きく、忠実で、甘いものになります。2人目は何百万枚もの写真を見てきました。目のそばに暗くて細く、少しぼやけた線を見つけると、それがほぼ間違いなくまつげだとわかり、くっきりしたまつげを描きます。物のふちで2色がなだらかに変わっているのを見ると、きれいな境目を描きます。

2人目の絵のほうがずっといい仕上がりです。でもそれは、一部はその人の解釈でもあります。ぼやけが強すぎて何があったのかわからない部分には、ふつうそこにあるものを描いたのです。これが、落とし穴も含めたAIアップスケーラーのひと言での説明です。

モデルが実際に学んだこと

AIアップスケーラーのモデルは、画像の組を見せて学習させます。シャープな高解像度の写真と、同じ写真を縮小して劣化させたコピーです。モデルの課題は、小さなコピーを元の写真に戻すこと。最初はうまくいきません。試すたびに、内部の数値が少しずつよくなる方向へ調整されます。これを膨大な種類の写真で何百万回も繰り返すと、数値の中に一種の「見た経験」が刻まれます。輪郭がどう続くか、質感を近くで見るとどうなっているか、2色の間のぼやけた段差がふつうどう決着するか、といったことです。

大事なのは、モデルが学習に使った写真を保存しているわけでも、何かを調べに行くわけでもないことです。学んだのは一般的なパターンで、特定の猫を覚えていなくても猫がどんな姿かを知っているのと同じです。あなたの写真を渡すと、モデルはそのパターンを写真に当てはめます。

私たちのAI画像アップスケーラーのモデルはESRGAN-slimです。よく知られた研究用モデルのコンパクト版で、ブラウザにダウンロードしてパソコンのグラフィックボードで動かせるほど小さなものです。学習、タイル分割、ブラウザ版がこのサイズである理由といった技術的な話は、AIによる画像のアップスケールの仕組みの記事で詳しく説明しています。

フィルターでは同じことができない理由

AIアップスケーラーは、リサイズのあとに強いシャープをかけているだけだと思われることがあります。これは確かめられますし、事実ではありません。シャープネスは、すでにある輪郭のコントラストを上げるだけです。ない輪郭を描くことはできず、ぼやけた拡大画像にかけると、細部ではなく硬い白いふちが出ます。

2つを直接比べてみました。ポートレートを480×480ピクセルに縮小し、ブラウザ自身の高画質なリサイズと、私たちのAIモデルの両方で4倍に拡大して、顔の輪郭の細部を測りました。リサイズは3.0、AI版は34.7で、約11倍です。数字以上にはっきりしていたのは、AI版ではまつげが1本ずつ分かれ、歯の輪郭がきれいだったこと。どんなシャープフィルターも、やわらかなぼやけからこうしたものを生み出すことはできません。

加工前加工後

落とし穴：AIが推測している部分

モデルはふつうそこにあるものを描くので、ときには実際にはないものを描きます。ポートレートのテストでは、目と髪は説得力のある仕上がりでしたが、肌は本物の高解像度写真よりなめらかでした。毛穴のような細かくランダムな質感が、それらしいけれど単純なものに置き換えられたのです。これは典型的なことで、家族写真ならむしろ歓迎されることも多いです。

もっと問題になる場面もあります。

• とても小さな顔。幅20ピクセルの顔には、その人がどんな顔なのかを決めるだけの情報がありません。モデルは顔を描きますが、それがその人の顔とは限りません。
• 元の画像では小さすぎて読めない文字や数字。モデルは、くっきりしているのに違う文字を描くことがあります。
• あらゆる種類の証拠。拡大した画像は、もっともらしい再構成であって、記録ではありません。ナンバープレートを読む、人物を特定する、細部を証明する、といったことには使わないでください。

役に立つルールがあります。元の画像を100%に拡大してみてください。そこで、大まかにでも知りたい細部が見分けられるなら、アップスケーラーはそれをうまく描き出します。見分けられないなら、足されたものはすべて作り話です。

本当にAIを使っているツールの見分け方

「AI」は売れるので、シャープをかけた普通のリサイズをAIと呼ぶツールもあります。確かめる方法は3つです。

1. 普通のリサイズと比べる。同じ写真をどこかの画像編集ソフトとそのツールで拡大し、100%で比べます。本物の超解像モデルなら、コントラストが上がるだけでなく、輪郭や質感が目に見えてシャープになります。
2. 速さを見る。ニューラルネットワークは、グラフィックボードで1枚に数秒かかり、初回はたいていモデルのダウンロードがあります。大きな写真が一瞬で仕上がるなら、たいていは昔ながらのリサイズです。
3. ツール自身の説明を読む。私たちのツールは、処理のたびにAIモデルとクラシックエンジンのどちらが動いたかを表示します。スマホやタブレットでは、モバイルブラウザがWebページにモデルを動かせるだけのグラフィックスメモリを与えないため、常にクラシックエンジンが使われることもはっきりお伝えしています。デスクトップやノートパソコンなら、約1000万画素までの写真がAIで処理されます。

「AI」が意味しないこと

クラウドを意味するわけではありません。多くのAIツールは写真をサーバーにアップロードしますが、モデルは自分の端末でも同じように動かせます。私たちのものはブラウザの中で動き、写真がアップロードされることはありません。

ツールがあなたの写真から学ぶわけではありません。モデルはあなたの手元に届く前に学習を終えていて、使っても変わりません。あなたの写真が何かの学習に使われることはなく、私たちの場合はパソコンの外に出ることもありません。

写真の内容を理解しているわけではありません。モデルは、写真の人があなたのおじいさんであることも、商品のラベルに何と書いてあるかも知りません。見分けているのは見た目のパターンだけです。

何でも直せるわけではありません。手ブレ、ピンぼけ、強い圧縮は、情報そのものを消してしまいます。モデルはそうした写真を大きく、少しきれいにはできますが、記録されなかったものは取り戻せません。

写真によって仕上がりに差が出る理由

モデルの知識にはむらがあります。学習で見たものを反映しているからです。顔、髪、肌、布、葉、空、身近な物の輪郭、印刷された文字など、写真にいつも出てくるものはいちばん得意です。近くで見たときの姿を、数えきれないほど見てきたからです。めずらしい内容はあまり助けてもらえません。技術的な図面、変わった模様、手書きの文字、ごく特殊な質感などです。そうしたものでは、モデルは一般的な輪郭をはっきりさせる動きに頼るので、普通のリサイズとの差は小さくなります。

劣化の種類も関係します。モデルは画像を縮小したときに生じる甘さを元に戻すように学習していて、より現実的な劣化で学習したモデルは、多少のノイズや圧縮にも対応できます。でも、手ブレや、違うところにピントが合ったレンズを元に戻すようには学習していないので、どのツールを使っても、そうした写真の結果はがっかりするものになります。

2つのアップスケーラーの優劣が写真によって入れ替わることがあるのも、そのためです。顔が得意なものもあれば、文字や風景が得意なものもあります。よく拡大する種類の画像が決まっているなら、一般的なランキングを信じるより、自分の写真を何枚か使って2〜3のツールを試す価値があります。いちばん公平なのは、自分のシャープな写真を4分の1のサイズに縮小し、それを拡大し直したときにどのツールがいちばん元の写真に近づくかを見る方法です。

まとめると、「AI」は本物で、測ることもできます。そしてそれは、写真全般についての知識をあなたの写真に当てはめたものです。結果は、記録ではなく、とてもよくできた推定として扱ってください。

AIの部分を最大限に生かすには

• きれいな元の写真を渡す。モデルは圧縮のブロックを細部だと思い、大きくしてしまうことがあります。カメラの元のファイルは、チャットアプリのコピーに必ず勝ちます。
• 目標に届くいちばん小さい倍率を使う。倍率を1段上げるごとに、作り話が増えます。
• 最初はシャープネスをオフに。モデルがすでに輪郭を作り直しています。シャープを足すと白いふちが出ます。
• 大事な部分を100%で確認する。顔、文字、商品の細部などです。

写真を拡大するか、見た目を良くするかで迷っているなら、写真のアップスケーラーと画像補正ツールの違いの記事で、それぞれが解決する問題を説明しています。プリントサイズやピクセル数といった実用的な話は、画像の解像度を上げる方法のガイドをご覧ください。

よくある質問

AIアップスケーラーは写真をアップロードしたり、学習に使ったりしますか？

私たちのツールはしません。モデルは手元に届く前に学習を終えていて、ブラウザで動き、使っても変わりません。写真がアップロードされたり、学習に使われたりすることはありません。

本当にAIを使っているツールか見分けるには？

100%表示で普通のリサイズと比べる、速さを見る（本物のモデルは1枚数秒かかり、たいてい最初にダウンロードがある）、ツールの表示を確認する、の3つです。私たちのツールは処理のたびに、AIとクラシックエンジンのどちらが動いたかを表示します。

小さな顔やナンバープレートをAIで読めるようにできますか？

できません。元の画像を100%で見ても細部が判別できないなら、モデルが足したものは推測にすぎず、頼るべきではありません。