Topaz Sharpen AIの検証【追記あり】

先日の多摩川河川敷散歩で一番衝撃を受けたのが、実はTopaz Sharpen AIの超威力です。

Topaz Sharpen AIは、みなさんお馴染みのノイズ除去ソフト「Topaz DeNoise AI」と同じTopaz Labsが販売している画像先鋭化ソフトで、ブレやピンボケをAIの力で高度に補正できることを謳っています。その威力は御覧の通り。

ほとんど「何かのインチキじゃないか」と思うくらいの強力さです。おそらく、最大エントロピー法などの単純な画像復元やウェーブレット処理だけというわけではなく、AIによる被写体の認識（毛が生えた物体なのかどうか、などの大まかなもの）なども噛んでいるのかな？という気はしますが、具体的に何をやっているのかが不明というのは若干気持ち悪いところ。とはいえ、とにかくすさまじい威力なのは確かです。

となると、もしかして天体写真に適用したらものすごい結果になるのでは……？というのは気になるところ。鳥の写真があんなになるのなら、ひょっとしたら小望遠鏡で撮った写真がハッブルレベルになるかもと思うとワクテカが止まりませんwww

というわけで、いくつかの画像をSharpen AIにかけて、その傾向を探ってみようと思います。なお、Sharpen AIの処理には"Motion Blur"、"Out of Focus"、"Too Soft"などいくつかのモードがありますが、モードの選択や補正強度などは基本的に全てSharpen AIの選択に任せています。

自然物

まず、先日の散歩で驚くべき性能を見せた動植物に対してです。鳥に対して補正効果が極めて高かったのは前掲の通り。そして昆虫に対してもこの結果。

オオスカシバは体毛や複眼の表現が一皮むけたようですし、ムギワラトンボも前胸部や翅脈のディテールが際立っています。一方、元々解像していたトンボの頭部付近は大きな変化はなし。複眼の光沢に偽模様が出ていますが、まぁ許容範囲でしょう。不自然な感じは少なく、かなり優秀な結果です。

植物についても、クリアになりつつも不愉快なリンギングなどは目立たず、相当に優秀です。

岩のような無生物に対しても、上のように十分な効果を見せます。少なくとも、ネイチャー系の写真に対しては圧倒的な効果と言っていいでしょう。

さらに驚きなのは手ブレ補正効果。夕方で暗かったため、手ブレを起こしてしまった写真もこの通り。

なんというか、ここまでくると言葉を失いますね。さすがに若干の線の太さは感じるものの、完全な失敗写真がここまで復元されてしまうと、ほとんど魔法のようです。おそらく、ブレの方向とわずかな明暗模様のパターンを手掛かりに、ディープラーニングの結果から毛並みを逆算しているのだと思いますが……。「充分に発達した科学技術は、魔法と見分けが付かない」というのは、まさにこのことでしょう。

人工物

次は建物などの人工物です。

この例などを見ると、建物のタイルなどはしゃっきりしたものの、処理の影響で看板の文字の可読性は下がってしまっています。逆に言うと、処理によって本来ないはずのパターンが現れたり、本来のパターンが崩されたり、といったことがありうることを示しています。

こちらも同様。処理によってパターンが著しく変化してしまっています。どうも、直線を含む人工的なパターンには比較的弱いような印象を受けます。

逆に、人工物ではあっても、自然のものに近い構造のものには劇的な効果を発揮。こちらのコンクリート製の建造物など、岩に近いせいか、かなり見事に補正されています。

天体写真

ここまでで、人工物に対して効果はもうひとつだけど、動植物や岩などの自然のものに対しては無類の強さ、という傾向が見えているわけですが……となると、まさに自然物である天体写真に対する効果も期待したいところです。

まず、これからの季節に撮る機会が多くなるであろう系外銀河から。劇的な効果を期待したいところですが……

残念なことにほとんど効果は見えません。むしろ、その割に恒星の周囲にリンギングが発生していて、全体としてはかえって悪くなっています。

こちらは効果の見えた銀河ですが、暗黒帯は明らかに偽解像していて、とても使えません。

こちらも偽解像した例で、どうにもうまくありません。暗黒帯が高い解像感で復元できれば言うことなかったのですが……。

高解像度が必要という意味で惑星状星雲も処理にかけてみましたが、こちらは一見良さそうなものの、よく見ると中心星付近に変な模様が。

球状星団は、ステライメージの「スターシャープ」フィルターを強くかけすぎたときのように、星像がボロボロに……これではとても使えません。

おそらくですが、系外銀河のようにボヤっと写る対象は「被写体」として認識されず処理対象外に。一方、コントラストの高い暗黒帯や、明るい球状星団は処理の対象になるものの、ディープラーニングに用いる教師データが不足しているためか、不適切な処理がされて偽解像が発生……といったあたりかと思います。

事情は惑星写真に対しても同様。試しに木星を処理してみましたが……

……トルーヴェロ*1のスケッチかな？(笑)

とにかく、まるでお話になりません。普通にウェーブレット処理でもやった方が何万倍もマシです*2。

一応、処理のモードやパラメータ等をいじればそれらしくはなりますが、得られる解像感はRegistaxでウェーブレット処理をかけた方がはるかに良く、わざわざSharpen AIを引っ張り出す意義が見出せません。

上にも書きましたが、こうした結果はおそらくディープラーニングに用いる教師データの不足に原因がありそうな気がします。写真全体からすれば、天体写真というのは特殊な用途なので仕方ない部分ではあるのですが、将来的にはバージョンアップとともに「調教」が進むことを期待したいと思います*3。

そんな中、現時点での例外は月面写真。以下の写真をご覧ください。

久々に劇的と言っていい効果です。地上の岩と同じような質感ですし、処理がうまくはまったのでしょう。「解像感」という意味ではRegistaxなどのウェーブレット処理を上回る感じです。ただ、手放しで喜べるかというとそうでもなくて。

この例などは、特に右下の高原部分に顕著ですが、筋状というか菱形状の妙なパターンが発生してしまっています。こういうのを見ると、「解像感」*4が高いとはいえ、出てきた結果をどこまで信用したものか……。パラメータ設定次第だとは思いますが、このような偽解像が発生する危険性と隣り合わせなので、もし使う場合は十分な注意が必要かと思います。

【追記　2022/02/16】

月面写真へのSharpen AIの適用について、過去にAviStack2でウェーブレット処理したものと、今回新たにSharpen AIで処理したものとを比べてみました。

まずはアリストテレス(上)とユードクシス(下)。クレータの壁付近は、右のSharpen AIの方が圧倒的に高精細に見え、パッと見の印象はいいです。

ところが子細に比較してみると、Sharpen AIではAviStack2で見えている平原部の小クレータがいくつも消えてしまっているのが分かります。アリストテレス右上の小クレーター群などが分かりやすいでしょうか。

次いでヒギヌス谷周辺。こちらも小クレーターが消え、細い谷も何本かが埋もれてしまっています。山塊など派手な凹凸のある部分は過剰なまでに精細に描かれる一方で、見えているはずのものが消えてしまうのはいかにもまずいです。

処理内容が不透明なのも併せて考えると、やはり現時点では「非推奨」と言わざるを得ません。

【追記　その2　2022/02/16】

読者の方から「処理パラメータの設定が不適切なのではないか？」というご指摘をいただきました。

たしかに今回は、比較のためにあえてソフト任せにしている部分はあります。とはいえ、ヒギヌス谷周辺の小クレーターなどはモード、パラメータを種々変更しても復活してきません。そもそも、処理のたびにクレーターが消えてないかいちいち確認するのは相当に面倒です（ウェーブレット処理をかけないと見えてこないような小クレーターも多いので）。

また、Sharpen AIの場合、山や谷の細部など、ウェーブレット処理のものと形がだいぶ違うものがあるのも気になる点。ウェーブレット処理が絶対正しいとは言いませんが、Sharpen AIが内部で何をやっているのか不明なのも考え合わせると、正面切って使うにはちょっと怖いなという印象です。

【追記　その3　2022/02/16】

念のため、デフォルト設定だけでなく種々のモード、パラメータで詳細に確認してみましたが、やはり地形が消えたり、逆に偽地形が現れる傾向は変わらず、「非推奨」という結論に変わりはありません。詳しくは以下のTweetから続くスレッドを確認してください。

しつこく念のため月面写真におけるSharpen AI検証。リファレンスはヒギヌス谷付近の写真をAviStack2でウェーブレット処理したもの。青で囲んだ小クレーターや、緑で囲んだトリスネッカー谷やヒギヌス谷末端に注目（クレーターは画質的に見えないかも）。それぞれの存在はNASAの写真等で確認している。 pic.twitter.com/GMyut5WpK2
— HIROPON (@hiropon_hp2) February 16, 2022