Topaz Sharpen AIの検証【追記あり】

先日の多摩川河川敷散歩で一番衝撃を受けたのが、実はTopaz Sharpen AIの超威力です。

Topaz Sharpen AIは、みなさんお馴染みのノイズ除去ソフト「Topaz DeNoise AI」と同じTopaz Labsが販売している画像先鋭化ソフトで、ブレやピンボケをAIの力で高度に補正できることを謳っています。その威力は御覧の通り。

ほとんど「何かのインチキじゃないか」と思うくらいの強力さです。おそらく、最大エントロピー法などの単純な画像復元やウェーブレット処理だけというわけではなく、AIによる被写体の認識（毛が生えた物体なのかどうか、などの大まかなもの）なども噛んでいるのかな？という気はしますが、具体的に何をやっているのかが不明というのは若干気持ち悪いところ。とはいえ、とにかくすさまじい威力なのは確かです。

となると、もしかして天体写真に適用したらものすごい結果になるのでは……？というのは気になるところ。鳥の写真があんなになるのなら、ひょっとしたら小望遠鏡で撮った写真がハッブルレベルになるかもと思うとワクテカが止まりませんwww

というわけで、いくつかの画像をSharpen AIにかけて、その傾向を探ってみようと思います。なお、Sharpen AIの処理には"Motion Blur"、"Out of Focus"、"Too Soft"などいくつかのモードがありますが、モードの選択や補正強度などは基本的に全てSharpen AIの選択に任せています。

自然物

まず、先日の散歩で驚くべき性能を見せた動植物に対してです。鳥に対して補正効果が極めて高かったのは前掲の通り。そして昆虫に対してもこの結果。

オオスカシバは体毛や複眼の表現が一皮むけたようですし、ムギワラトンボも前胸部や翅脈のディテールが際立っています。一方、元々解像していたトンボの頭部付近は大きな変化はなし。複眼の光沢に偽模様が出ていますが、まぁ許容範囲でしょう。不自然な感じは少なく、かなり優秀な結果です。

植物についても、クリアになりつつも不愉快なリンギングなどは目立たず、相当に優秀です。

岩のような無生物に対しても、上のように十分な効果を見せます。少なくとも、ネイチャー系の写真に対しては圧倒的な効果と言っていいでしょう。

さらに驚きなのは手ブレ補正効果。夕方で暗かったため、手ブレを起こしてしまった写真もこの通り。

なんというか、ここまでくると言葉を失いますね。さすがに若干の線の太さは感じるものの、完全な失敗写真がここまで復元されてしまうと、ほとんど魔法のようです。おそらく、ブレの方向とわずかな明暗模様のパターンを手掛かりに、ディープラーニングの結果から毛並みを逆算しているのだと思いますが……。「充分に発達した科学技術は、魔法と見分けが付かない」というのは、まさにこのことでしょう。

人工物

次は建物などの人工物です。

この例などを見ると、建物のタイルなどはしゃっきりしたものの、処理の影響で看板の文字の可読性は下がってしまっています。逆に言うと、処理によって本来ないはずのパターンが現れたり、本来のパターンが崩されたり、といったことがありうることを示しています。

こちらも同様。処理によってパターンが著しく変化してしまっています。どうも、直線を含む人工的なパターンには比較的弱いような印象を受けます。

逆に、人工物ではあっても、自然のものに近い構造のものには劇的な効果を発揮。こちらのコンクリート製の建造物など、岩に近いせいか、かなり見事に補正されています。

天体写真

ここまでで、人工物に対して効果はもうひとつだけど、動植物や岩などの自然のものに対しては無類の強さ、という傾向が見えているわけですが……となると、まさに自然物である天体写真に対する効果も期待したいところです。

まず、これからの季節に撮る機会が多くなるであろう系外銀河から。劇的な効果を期待したいところですが……

残念なことにほとんど効果は見えません。むしろ、その割に恒星の周囲にリンギングが発生していて、全体としてはかえって悪くなっています。

こちらは効果の見えた銀河ですが、暗黒帯は明らかに偽解像していて、とても使えません。

こちらも偽解像した例で、どうにもうまくありません。暗黒帯が高い解像感で復元できれば言うことなかったのですが……。

高解像度が必要という意味で惑星状星雲も処理にかけてみましたが、こちらは一見良さそうなものの、よく見ると中心星付近に変な模様が。

球状星団は、ステライメージの「スターシャープ」フィルターを強くかけすぎたときのように、星像がボロボロに……これではとても使えません。

おそらくですが、系外銀河のようにボヤっと写る対象は「被写体」として認識されず処理対象外に。一方、コントラストの高い暗黒帯や、明るい球状星団は処理の対象になるものの、ディープラーニングに用いる教師データが不足しているためか、不適切な処理がされて偽解像が発生……といったあたりかと思います。

事情は惑星写真に対しても同様。試しに木星を処理してみましたが……

……トルーヴェロ*1のスケッチかな？(笑)

とにかく、まるでお話になりません。普通にウェーブレット処理でもやった方が何万倍もマシです*2。

一応、処理のモードやパラメータ等をいじればそれらしくはなりますが、得られる解像感はRegistaxでウェーブレット処理をかけた方がはるかに良く、わざわざSharpen AIを引っ張り出す意義が見出せません。

上にも書きましたが、こうした結果はおそらくディープラーニングに用いる教師データの不足に原因がありそうな気がします。写真全体からすれば、天体写真というのは特殊な用途なので仕方ない部分ではあるのですが、将来的にはバージョンアップとともに「調教」が進むことを期待したいと思います*3。

そんな中、現時点での例外は月面写真。以下の写真をご覧ください。

久々に劇的と言っていい効果です。地上の岩と同じような質感ですし、処理がうまくはまったのでしょう。「解像感」という意味ではRegistaxなどのウェーブレット処理を上回る感じです。ただ、手放しで喜べるかというとそうでもなくて。

この例などは、特に右下の高原部分に顕著ですが、筋状というか菱形状の妙なパターンが発生してしまっています。こういうのを見ると、「解像感」*4が高いとはいえ、出てきた結果をどこまで信用したものか……。パラメータ設定次第だとは思いますが、このような偽解像が発生する危険性と隣り合わせなので、もし使う場合は十分な注意が必要かと思います。

【追記　2022/02/16】

月面写真へのSharpen AIの適用について、過去にAviStack2でウェーブレット処理したものと、今回新たにSharpen AIで処理したものとを比べてみました。

まずはアリストテレス(上)とユードクシス(下)。クレータの壁付近は、右のSharpen AIの方が圧倒的に高精細に見え、パッと見の印象はいいです。

ところが子細に比較してみると、Sharpen AIではAviStack2で見えている平原部の小クレータがいくつも消えてしまっているのが分かります。アリストテレス右上の小クレーター群などが分かりやすいでしょうか。

次いでヒギヌス谷周辺。こちらも小クレーターが消え、細い谷も何本かが埋もれてしまっています。山塊など派手な凹凸のある部分は過剰なまでに精細に描かれる一方で、見えているはずのものが消えてしまうのはいかにもまずいです。

処理内容が不透明なのも併せて考えると、やはり現時点では「非推奨」と言わざるを得ません。

【追記　その2　2022/02/16】

読者の方から「処理パラメータの設定が不適切なのではないか？」というご指摘をいただきました。

たしかに今回は、比較のためにあえてソフト任せにしている部分はあります。とはいえ、ヒギヌス谷周辺の小クレーターなどはモード、パラメータを種々変更しても復活してきません。そもそも、処理のたびにクレーターが消えてないかいちいち確認するのは相当に面倒です（ウェーブレット処理をかけないと見えてこないような小クレーターも多いので）。

また、Sharpen AIの場合、山や谷の細部など、ウェーブレット処理のものと形がだいぶ違うものがあるのも気になる点。ウェーブレット処理が絶対正しいとは言いませんが、Sharpen AIが内部で何をやっているのか不明なのも考え合わせると、正面切って使うにはちょっと怖いなという印象です。

【追記　その3　2022/02/16】

念のため、デフォルト設定だけでなく種々のモード、パラメータで詳細に確認してみましたが、やはり地形が消えたり、逆に偽地形が現れる傾向は変わらず、「非推奨」という結論に変わりはありません。詳しくは以下のTweetから続くスレッドを確認してください。

しつこく念のため月面写真におけるSharpen AI検証。リファレンスはヒギヌス谷付近の写真をAviStack2でウェーブレット処理したもの。青で囲んだ小クレーターや、緑で囲んだトリスネッカー谷やヒギヌス谷末端に注目（クレーターは画質的に見えないかも）。それぞれの存在はNASAの写真等で確認している。 pic.twitter.com/GMyut5WpK2

— HIROPON (@hiropon_hp2) February 16, 2022

*1:ja.wikipedia.org

*2:ちなみに普通にRegistaxで処理した結果がこちら→ https://urbansky.sakura.ne.jp/gallery/jupiter160522.html

*3:「調教」が進みすぎて、画像を入力したら対応するHSTの画像を返してくるようになったりして(笑)

*4:あくまでも「解像感」で「解像度」ではないことに注意。

自然分補給

コロナ禍のおかげで遠出するのもはばかられる現状ですが、逆に「近場なら問題あるまい」というわけで、先日、双眼鏡とカメラ片手に比較的近所の多摩川河川敷に「塩分」ならぬ「自然分」を補給に出かけてきました。

まぁ、「片手に」と言う割に装備はガチ目。カメラ機材としては、ミニボーグ60EDにペンタックスの「F AFadapter1.7x」を組み合わせた、いわゆる「AFボーグ」を持ち出しました。

「F AFadapter1.7x」は、マニュアルフォーカスレンズと組み合わせるとオートフォーカスが可能になるという、夢のようなレンズ。ボーグにカメラマウント　PK（改）【50021】を取り付け、「F AFadapter1.7x」と組み合わせると、ボーグでもオートフォーカスが可能になるのです。これを俗に「AFボーグ」と呼んでいます。以前から定番の方法ですね。

「F AFadapter1.7x」は、公式にはF2.8より明るいレンズでの使用が推奨されていますが、比較的新しいペンタックスの一眼レフであれば、測距センサーの感度が高いので、それよりずっと暗いレンズでも実用になります。今回はミニボーグ60ED（F5.8）に直接装着しましたが、晴天下では特に大きな問題は発生しませんでした。

実焦点距離は595mmで、私が使っているK-5IIsとの組み合わせなら、35mm判換算で約890mm相当にも達します。F値は約10とさすがに暗くなりますが、昨今のカメラなら感度を上げてカバーすればいいですし、これだけの焦点距離があれば普通はまず十分です。なにより、この焦点距離の超望遠レンズを用意しようとしたら数十万円ではきかない世界になってしまいます。

なお、鏡筒に巻いてあるのはHobby's Worldで取り扱いがある「フレックス迷彩テープ」。安い上に何度も再利用が可能なので、自分のような「テンポラリなんちゃって鳥屋」には大変助かります。
www.hobbysworld.com

足元はマンフロットの「190プロアルミニウム三脚　3段」にミザールのK型経緯台という組み合わせで、星屋にはお馴染みの構成です。これも鳥屋基準で言うと非常にコストパフォーマンスの高い組み合わせ。鳥屋に人気のあるジンバル雲台やビデオ雲台だと、数倍の価格のものが多い上に微動が不可だったりするので、動きの速いものを相手にする場合はともかく、じっくり撮るには向いている組み合わせだったりします。

散策開始

こうした荷物を抱えて河川敷を散策です。

まず捉えたのはカワラヒワ。群れでキリキリコロコロ鳴いていたので、すぐに分かりました。カワラヒワには、冬に大陸から渡ってくる、よく似た亜種オオカワラヒワというのがいるのですが、頭が灰色がかっていないところを見ると、こいつは普通のカワラヒワでしょうか。背中側から風切羽が見えると、白い縁取りの多少で判別がつくのですが（オオカワラヒワの方が白い縁取りの幅が広い）。

次に捉えたのはツグミ。これもどこにでもいるありふれた鳥ですが、芝生でじっと何かを見つめるたたずまいは、なかなか様になっています。ツグミの中には、赤みの強い亜種ハチジョウツグミや中間型の俗称「四畳半ツグミ」*1などというのも稀にいるのですが、残念ながらこの二個体はごく普通のツグミのようです。

同じ場所でハクセキレイ。こちらは後ろ向きになってしまいました。頭まで灰色なあたり、メスでしょうか？ハクセキレイも亜種が多く、1羽ぐらい混じってないかとついつい観察してしまうのですが、こいつも残念ながら普通の個体でした。

もう少し下流に進んだところで、チドリっぽい小鳥を発見。模様はコチドリに似ていますが、コチドリは基本的に夏鳥ですし、アイリングの黄色も淡いので、おそらくイカルチドリでしょう。砂場でせわしなく採餌をしていました。

さらに下流にはアオサギが。これもごく一般的な普通種ですが、ふてぶてしい面構えは迫力十分。胸元の飾り羽もきれいです。

終点近くの橋の付近には、例年通りガンカモ類が群れていました……といっても、いるのはヒドリガモとコガモ、少数のハシビロガモとオオバンくらい。昔はオナガガモやキンクロハジロもそれなりの数いたのですが、すっかり見なくなってしまいました。一方で、最近はオオバンの勢力伸長が著しいです。河川敷の環境や水質変化などが影響しているのかもしれませんが、不思議なものです。

最終的に、確認できた鳥は以下の通り。

スズメ、ハシブトガラス、ヒヨドリ、ムクドリ、シジュウカラ、キジバト、メジロ、カワラヒワ、ツグミ、ハクセキレイ、キジバト、イカルチドリ、イソシギ、ダイサギ、ウグイス（鳴き声のみ）、コジュケイ（鳴き声のみ）、アオサギ、コガモ、ヒドリガモ、オオバン（計20種類）

都心としては、多くもなく少なくもなく、といったところでしょうか。

行きがけに寄り道などもしたので、歩行距離は最終的に合計12.5kmほど。うち河川敷を歩いたのは正味4kmほど。久々にいい運動になりました。

余談

それにしても、改めて驚いたのがDeNoise AIでおなじみ、Topaz LabsのSharpen AIの威力です。だって、これですよ！？

もちろん、シャープネスを上げたことによるアーティファクトなどが出てはいるのですが、ノイズを抑えつつもこれだけ自然に引き締まってくれるのなら、十分かなという気がします。

天体写真だとシャープ系フィルターは画像が荒れる原因になって使いづらいのですが、この手の写真なら非常に有用そうです。

*1:「ハチジョウ」の約半分、という意味でのダジャレ。もちろん、ハチジョウツグミの「ハチジョウ」は「八畳」ではなく、八丈島の「八丈」です。

川の流れのように

月曜夜、本来なら平日ですが、新月期＆風の穏やかな快晴ということもあり、いつもの公園に出撃してきました。

夜半前まではBORG55FLで「かもめ星雲」ことIC2177を撮影していたのですが、その話は後日するとして……この日のメインはもう1つ。昨年末、惨多苦老師サンタクロースに押し付けられたASI533MC Proのファーストライトです。

hpn.hatenablog.com

使う鏡筒はEdgeHD800。これに0.7xレデューサーを装着し、ガイド鏡ガイドで系外銀河を狙う作戦です。

デジカメと違い、天体用CMOSカメラの場合、画像処理エンジンがないので微弱なシグナルが消されることもなく、短時間露出×多数枚がそれなりに有効です。デジカメの場合は長時間露出が必須だったのでオフアキでのガイドがほぼ必須でしたが、CMOSカメラなら精度に劣るガイド鏡ガイドでも行けるはず。加えて、オフアキを使わないならレデューサーも使用可能になるので、システムが額面通りに機能してくれれば、撮影難度はずいぶん下がります。

狙う対象はおおぐま座のM109。以前オフアキで撮影した際、すぐ近くにある2等星、おおぐま座γ星（フェクダ）からの迷光により派手にフレアが発生し、撃沈した対象です。

hpn.hatenablog.com

この銀河の場合、近赤外線での撮影まで考えると暗黒帯が比較的目立たないのもありがたいところです*1。

ガイド鏡はミニボーグ45EDII。焦点距離は335mm*2と撮影鏡に比べて大幅に短いですが、PHD2の検出精度*3を考えるとこれでも十分です。

とはいえ、何しろ相手は長焦点鏡なので、システムはがっちり組む必要があります。撮影鏡筒にはロスマンディ規格の幅広アリガタを装着した上、ダブルクランプ式のアリミゾで赤道儀に固定。ガイド鏡もアリガタ・アリミゾでがっちり固定した上、ドローチューブやピント調整用ヘリコイドといった可動部は鏡筒バンドで前後を固定し、一切動かないようにしています。

それでも、過去にこの鏡筒をガイド鏡ガイドした場合、かなりの確率で「流れ」が発生したので、露出時間は短めに設定します。とりあえず、5分くらいなら大丈夫でしょうか……？

ガイドが落ち着くのを待って撮影開始。早速撮影結果を見てみると……

ガッツリ流れていますorz　そうか、5分でもまだ駄目か……。ならば3分まで短くしたらどうだ！

……orz

どうにも流れが止まりません。一方、ガイド自体は極めて順調で、PHD2のガイドグラフは平坦そのものです。つまり、ガイド鏡と撮影鏡の位置関係が時間とともに動いてしまっているということになります。

ここでM109の撮影はあきらめ。ごく短時間の露出で撮影でき、かつこういう半端な時でもないと撮影する気が起きない対象、単なる二重星であるM40に狙いを変更します。M109の撮影ではディザリングをしていましたが、赤道儀の無駄な動きを抑えるためディザリングも無効化。30秒露出で何枚か撮影していきます。

ガイドは相変わらず順調。露出時間を30秒に限ったおかげで流れもそれほど目立ちません。一応、撮影したものをまとめて帰宅後に処理したものがこちら。

2022年2月1日　セレストロンEdgeHD800＋0.7x レデューサー（D203mm, f1422mm）　SXP赤道儀
ZWO ASI533MC Pro, -20℃, Gain100, 30秒×16, IDAS LPS-D1フィルター使用
ミニボーグ45EDII（D45mm, f335mm）＋ASI120MM＋PHD2によるオートガイド
ステライメージVer.9.0dほかで画像処理

M40は、かつてヘヴェリウスが「星雲がある」と報告した近辺を捜索中に、メシエが記録した二重星です。本来、メシエカタログは彗星と紛らわしい星雲を記録しておくために作られたものなので、二重星のように明らかにそれと分かるものを入れるのは、趣旨からすると適当ではありません。

しかしメシエは潔癖症で、切りのいい数字にこだわる性分だったので、明らかに星雲ではないこの天体をカタログにねじ込んだのだとも言われています。ただし、刊行されているカタログ等によっては、M40を欠番としているものも少なくありません。

なお、この二重星は後にWinnecke 4（ウィンネッケ 4）としてカタログ化されています。しかし、これらは相互に引力を及ぼしあっている「連星」ではなく、たまたま同じ方向に見えているだけの「見かけの二重星」で、右側のHD 238107までの距離が1140±100光年、左側のHD 238108までの距離が455±20光年と言われています。

「流れ」の原因の推測

上で「流れが目立たない」と書いたM40ですが、こちらもわずかとはいえ流れが発生しています。撮影した16コマを、位置合わせせずにコンポジットした結果がこちら。

右上から左下へ、星像が流れているのがハッキリ分かります。PHD2のガイドグラフは平穏そのものなので、おそらくガイド以外に原因があるはず。それを切り分けていきます。

参考までに、撮影時の天体の位置等をプロットしてみます。この図で赤の格子が赤経・赤緯、紫の格子が高度・方位で、白四角が撮影範囲。白矢印が星像の流れた方向です。

まず、流れる方向が画像に対して水平・垂直ではありません。ピリオディックエラーのように赤道儀自体に流れの原因がある場合、赤経・赤緯に沿った流れ……この画像の場合、縦横を赤経・赤緯に合わせているので水平・垂直の流れになるはず。ここから、赤道儀が流れの原因である線は消えます。まぁ、これはPHD2のガイドグラフが正常な時点でほぼ自明ですね。。

次に、重力の影響を考えてみます。撮影鏡筒の主鏡は重力によって傾くかもしれませんし、ガイド鏡もわずかに垂れ下がって影響を与えるかもしれません。他にも鏡筒の固定や機材のたわみなど、ほんのμm単位のズレでも影響は馬鹿にできません。

図に書き込んだ紫の矢印が地平の方向ですが……流れの方向はやはり全く別。重力も直接の関係はなさそうです。

となると、残る可動部は撮影鏡筒の主鏡です。EdgeHDには「ミラークラッチ」という機構が備わっていて、主鏡の傾きをなるべく抑えるようになってはいますが、これの効きが果たしてどうか……。また、機構上、主鏡移動用のスクリューにはバックラッシュがあるので、そのあたりのガタツキも無視しきれないところです*4。

撮影時の鏡筒の姿勢を思い返してみると、Telescope Eastのオーバーハングした状態で撮影していました。上の図は鏡筒の後ろ姿を実際の姿勢に合わせて示したものですが、この時のミラークラッチ等の位置（中央の接眼部を取り囲んで、下2つの円状に見えるパーツがミラークラッチ、上の1つがピントノブ）を見てみると、接眼部～図左下側のクラッチを結ぶ線と、流れる方向とがおおよそ一致することが分かります。つまり、図左下側のクラッチにおいて主鏡の沈み込みが発生し、それにより主鏡の向きが微妙に変化した可能性が考えられるということです。

ミラークラッチは上の図のような構造になっています。主鏡からはカンチレバーを介してロッド（緑）が鏡筒後方に伸びています。一方、鏡筒後端には内側に円錐状の空間を持つノブ（水色）があり、これを締めこむことでピン（赤）がロッドを側面から押さえます。これによりロッドが固定され、主鏡が移動しなくなるという仕組みです。

しかし、主鏡の重みをこの側面からのピン圧迫による力だけで支えるというのは、なかなか無理がありそうですし、固定個所から主鏡までの間が離れている分、ロッドやカンチレバーの弾性など、主鏡が傾く要因は色々と考えられそうです。

ゴリラみたいな力でクラッチを締め上げれば十分に効くのかもしれません*5が、やはりオフアキを使った方が確実性の面からは良さそうです。

まぁ、それはそれで「ガイド星がなかなか見つからない」、「レデューサーを使えない」という難題を抱え込むことにもなるわけですが(^^;

*1:近赤外線は暗黒物質も透過してしまうため、銀河に目立つ暗黒帯があると、コントラストが低下しがちになります。

*2:公称値は325mmですが、撮影範囲の実測値や実際に焦点を結ぶ位置を計測すると335mmのようです。噂はありましたが、ひょっとするとロットによるかもしれません。

*3:ガイドカメラの0.1ピクセルの単位で星像のズレを検出します。

*4:主鏡を「押し上げる」方向にスクリューを回してピントを合わせた場合は問題ありませんが、主鏡を「引き下ろした」場合、ネジ山の下側にわずかな空隙が発生するため、重力でわずかに落下する……すなわち主鏡が傾く可能性が出てきます。

*5:説明書を見ると"Once in focus, turn the two mirror lock knobs clockwise until both are very tight and can be turned no further."とあるので、本当に馬鹿力で締め上げる必要があるのかもしれません。アメリカ 人基準かもしれませんし。