Ingyenes Képnagyító

Hogyan működik

A feljavító a Real-ESRGAN general-x4v3 modellt futtatja — egy 4,6 MB-os konvolúciós szuperfelbontású hálózatot — az onnxruntime-web segítségével, egy Web Workerben, a saját gépeden. A modell egyszer kerül lekérésre a saját szerverünkről, gyorsítótárba kerül, majd offline használatra kerül; a fotód helyben, egy vásznon dekódolódik, és soha nincs feltöltve. A skálázási tényező 4×-re van rögzítve, mert két helyen is bele van égetve a modellgráfba.

1. 1
   A kép átfedő csempékre van vágva

   A 4×-es eredmény tizenhatszor annyi pixel, így egy 4000×3000-es fotó 192 megapixel lenne — elég ahhoz, hogy egyszerűen kilője a böngésző lapot, ahelyett hogy csak lelassulna. Ehelyett a kép magokra van felosztva, amelyek pontosan lefedik, és minden mag egy extra kontextusmarggal kerül beolvasásra minden oldalon, hogy a konvolúciós réteg (amelynek befogadó mezője 34 pixel) valódi szomszédos pixeleket kapjon dolgozni. A szélek élreplikálva vannak, soha nem nullával kitöltve, ami egyébként azt eredményezné, hogy a modell éles fekete keretet rajzolna a kép köré.
2. 2
   Minden csempe síkonkénti RGB tenzorként van csomagolva

   Egy csempe egy [1, 3, H, W] alakú float32 tenzorrá válik, ahol a piros, zöld és kék csatorna külön síkokként tárolódik, az értékek egyszerűen 255-tel osztva — semmilyen átlag/szórás normalizálás nincs. Minden csempe pontosan ugyanarra a négyzetméretre van kitöltve, mert a WebGPU háttér minden új bemeneti alaknál újrafordítja a shadereit, és egy három különböző csempeméretű terv háromszor fizetne meg ezt a költséget.
3. 3
   A következtetés WebGPU-n fut, ahol létezik, egyébként CPU-n

   A munkamenet elsőként WebGPU-val jön létre, és bármilyen hiba esetén egyszálas WebAssemblyre vált vissza — a grafikai illesztőprogramok gyakran hirdetnek támogatást, majd a gráf felépítése közben félúton elhasalnak, és a lassabb jobb, mint a törött. Mivel a visszaesés nagymértékben megváltoztatja a valós méretkorlátot és a futásidőt, az eszköz újraellenőrzi a feladatot azzal a szolgáltatóval szemben, amelyet ténylegesen kapott, mielőtt az első csempe lefutna, és utólag megmondja, melyiket használta.
4. 4
   A csempék keresztezetten összeolvasztva és korlátozva

   A csempék tompa illesztése látható rácsot hagyna, ezért minden csempe hozzájárulását egy lineáris rámpa súlyozza a közös csík mentén. A két rámpa pontos komplementer, így a súlyok minden kimeneti pixelnél pontosan 1-re adódnak össze, és nem jelenik meg fényes vagy sötét vonal a varrat mentén. A modell nyers kimenete nincs a gráfon belül levágva — a mért értékek kb. -0,18-tól +1,19-ig terjednek —, így minden minta a 0–255 tartományba korlátozódik a 8 bites átalakítás előtt, ami megelőzi a foltosságot a magas kontrasztú élek mentén. Az alfa csatorna külön, bilineárisan kerül újramintavételezésre, mert magának a hálózatnak nincs alfa útvonala.
5. 5
   Az eredmény a workerben kódolódik

   Az összeállított pixelek egy OffscreenCanvasra rajzolódnak, és azonnal PNG-vé kódolódnak, így a Letöltés megnyomása előtt nincs aszinkron várakozás. A JPG-re váltás a workernek még mindig birtokolt vászonból kódol újra, ahelyett hogy újra futtatná a modellt. Egy kis középső kivágás is renderelésre kerül 100%-on, ugyanaz a terület a böngésző által újramintavételezve, ez az egyetlen összehasonlítás, ahol a 4×-es különbség ténylegesen látható.

Kapcsolódó eszközök