Павелічэнне відарысаў — бясплатна

Як гэта працуе

Апскейлер запускае Real-ESRGAN general-x4v3 — канвалюцыйную сетку суперразрознасці 4.6 МБ — праз onnxruntime-web унутры Web Worker на вашай уласнай машыне. Мадэль атрымліваецца адзін раз з нашага ўласнага сервера, кэшуецца, і потым выкарыстоўваецца афлайн; ваша фота дэкадуецца ў канвас лакальна і ніколі не загружаецца. Каэфіцыент маштабу фіксаваны на 4×, бо ён жорстка ўкампіляваны ў граф у двух месцах.

1. 1
   Малюнак разразаецца на перакрывальныя плiткi

   Вынік 4× — гэта шаснаццаць разоў болей пікселяў, так что фота 4000×3000 было б 192 мегапікселя — дастаткова, каб цалкам знішчыць укладку браўзера, а не проста запаволіць яе. Замест гэтага малюнак дзеліцца на кожны, які дакладна яго накрывае, а кожны чытаецца з дадатковым запасам кантэксту з кожнага боку, так что стэк канвалюцыі (чые ўспрымаемае поле — 34 пікселя) мае сапраўдныя суседнія пiкселi для працы. Межы рэплiцыруюцца ад краю, ніколі не запаўняюцца нулямі, што іначай прымусіла б мадэль абвастрыць чорны краевы абрамленне вакол кадра.
2. 2
   Кожная плiтка пакуецца як планарны тэнзар RGB

   Плiтка становіцца тэнзарам float32 формы [1, 3, H, W] з чырвоным, зялёным і сінім каналамі, захаванымі як асобныя плоскасці, і значэннямі проста падзеленымі на 255 — без нармалізацыі сярэдняга/стандартнага адхілення любога віду. Кожная плiтка дапаўняецца да дакладна таго ж квадратнага памеру, бо бэкенд WebGPU перакампілюе свае шэйдары для кожнай новай формы ўводу, і план з трыма рознымі памерамі плiтак заплаціў бы гэты кошт тройчы.
3. 3
   Вылічэнне выконваецца на WebGPU там, дзе яно існуе, інакш на CPU

   Сесія стваралася спачатку з WebGPU і вяртаецца да аднапатоковага WebAssembly пры любым збоі — графічныя драйверы звычайна заяўляюць падтрымку, а потым не спраўляюцца на паўдарозе пабудовы графа, а павольней лепш, чым зламана. Паколькі запасны варыянт мяняе рэалістычную мяжу памеру і час выканання ў вялікую колькасць разоў, інструмент паўторна правярае заданне супраць таго правайдэра, якога ён сапраўды атрымаў, перад тым як запускаецца першая плiтка, і кажа вам, які з іх выкарыстаў пасля.
4. 4
   Плiткi крос-фэйдацца назад разам і абмяжоўваюцца

   Стыкоўка плiтак упор-у-упор пакідае бачную сетку, так что ўклад кожнай плiткi ўзважваецца лінейнай рампай праз агульную паласу. Дзве рампы дакладна дапаўняюць адна другую, так что вагі сумуюцца дакладна да 1 на кожным выхадным пiксeлi, і ніякай яскравай ці цёмнай лініі не з'яўляецца ўздоўж шва. Сыры вывад мадэлі не абразаецца ўнутры графа — вымераныя значэнні выконваюцца ад каля −0.18 да +1.19 — так что кожны ўзор абмяжоўваецца дыяпазонам 0–255 перад 8-бітнай пераводам, што і прадухіляе крапінкі ўздоўж краёў з высокім кантрастам. Альфа перавыбіраецца асобна і білінейна, бо сама сетка не мае шляху альфа.
5. 5
   Вынік кадуецца ў worker

   Сабраныя піксель малююцца на OffscreenCanvas і неадкладна кадуюцца ў PNG, так что націск на Спампаваць не мае асінхроннага разрыву перад сабой. Пераключэнне на JPG перакадуе з канваса, які worker усё яшчэ трымае, а не запускае мадэль зноў. Невялікі цэнтральны абрэз таксама рэндэрыцца пры 100% побач з тым жа рэгіёнам, перавыбраным браўзерам, што з'яўляецца адзіным параўнаннем, пры якім розніца ў 4× сапраўды бачная.

Звязаныя інструменты