Kabbar l-Immaġni b'xejn

Kif Taħdem

L-upscaler iħaddem Real-ESRGAN general-x4v3 — network konvoluzzjonali ta' super-riżoluzzjoni ta' 4.6 MB — permezz ta' onnxruntime-web ġewwa Web Worker fuq il-magna tiegħek stess. Il-mudell jinġibed darba mis-server tagħna stess, jinħażen f'cache, u mbagħad jintuża offline; ir-ritratt tiegħek jiġi ddekodifikat għal canvas lokalment u qatt ma jitgħabba. Il-fattur tal-iskala huwa fiss f'4×, għax huwa moħmi fil-grafik f'żewġ postijiet.

1. 1
   L-istampa tinqata' f'tiles li jissovrapponu

   Riżultat ta' 4× huwa sittax-il darba l-pixels, għalhekk ritratt ta' 4000×3000 ikun 192 megapixel — biżżejjed biex joqtol it-tab tal-browser għal kollox minflok sempliċement inaqqas il-veloċità tiegħu. Minflok, ir-ritratt jinqasam f'blokki ċentrali li jkopruh eżattament, u kull blokk jinqara b'marġni żejjed ta' kuntest fuq kull naħa biex l-istack tal-konvoluzzjoni (li l-kamp riċettiv tiegħu huwa ta' 34 pixel) ikollu pixels ġirien reali biex jaħdem minnhom. Il-fruntieri jiġu replikati mit-truf, qatt mimlija biż-żero, li inkella jġiegħlu lill-mudell isaħħaħ ċirku iswed madwar il-frame.
2. 2
   Kull tile jiġi mballat bħala tensor RGB planari

   Tile issir tensor float32 ta' forma [1, 3, H, W] bil-kanali aħmar, aħdar u blu maħżuna bħala planijiet separati u l-valuri sempliċement maqsuma bi 255 — l-ebda normalizzazzjoni ta' medja/devjazzjoni standard ta' kwalunkwe tip. Kull tile jiġi pad-jat għal eżatt l-istess daqs kwadru, għax il-backend WebGPU jerġa' jikkompila l-shaders tiegħu għal kull forma ġdida ta' dħul u pjan bi tliet daqsijiet differenti ta' tiles kien iħallas dik l-ispiża tliet darbiet.
3. 3
   L-inferenza taħdem fuq WebGPU fejn teżisti, inkella fuq iċ-ĊPU

   Is-sessjoni tinħoloq b'WebGPU l-ewwel u taqa' lura fuq WebAssembly b'thread wieħed fuq kwalunkwe falliment — id-drivers grafiċi regolarment jirreklamaw appoġġ u mbagħad jonqsu f'nofs il-bini tal-grafiku, u iktar bil-mod aħjar minn miksur. Peress li l-fallback tibdel il-limitu realistiku tad-daqs u l-ħin tat-tħaddim b'fattur kbir, l-għodda terġa' tiċċekkja x-xogħol kontra liema provider verament kisbet qabel ma jaħdem l-ewwel tile, u tgħidlek liem wieħed użat wara.
4. 4
   It-tiles jerġgħu jitwaħħdu b'tħallit gradwali u jiġu limitati

   It-twaħħil dritt tat-tiles iħalli grid viżibbli, għalhekk il-kontribut ta' kull tile jiġi ppeżat b'rampa lineari tul l-istrixxa maqsuma. Iż-żewġ rampi huma kumplimenti eżatti, għalhekk il-piżijiet jammontaw eżatt għal 1 f'kull pixel tal-output u ma tidher l-ebda linja qawwija jew skura tul il-ġunta. L-output mhux ipproċessat tal-mudell mhux maqtugħ ġewwa l-grafiku — il-valuri mkejla jvarjaw minn madwar −0.18 sa +1.19 — għalhekk kull kampjun jiġi limitat għall-medda 0–255 qabel il-cast għal 8-bit, li huwa dak li jipprevjeni t-tikek tul truf b'kuntrast qawwi. Alpha jiġi rikampjunat separatament u bilinearment, għax in-network innifsu m'għandu l-ebda perkors alpha.
5. 5
   Ir-riżultat jiġi kkodifikat fil-worker

   Il-pixels mibnija jiġu ddisinjati fuq OffscreenCanvas u kkodifikati għal PNG immedjatament, biex l-agħfas ta' Niżżel ma jkollu l-ebda dewmien asinkronu quddiemu. L-bdil għal JPG jerġa' jikkodifika mill-canvas li l-worker għadu jżomm minflok jerġa' jħaddem il-mudell. Qtugħ żgħir taċ-ċentru jiġi wkoll irrendjat f'100% ħdejn l-istess reġjun rikampjunat mill-browser, li hija l-unika tqabbil li fih differenza ta' 4× verament tidher.

Għodod Relatati