സൗജന്യ ഇമേജ് അപ്‌സ്കെയ്‌ലർ

ഇത് എങ്ങനെ പ്രവർത്തിക്കുന്നു

ഈ അപ്സ്കെയ്ലർ Real-ESRGAN general-x4v3 — ഒരു 4.6 MB convolutional സൂപ്പർ-റെസൊല്യൂഷൻ നെറ്റ്‌വർക്ക് — നിങ്ങളുടെ സ്വന്തം മെഷീനിൽ ഒരു Web Worker-നുള്ളിൽ onnxruntime-web വഴി പ്രവർത്തിപ്പിക്കുന്നു. മോഡൽ ഞങ്ങളുടെ സ്വന്തം സെർവറിൽ നിന്ന് ഒരു തവണ ഫെച്ച് ചെയ്ത്, കാഷെ ചെയ്ത്, പിന്നെ ഓഫ്‌ലൈനിൽ ഉപയോഗിക്കുന്നു; നിങ്ങളുടെ ഫോട്ടോ ലോക്കലായി ഒരു ക്യാൻവാസിലേക്ക് ഡീകോഡ് ചെയ്യുന്നു, ഒരിക്കലും അപ്‌ലോഡ് ചെയ്യുന്നില്ല. Scale ഫാക്ടർ 4×-ൽ ഫിക്സ്ഡ് ആണ്, കാരണം ഇത് ഗ്രാഫിൽ രണ്ട് സ്ഥലങ്ങളിൽ ഹാർഡ്-ബേക്ക്ഡ് ആണ്.

1. 1
   ഇമേജ് ഓവർലാപ്പിംഗ് ടൈലുകളാക്കി മുറിക്കുന്നു

   ഒരു 4× ഫലം പിക്സലുകളുടെ പതിനാറ് ഇരട്ടിയാണ്, അതിനാൽ ഒരു 4000×3000 ഫോട്ടോ 192 മെഗാപിക്സൽ ആയിരിക്കും — ബ്രൗസർ ടാബിനെ വെറും മന്ദഗതിയിലാക്കുന്നതിന് പകരം പൂർണ്ണമായി കൊല്ലാൻ പര്യാപ്തം. പകരം ചിത്രം കൃത്യമായി tile ചെയ്യുന്ന കോറുകളായി വിഭജിക്കുന്നു, ഓരോ കോറും എല്ലാ വശത്തും കോൺടെക്സ്റ്റിന്റെ ഒരു അധിക മാർജിനോടെ വായിക്കുന്നു, അതിനാൽ convolution സ്റ്റാക്കിന് (34 പിക്സൽ receptive field ഉള്ളത്) പ്രവർത്തിക്കാൻ യഥാർത്ഥ അയൽ പിക്സലുകൾ ഉണ്ടാകും. അതിരുകൾ edge-replicated ആണ്, ഒരിക്കലും zero-padded അല്ല, അല്ലെങ്കിൽ അത് ഫ്രെയിമിന് ചുറ്റും ഒരു കറുത്ത വളയം മോഡൽ sharpen ചെയ്യാൻ ഇടയാക്കും.
2. 2
   ഓരോ ടൈലും ഒരു planar RGB ടെൻസറായി പാക്ക് ചെയ്യുന്നു

   ഒരു ടൈൽ [1, 3, H, W] ആകൃതിയിലുള്ള ഒരു float32 ടെൻസർ ആകുന്നു, ചുവപ്പ്, പച്ച, നീല ചാനലുകൾ പ്രത്യേക പ്ലേനുകളായി സൂക്ഷിക്കുന്നു, മൂല്യങ്ങൾ വെറും 255 കൊണ്ട് ഹരിക്കുന്നു — ഒരു തരത്തിലുള്ള mean/standard-deviation നോർമലൈസേഷനുമില്ല. ഓരോ ടൈലും കൃത്യമായി ഒരേ ചതുര വലുപ്പത്തിലേക്ക് പാഡ് ചെയ്യുന്നു, കാരണം WebGPU ബാക്കെൻഡ് ഓരോ പുതിയ ഇൻപുട്ട് ആകൃതിക്കും അതിന്റെ ഷേഡറുകൾ വീണ്ടും കമ്പൈൽ ചെയ്യുന്നു, മൂന്ന് വ്യത്യസ്ത ടൈൽ വലുപ്പങ്ങളുള്ള ഒരു പ്ലാൻ ആ ചെലവ് മൂന്ന് തവണ അടയ്ക്കും.
3. 3
   Inference WebGPU ഉള്ളിടത്ത് അതിലും, അല്ലെങ്കിൽ CPU-യിലും പ്രവർത്തിക്കുന്നു

   സെഷൻ ആദ്യം WebGPU ഉപയോഗിച്ച് നിർമ്മിക്കുന്നു, ഏതെങ്കിലും പരാജയത്തിൽ single-threaded WebAssembly-ലേക്ക് ഫാൾബാക്ക് ചെയ്യുന്നു — ഗ്രാഫിക്സ് ഡ്രൈവറുകൾ പതിവായി പിന്തുണ പ്രഖ്യാപിക്കുകയും പിന്നെ ഗ്രാഫ് നിർമ്മിക്കുന്നതിനിടയിൽ പരാജയപ്പെടുകയും ചെയ്യുന്നു, മന്ദഗതിയിലുള്ളത് തകർന്നതിനേക്കാൾ മെച്ചമാണ്. ഫാൾബാക്ക് യാഥാർത്ഥ്യ വലുപ്പ പരിധിയും റൺ ടൈമും ഒരു വലിയ ഫാക്ടർ കൊണ്ട് മാറ്റുന്നതിനാൽ, ആദ്യത്തെ ടൈൽ പ്രവർത്തിക്കുന്നതിന് മുമ്പ് ടൂൾ യഥാർത്ഥത്തിൽ ലഭിച്ച പ്രൊവൈഡറിനെതിരെ ജോലി വീണ്ടും പരിശോധിക്കുന്നു, പിന്നീട് ഏതാണ് ഉപയോഗിച്ചത് എന്ന് പറയുന്നു.
4. 4
   ടൈലുകൾ ക്രോസ്-ഫേഡ് ചെയ്ത് തിരികെ ചേർത്ത് ക്ലാമ്പ് ചെയ്യുന്നു

   ടൈലുകൾ Butt-joining ചെയ്യുന്നത് ഒരു ദൃശ്യമായ ഗ്രിഡ് അവശേഷിപ്പിക്കുന്നു, അതിനാൽ പങ്കിട്ട സ്ട്രിപ്പിലുടനീളം ഒരു ലീനിയർ റാമ്പ് ഓരോ ടൈലിന്റെയും സംഭാവന weight ചെയ്യുന്നു. രണ്ട് റാമ്പുകളും കൃത്യമായ പൂരകങ്ങളാണ്, അതിനാൽ weights ഓരോ ഔട്ട്പുട്ട് പിക്സലിലും കൃത്യമായി 1 ആയി ചേരുന്നു, ഒരു seam-ലും തിളക്കമുള്ളതോ ഇരുണ്ടതോ ആയ വരി പ്രത്യക്ഷപ്പെടില്ല. മോഡലിന്റെ റോ ഔട്ട്പുട്ട് ഗ്രാഫിനുള്ളിൽ ക്ലിപ്പ് ചെയ്യുന്നില്ല — അളന്ന മൂല്യങ്ങൾ ഏകദേശം −0.18 മുതൽ +1.19 വരെ പോകുന്നു — അതിനാൽ 8-ബിറ്റ് cast-ന് മുമ്പ് ഓരോ സാമ്പിളും 0–255 റേഞ്ചിലേക്ക് ക്ലാമ്പ് ചെയ്യുന്നു, ഇതാണ് ഉയർന്ന-കോൺട്രാസ്റ്റ് അതിരുകളിലുടനീളം speckle തടയുന്നത്. Alpha പ്രത്യേകമായി, ബൈലീനിയർ ആയി റീസാമ്പിൾ ചെയ്യുന്നു, കാരണം നെറ്റ്‌വർക്കിന് സ്വയം ഒരു alpha പാതയില്ല.
5. 5
   ഫലം വർക്കറിൽ എൻകോഡ് ചെയ്യുന്നു

   അസംബിൾ ചെയ്ത പിക്സലുകൾ ഒരു OffscreenCanvas-ലേക്ക് വരയ്ക്കുകയും ഉടനടി PNG ആയി എൻകോഡ് ചെയ്യുകയും ചെയ്യുന്നു, അതിനാൽ Download അമർത്തുന്നതിന് മുന്നിൽ ഒരു അസിൻക്രണസ് വിടവുമില്ല. JPG-ലേക്ക് മാറുന്നത് വർക്കർ ഇപ്പോഴും കൈവശം വച്ചിരിക്കുന്ന ക്യാൻവാസിൽ നിന്ന് വീണ്ടും എൻകോഡ് ചെയ്യുന്നു, മോഡൽ വീണ്ടും പ്രവർത്തിപ്പിക്കുന്നതിന് പകരം. ബ്രൗസർ റീസാമ്പിൾ ചെയ്ത അതേ പ്രദേശത്തിനൊപ്പം 100%-ൽ ഒരു ചെറിയ സെന്റർ ക്രോപ്പും റെൻഡർ ചെയ്യുന്നു, ഇതാണ് ഒരു 4× വ്യത്യാസം യഥാർത്ഥത്തിൽ ദൃശ്യമാകുന്ന ഒരേയൊരു താരതമ്യം.

അനുബന്ധ ടൂളുകൾ