အခမဲ့ ဓာတ်ပုံ ချဲ့ကိရိယာ

မည်သို့ အလုပ်လုပ်သည်

Upscaler သည် Real-ESRGAN general-x4v3 — 4.6 MB convolutional super-resolution network — ကို onnxruntime-web မှတစ်ဆင့် သင့်စက်ပေါ်ရှိ Web Worker တစ်ခုအတွင်း run လုပ်သည်။ Model ကို ကျွန်ုပ်တို့ ကိုယ်ပိုင် server မှ တစ်ကြိမ်တည်း ရယူပြီး cache ချထားကာ offline သုံးသည်; သင့်ဓာတ်ပုံကို canvas သို့ local decode လုပ်ပြီး ဘယ်တော့မှ upload မလုပ်ပါ။ Scale factor ကို 4× တွင် ကိန်းသေ ထားထားသည်၊ graph ထဲသို့ နေရာနှစ်ခုတွင် hard-bake လုပ်ထားသောကြောင့်ဖြစ်သည်။

1. 1
   ပုံကို ထပ်လျှပ်နေသော tile များအဖြစ် ဖြတ်ထားသည်

   4× ရလဒ်သည် pixel ၁၆ ဆ ဖြစ်သဖြင့် ဓာတ်ပုံ 4000×3000 တစ်ခုသည် megapixel 192 ဖြစ်လာနိုင်သည် — browser tab ကို နှေးကွေးစေရုံသက်သက်မဟုတ်ဘဲ လုံးဝ ပိတ်သွားစေနိုင်သည်။ ၎င်းအစား ပုံကို ၎င်းကို အတိအကျ tile ဖွဲ့ပေးသော core များအဖြစ် ခွဲထားပြီး core တစ်ခုစီကို ဘေးတစ်ဖက်စီတွင် context အပိုနယ်နိမိတ်ဖြင့် ဖတ်ယူသည်၊ convolution stack (receptive field 34 pixel) တွင် အလုပ်လုပ်ရန် စစ်မှန်သော ကပ်လျက် pixel များ ရှိရန်ဖြစ်သည်။ Border များကို ဘယ်တော့မှ zero-padding မလုပ်ဘဲ edge-replicate လုပ်ထားသည်၊ ထိုသို့ မလုပ်ပါက model သည် frame ပတ်ပတ်လည်တွင် အနက်ရောင် အနားတစ်ခု ချွန်စေမည်ဖြစ်သည်။
2. 2
   Tile တစ်ခုစီကို planar RGB tensor အဖြစ် ထုပ်ပိုးထားသည်

   Tile တစ်ခုသည် ပုံသဏ္ဌာန် [1, 3, H, W] ရှိ float32 tensor တစ်ခု ဖြစ်လာသည်၊ red, green and blue channel များကို plane သီးခြားများအဖြစ် သိမ်းထားပြီး တန်ဖိုးများကို 255 ဖြင့် ရိုးရိုး စားထားသည် — mean/standard-deviation normalisation မည်သည့်အမျိုးအစားမျှ မလုပ်ထားပါ။ Tile တစ်ခုစီကို square size တူတူအတိအကျသို့ padding လုပ်ထားသည်၊ WebGPU backend သည် input shape အသစ်တိုင်းအတွက် ၎င်း၏ shader များကို recompile လုပ်သဖြင့် tile size သုံးမျိုးကွဲပြားသော plan တစ်ခုသည် ထို ကုန်ကျစရိတ်ကို သုံးကြိမ် ကျခံရမည်ဖြစ်သောကြောင့်ဖြစ်သည်။
3. 3
   Inference ကို WebGPU ရှိနေရာတွင် run လုပ်ပြီး မရှိပါက CPU ပေါ်တွင် run လုပ်သည်

   Session ကို WebGPU ဖြင့် ဦးစွာ ဖန်တီးပြီး failure မည်သည့်တစ်ခုတွင်မဆို single-threaded WebAssembly သို့ fallback ဖြစ်သည် — graphics driver များသည် ပံ့ပိုးမှု ကြေညာပြီးနောက် graph တည်ဆောက်မှု တစ်ဝက်တွင် fail ဖြစ်တတ်သည်၊ ပျက်စီးနေသည်ထက် နှေးသည်ကသာ ပိုကောင်းသည်။ Fallback သည် လက်တွေ့ size ကန့်သတ်ချက်နှင့် run time ကို ကြီးမားစွာ ပြောင်းလဲသောကြောင့် ကိရိယာသည် tile ပထမတစ်ခု run မလုပ်မီ ၎င်းရရှိသော provider ကို ပြန်စစ်ဆေးပြီး ထို့နောက် မည်သည်ကို သုံးခဲ့သည်ကို ပြောပြသည်။
4. 4
   Tile များကို cross-fade ပြန်ချိတ်ဆက်ပြီး clamp လုပ်ထားသည်

   Tile များကို ဘတ်ချိတ်ခြင်းသည် မြင်သာသော grid တစ်ခု ချန်ထားသဖြင့် tile တစ်ခုစီ၏ ပါဝင်မှုကို shared strip တစ်လျှောက် linear ramp တစ်ခုဖြင့် weight ချထားသည်။ ramp နှစ်ခုသည် အတိအကျ ပြည့်စုံမှုများဖြစ်သဖြင့် weight များသည် output pixel တိုင်းတွင် အတိအကျ 1 ဖြစ်ပြီး seam တစ်လျှောက် အလင်း (သို့) အမှောင် လိုင်းတစ်ခု မပေါ်ပါ။ Model ၏ raw output ကို graph အတွင်း clip မလုပ်ထားပါ — တိုင်းတာထားသော တန်ဖိုးများသည် ခန့်မှန်းခြေ −0.18 မှ +1.19 အထိ run လုပ်သည် — ထို့ကြောင့် sample တစ်ခုစီကို 8-bit cast မလုပ်မီ 0–255 range သို့ clamp လုပ်ထားသည်၊ ၎င်းသည် high-contrast edge များတစ်လျှောက် speckle ကို ကာကွယ်ပေးသည်။ Alpha ကို network ကိုယ်တိုင်တွင် alpha path မရှိသောကြောင့် သီးခြား bilinear resample လုပ်ထားသည်။
5. 5
   ရလဒ်ကို worker အတွင်း encode လုပ်ထားသည်

   ပေါင်းစည်းထားသော pixel များကို OffscreenCanvas တစ်ခုပေါ်တွင် ဆွဲပြီး ချက်ချင်း PNG သို့ encode လုပ်ထားသဖြင့် Download ကို နှိပ်ခြင်းသည် ၎င်းရှေ့တွင် asynchronous ကွာဟမှု မရှိပါ။ JPG သို့ ပြောင်းခြင်းသည် worker ဆက်ကိုင်ထားသေးသော canvas မှ ပြန် encode လုပ်ပြီး model ကို ထပ်မ run မလုပ်ပါ။ Centre crop အသေးတစ်ခုကိုလည်း 100% တွင် browser ၏ resample လုပ်ထားသော ဒေသတူတူနှင့်အတူ render လုပ်ထားသည်၊ ၎င်းသည် 4× ကွာခြားချက်ကို အမှန်တကယ် မြင်နိုင်သော နှိုင်းယှဉ်မှု တစ်ခုတည်းဖြစ်သည်။

ဆက်နွှယ်သော ကိရိယာများ