ఉచిత ఇమేజ్ అప్‌స్కేలర్

ఇది ఎలా పనిచేస్తుంది

అప్‌స్కేలర్ మీ స్వంత మెషీన్‌పై Web Worker లోపల onnxruntime-web ద్వారా Real-ESRGAN general-x4v3ను — 4.6 MB కన్వల్యూషనల్ సూపర్-రిజల్యూషన్ నెట్‌వర్క్‌ను — నడుపుతుంది. మోడల్ మా స్వంత సర్వర్ నుండి ఒకసారి పొందబడి, కాష్ చేయబడి, తర్వాత ఆఫ్‌లైన్‌లో ఉపయోగించబడుతుంది; మీ ఫోటో స్థానికంగా కాన్వాస్‌కు డీకోడ్ చేయబడుతుంది మరియు ఎప్పుడూ అప్‌లోడ్ చేయబడదు. స్కేల్ కారకం 4×కు స్థిరంగా ఉంటుంది, ఎందుకంటే ఇది గ్రాఫ్‌లో రెండు చోట్ల హార్డ్-బేక్ చేయబడింది.

1. 1
   ఇమేజ్ అతివ్యాప్తి చెందే టైల్‌లుగా కత్తిరించబడుతుంది

   4× ఫలితం పిక్సెల్‌లలో పదహారు రెట్లు ఎక్కువ, కాబట్టి 4000×3000 ఫోటో 192 మెగాపిక్సెల్‌లు అవుతుంది — బ్రౌజర్ ట్యాబ్‌ను కేవలం నెమ్మదిగా చేయడం కాకుండా పూర్తిగా చంపేయడానికి సరిపోతుంది. బదులుగా చిత్రం దాన్ని ఖచ్చితంగా టైల్ చేసే కోర్‌లుగా విభజించబడుతుంది, మరియు ప్రతి కోర్ ప్రతి వైపు అదనపు సందర్భ అంచుతో చదవబడుతుంది కాబట్టి కన్వల్యూషన్ స్టాక్‌కు (దీని రిసెప్టివ్ ఫీల్డ్ 34 పిక్సెల్‌లు) పనిచేయడానికి నిజమైన పొరుగు పిక్సెల్‌లు ఉంటాయి. అంచులు ఎడ్జ్-రెప్లికేటెడ్ చేయబడతాయి, జీరో-ప్యాడెడ్ కావు, అలా చేస్తే మోడల్ ఫ్రేమ్ చుట్టూ నల్లని అంచును పదునుపెట్టేలా చేసేది.
2. 2
   ప్రతి టైల్ ప్లానార్ RGB టెన్సర్‌గా ప్యాక్ చేయబడుతుంది

   ఒక టైల్ [1, 3, H, W] ఆకారంలో float32 టెన్సర్‌గా మారుతుంది, ఎరుపు, ఆకుపచ్చ మరియు నీలం ఛానెల్‌లు వేర్వేరు ప్లేన్‌లుగా నిల్వ చేయబడతాయి మరియు విలువలు కేవలం 255తో భాగించబడతాయి — ఏ రకమైన మీన్/స్టాండర్డ్-డీవియేషన్ నార్మలైజేషన్ లేదు. ప్రతి టైల్ ఖచ్చితంగా అదే స్క్వేర్ పరిమాణానికి ప్యాడ్ చేయబడుతుంది, ఎందుకంటే WebGPU బ్యాకెండ్ ప్రతి కొత్త ఇన్‌పుట్ ఆకారం కోసం దాని షేడర్‌లను తిరిగి కంపైల్ చేస్తుంది మరియు మూడు వేర్వేరు టైల్ పరిమాణాలున్న ప్లాన్ ఆ ఖర్చును మూడుసార్లు చెల్లించాల్సి ఉంటుంది.
3. 3
   WebGPU ఉన్న చోట ఇన్ఫరెన్స్ దానిపై నడుస్తుంది, లేకుంటే CPUపై

   సెషన్ మొదట WebGPUతో సృష్టించబడుతుంది మరియు ఏదైనా వైఫల్యంపై సింగిల్-థ్రెడెడ్ WebAssemblyకి తిరిగి వస్తుంది — గ్రాఫిక్స్ డ్రైవర్‌లు తరచుగా మద్దతును ప్రకటించి తర్వాత గ్రాఫ్‌ను నిర్మిస్తున్నప్పుడు మధ్యలో విఫలమవుతాయి, మరియు నెమ్మది అయినా విరిగిపోయినదాన్ని అధిగమిస్తుంది. ఫాల్‌బ్యాక్ వాస్తవిక పరిమాణ పరిమితిని మరియు రన్ సమయాన్ని పెద్ద కారకంతో మారుస్తుంది కాబట్టి, టూల్ మొదటి టైల్ నడవడానికి ముందు అది వాస్తవానికి పొందిన ప్రొవైడర్‌కు వ్యతిరేకంగా జాబ్‌ను తిరిగి తనిఖీ చేస్తుంది, మరియు తర్వాత అది ఏది ఉపయోగించిందో మీకు చెబుతుంది.
4. 4
   టైల్‌లు తిరిగి కలిపి క్రాస్-ఫేడ్ చేయబడి క్లాంప్ చేయబడతాయి

   టైల్‌లను నేరుగా జాయిన్ చేయడం కనిపించే గ్రిడ్‌ను వదిలేస్తుంది, కాబట్టి ప్రతి టైల్ యొక్క సహకారం భాగస్వామ్య స్ట్రిప్‌పై ఒక లీనియర్ ర్యాంప్ ద్వారా వెయిట్ చేయబడుతుంది. రెండు ర్యాంప్‌లు ఖచ్చితమైన కాంప్లిమెంట్‌లు, కాబట్టి వెయిట్‌లు ప్రతి అవుట్‌పుట్ పిక్సెల్‌వద్ద ఖచ్చితంగా 1కి సమానమవుతాయి మరియు ఒక సీమ్ వెంట ఏ ప్రకాశవంతమైన లేదా చీకటి రేఖ కనిపించదు. మోడల్ యొక్క రా అవుట్‌పుట్ గ్రాఫ్‌లోపల క్లిప్ చేయబడదు — కొలిచిన విలువలు సుమారు −0.18 నుండి +1.19 వరకు నడుస్తాయి — కాబట్టి 8-బిట్ కాస్ట్‌కు ముందు ప్రతి శాంపిల్ 0–255 పరిధికి క్లాంప్ చేయబడుతుంది, ఇదే అధిక-కాంట్రాస్ట్ అంచుల వెంట స్పెకిల్‌ను నివారిస్తుంది. ఆల్ఫా విడిగా మరియు బైలీనియర్‌గా రీసాంపుల్ చేయబడుతుంది, ఎందుకంటే నెట్‌వర్క్‌కు ఆల్ఫా పాత్ లేదు.
5. 5
   ఫలితం వర్కర్‌లో ఎన్‌కోడ్ చేయబడుతుంది

   అసెంబుల్ చేసిన పిక్సెల్‌లు OffscreenCanvasకు గీయబడి వెంటనే PNGకు ఎన్‌కోడ్ చేయబడతాయి, కాబట్టి Download నొక్కడం దాని ముందు ఏ ఏసింక్రొనస్ గ్యాప్ ఉండదు. JPGకు మారడం వర్కర్ ఇంకా పట్టుకున్న కాన్వాస్ నుండి తిరిగి ఎన్‌కోడ్ చేస్తుంది, మోడల్‌ను మళ్లీ నడపడం కాకుండా. బ్రౌజర్ రీసాంపుల్ చేసిన అదే ప్రాంతంతో పాటు ఒక చిన్న సెంటర్ క్రాప్ 100% వద్ద కూడా రెండర్ చేయబడుతుంది, ఇది 4× వ్యత్యాసం నిజంగా కనిపించే ఏకైక పోలిక.

సంబంధిత సాధనాలు