मुफ़्त इमेज अपस्केलर

यह कैसे काम करता है

अपस्केलर आपकी अपनी मशीन पर एक Web Worker के अंदर onnxruntime-web के ज़रिए Real-ESRGAN general-x4v3 — एक 4.6 MB कन्वॉल्यूशनल सुपर-रिज़ॉल्यूशन नेटवर्क — चलाता है। मॉडल हमारे अपने सर्वर से एक बार लाया और कैश किया जाता है, फिर ऑफ़लाइन उपयोग किया जाता है; आपकी फ़ोटो स्थानीय रूप से एक कैनवस में डिकोड होती है और कभी अपलोड नहीं होती। स्केल फ़ैक्टर 4× पर फ़िक्स्ड है, क्योंकि यह ग्राफ़ में दो जगहों पर पक्का जड़ा हुआ है।

1. 1
   इमेज को ओवरलैपिंग टाइलों में काटा जाता है

   एक 4× परिणाम सोलह गुना पिक्सेल है, इसलिए एक 4000×3000 फ़ोटो 192 मेगापिक्सेल होगी — ब्राउज़र टैब को सिर्फ़ धीमा करने की बजाय पूरी तरह मार देने के लिए काफ़ी। इसके बजाय तस्वीर को cores में बाँटा जाता है जो इसे बिल्कुल टाइल करते हैं, और हर core हर तरफ़ संदर्भ के एक अतिरिक्त मार्जिन के साथ पढ़ा जाता है ताकि convolution स्टैक (जिसका receptive field 34 पिक्सेल है) के पास काम करने के लिए असली पड़ोसी पिक्सेल हों। बॉर्डर edge-replicated हैं, कभी zero-padded नहीं, जो अन्यथा मॉडल को फ़्रेम के आसपास एक काला रिम शार्प करने पर मजबूर करता।
2. 2
   हर टाइल एक planar RGB टेंसर के रूप में पैक की जाती है

   एक टाइल [1, 3, H, W] आकार का एक float32 टेंसर बन जाती है, लाल, हरा, और नीला चैनल अलग-अलग प्लेन के रूप में स्टोर होते हैं और वैल्यू बस 255 से भाग की जाती हैं — किसी भी तरह का mean/standard-deviation नॉर्मलाइज़ेशन नहीं। हर टाइल बिल्कुल उसी वर्ग साइज़ तक पैड की जाती है, क्योंकि WebGPU बैकएंड हर नई इनपुट शेप के लिए अपने shaders को फिर से कंपाइल करता है और तीन अलग टाइल साइज़ वाली एक योजना उस लागत को तीन बार चुकाएगी।
3. 3
   जहाँ WebGPU उपलब्ध है वहाँ इन्फ़रेंस उसी पर चलता है, अन्यथा CPU पर

   सेशन पहले WebGPU के साथ बनाया जाता है और किसी भी विफलता पर एकल-थ्रेडेड WebAssembly पर वापस गिरता है — ग्राफ़िक्स ड्राइवर आमतौर पर सपोर्ट का दावा करते हैं और फिर ग्राफ़ बनाने के बीच में विफल हो जाते हैं, और धीमा टूटे हुए से बेहतर है। क्योंकि फ़ॉलबैक व्यावहारिक साइज़ सीमा और रन टाइम को बड़े कारक से बदलता है, टूल पहली टाइल चलने से पहले यह फिर से जाँचता है कि उसे वास्तव में कौन-सा प्रोवाइडर मिला, और बाद में आपको बताता है कि उसने किसका उपयोग किया।
4. 4
   टाइलें क्रॉस-फ़ेड करके जोड़ी और सीमित (clamp) की जाती हैं

   टाइलों को butt-joining करना एक दिखने वाली ग्रिड छोड़ता है, इसलिए हर टाइल के योगदान को साझा strip में एक लीनियर रैंप से वेट किया जाता है। दो रैंप सटीक पूरक हैं, इसलिए वेट हर आउटपुट पिक्सेल पर बिल्कुल 1 तक जुड़ते हैं और किसी सीम के साथ कोई चमकदार या गहरी लाइन नहीं दिखती। मॉडल का रॉ आउटपुट ग्राफ़ के अंदर क्लिप नहीं होता — मापे वैल्यू लगभग −0.18 से +1.19 तक चलते हैं — इसलिए हर सैंपल को 8-बिट कास्ट से पहले 0–255 रेंज में clamp किया जाता है, जो high-contrast किनारों के साथ स्पेकल रोकता है। Alpha अलग से और bilinearly फिर से सैंपल की जाती है, क्योंकि नेटवर्क में खुद कोई alpha पथ नहीं है।
5. 5
   परिणाम worker में एनकोड किया जाता है

   असेंबल किए पिक्सेल एक OffscreenCanvas पर खींचे जाते हैं और तुरंत PNG में एनकोड किए जाते हैं, इसलिए Download दबाने पर उसके सामने कोई asynchronous गैप नहीं होता। JPG पर स्विच करना कैनवस से फिर से एनकोड करता है जिसे worker अभी भी पकड़े हुए है, मॉडल को फिर से चलाने की बजाय। एक छोटा सेंटर क्रॉप भी 100% पर ब्राउज़र द्वारा फिर से सैंपल किए उसी क्षेत्र के साथ रेंडर होता है, जो एकमात्र तुलना है जिसमें 4× अंतर वास्तव में देखने योग्य है।

संबंधित टूल