Зураг томруулагч — үнэгүй

Хэрхэн ажилладаг

Upscaler таны машин дээр Web Worker дотор onnxruntime-web-ээр Real-ESRGAN general-x4v3 — 4.6 MB convolutional super-resolution сүлжээ — ажиллуулдаг. Загвар манай серверээс нэг удаа татагдаж, кэшлэгдэж, дараа нь офлайнаар ашиглагддаг; таны зураг локалиар canvas руу декодлогдож хэзээ ч байршуулагддаггүй. Масштабын хүчин зүйл 4×-ээр тогтмол, учир нь энэ нь graph-д хоёр газарт хатуу шатсан.

1. 1
   Зураг давхцсан хавтгай болж хайчлагддаг

   4× үр дүн арван зургаагийн пикселтэй тул 4000×3000 зураг 192 мегапиксель болно — хөтчийн табыг зөвхөн удаашруулахгүй бүр устгахад хангалттай. Оронд нь зураг яг хавтгайлдаг core болж хуваагддаг, core бүр convolution stack-ын (34 пикселийн хүлээн авах талбар) бодит зэргэлдээ пикселтэй ажиллахын тулд талд нь нэмэлт контекстийн захтай уншигддаг. Хил ирмэг-дахин-давхцуулагддаг, хэзээ ч тэг-падтэй биш, тэгвэл загвар хүрээний эргэн тойронд хар зурсыг тодруулах болно.
2. 2
   Хавтгай бүр хавтгай RGB тензор болж боологддог

   Хавтгай хэлбэр [1, 3, H, W]-тэй float32 тензор болж, улаан, ногоон, хөх суваг тусдаа хавтгай болж хадгалагдан утгууд 255-д зүгээр л хуваагддаг — ямар ч дундаж/стандарт-хазайлтын нормалчлал байхгүй. Хавтгай бүр яг ижил дөрвөлжин хэмжээнд pad хийгддэг, учир нь WebGPU backend оролт бүрийн шинэ хэлбэрийн хувьд shader-үүдээ дахин эмхэтгэдэг, гурван өөр хавтгайн хэмжээтэй төлөвлөгөө тэр зардлыг гурав удаа төлнө.
3. 3
   Гэтэлгэл WebGPU байгаа газар, эс бөгөөс CPU дээр ажилладаг

   Session эхлээд WebGPU-тай үүсгэгдэж ямар ч алдаанд ганц-thread WebAssembly руу шилждэг — график драйверууд ойр ойрхон дэмжлэгээ зарлаад graph бүтээх дундуур бүтэлгүйтдэг, удаан нь эвдэрснээс дээр. Нөөц шилжилт бодит хэмжээний хязгаар, ажиллах хугацааг том хүчин зүйлээр өөрчилдөг тул хэрэгсэл эхний хавтгай ажиллахаас өмнө ажлыг бодитоор авсан provider-тай нь дахин шалгаж, дараа нь аль нэгийг ашигласнаа хэлдэг.
4. 4
   Хавтгай cross-fade-ээр буцаан нэгдэж хязгаарлагддаг

   Хавтгайг шууд холбох нь харагдах тор үлдээдэг тул хавтгай бүрийн нөлөө хуваалцсан зурвасаар шугаман rampаар жинлэгддэг. Хоёр ramp яг нэмэлт учир жин гаралтын пиксел бүрд яг 1-д нийлдэг, гэрэл эсвэл харанхуй шугам оёдол дагуу гардаггүй. Загварын түүхий гаралт graph дотор тайрагддаггүй — хэмжсэн утга ойролцоогоор −0.18-аас +1.19 хооронд явдаг — тул сорьц бүр 8-бит cast-аас өмнө 0–255 муж руу хязгаарлагддаг, энэ нь өндөр-ялгаралтын ирмэгийн дагуу дусал гарахаас сэргийлдэг. Alpha тусад нь, bilinear-аар дахин сорьцлогддог, учир нь сүлжээ өөрөө alpha зам байхгүй.
5. 5
   Үр дүн worker-т кодлогддог

   Угсарсан пиксел OffscreenCanvas дээр зурагдаж шууд PNG болж кодологддог тул Татах дарах нь өмнөх ямар ч синхрон бус зайгүй. JPG руу сэлгэх нь загварыг дахин ажиллуулахын оронд worker хараахан барьж буй canvas-аас дахин кодолдог. Жижиг төвийн crop 100%-т ижил бүсийн хамт харуулагдаж хөтчөөр дахин сорьцлогддог, энэ бол 4× зөрүү үнэхээр харагдах цорын ганц харьцуулалт.

Холбоотой хэрэгслүүд