Kaip veikia leksinis JS ir CSS minifikatorius bei srauto skaičiuoklė

Nesuspausto „JavaScript“ ir CSS kodo talpinimas gamybiniame serveryje priverčia kiekvieno lankytojo naršyklę siųstis perteklinius programuotojų komentarus, lygiavimo tarpus, tuščias eilutes ir ilgus šešioliktainius spalvų kodus dar prieš atvaizduojant puslapį ekrane. Mūsų JS ir CSS minifikatorius, kodų tvarkytuvas ir srauto skaičiuoklė sujungia deterministinį leksinį skirstytuvą (tokenizerį), Šenono (Shannon) entropijos suspaudimo modelį ir TCP pradinio perkrovos lango analizatorių.

Darbo aplinkoje veikia trys specializuoti transformavimo režimai kartu su gyva tinklo telemetrija:

  • ⚡ Minifikuoti JS (teksto eilutėms saugus leksinis skeneris): Nuskaito „JavaScript“ kodą simbolis po simbolio naudodamas baigtinių būsenų automatą, kuris atpažįsta viengubas kabutes ('...'), dvigubas kabutes ("..."), ES6 šablonines eilutes (`...`) ir ekranavimo simbolius (\"). Blokiniai (/*...*/) bei vienos eilutės komentarai (//...) šalinami tik už teksto eilučių ribų, todėl tokie URL adresai kaip "https://www.toolgiga.com/api" niekada nebūna sugadinami.
  • 🎨 Minifikuoti CSS (spalvų ir matavimo vienetų optimizatorius): Pašalina CSS komentarus, sutraukia tarpus aplink selektorių kombinatorius (>, +, ~) bei riestinius skliaustus, sutrumpina 6 simbolių HEX spalvas į 3 simbolių formatą (#ffffff → #fff, #0066cc → #06c), panaikina vienetus prie nulinių reikšmių (0px, 0rem, 0em → 0) ir pašalina paskutinį perteklinį kabliataškį prieš uždarantį skliaustą (;} → }).
  • ✨ Formatuoti / Išlygiuoti JS ir CSS (Beautifier): Atkuria tvarkingą 4 tarpų hierarchinę struktūrą iš vienoje eilutėje suspaustų failų, kad inžinieriai galėtų lengvai skaityti ir derinti (debuginti) svetimus ar gamybinius skriptus.

Nuo Douglaso Crockfordo 2001 m. JSMin iki šiuolaikinių leksinių skirstytuvų

Programinio kodo minifikavimo era prasidėjo 2001 metais, kai Douglasas Crockfordas (JSON formato autorius) paskelbė JSMin – kompaktišką C kalba parašytą įrankį, skirtą komentarams ir nereikalingiems tarpams šalinti iš „JavaScript“ failų prieš perduodant juos HTTP protokolu. Crockfordas pastebėjo, kad žmogui skaitomame kode 30–50 % simbolių sudaro nesemantiniai elementai (tabuliacijos, JSDoc aprašai ir tarpai aplink operatorius), kuriuos naršyklės „ECMAScript“ analizatorius vis tiek išmeta pirmojo leksinio etapo metu.

Vis dėlto daugelis primityvių internetinių minifikatorių bando atkartoti JSMin veikimą naudodami naivią reguliariąją išraišką, pavyzdžiui, code.replace(/\/\/.*/g, ""). Toks sprendimas sugadina bet kurią programą, kurioje yra interneto adreso eilutė (pvz., fetch("https://api.example.com")), nes RegExp variklis dvigubą pasvirąjį brūkšnį // adrese https:// palaiko komentaro pradžia ir nukerta visą likusią kodo eilutę. Tikras leksinis skirstytuvas šios klaidos išvengia palaikydamas griežtą būsenų mašiną:

  • 0 būsena (kodo kontekstas): Sutikęs /, po kurio eina * arba /, skeneris pereina į komentaro būseną. Sutikęs ", ' arba `, jis pereina į teksto literalo būseną.
  • 1 būsena (teksto ar šablono literalo kontekstas): Kiekvienas simbolis – įskaitant //, /* ir tarpus – perkeliamas į išvestį be jokių pakeitimų, kol sutinkama neekranuota uždarančioji kabutė.
  • Operatoriu ir skyriklių glaudinimas: Už teksto eilučių ribų visi tarpai aplink skyriklius ({ } ( ) [ ] ; , : ? < > = + - * / % & | ^ ! ~) pašalinami, tačiau privalomi tarpai tarp raktinių žodžių ir identifikatorių (pvz., async function, return x, typeof val) saugiai išlaikomi.

LZ77, Huffmano kodavimas ir kodėl minifikavimas būtinas net naudojant Gzip ar Brotli

Tarp pradedančiųjų programuotojų gajus mitas, kad serverio pusės HTTP suspaudimas – Gzip (RFC 1952) arba Brotli (RFC 7932) – paverčia kodo minifikavimą nebereikalingu. Norint suprasti, kodėl šios technologijos viena kitą papildo, verta pažvelgti į jų matematiką:

  • LZ77 slenkančiojo lango žodyno paieška: Tiek Gzip (DEFLATE), tiek Brotli ieško pasikartojančių simbolių sekų slenkančiajame lange (32 KB Gzip atveju; iki 16 MB Brotli atveju) ir pakeičia dublikatus trumpomis nuorodomis (atstumas, ilgis).
  • Huffmano ir kontekstinis entropinis kodavimas: Dažniausiai pasikartojantiems baitams priskiriami trumpiausi dvejetainiai bitų kodai, o Brotli papildomai naudoja 120 KB statinį dažniausių HTML, CSS ir JS terminų žodyną.

Nors Gzip ir Brotli puikiai suspaudžia pasikartojančius kodo šablonus, unikalūs programuotojų komentarai ir nevienodi tarpai sukuria didelės entropijos triukšmą, kuris užkemša LZ77 slenkantįjį langą ir padidina suspausto paketo dydį 10–22 %. Be to, net kai naršyklė išskleidžia Brotli archyvą tinklo gijoje, „V8“ ar „SpiderMonkey“ variklis vis tiek privalo išanalizuoti kiekvieną išskleistą baitą operatyviojoje atmintyje. Komentarų ir tarpų pašalinimas prieš suspaudimą sumažina tiek tinklu siunčiamą srautą, tiek procesoriaus kodo analizės laiką (TBT).

TCP Slow Start fizika ir 14 KB pradinio perkrovos lango (IW10) taisyklė

Mūsų telemetrijos juostoje matomas rodiklis TCP 14KB IW10 langas tiesiogiai lemia „Google Core Web Vitals“ (FCP ir LCP) balus. Pagal IETF RFC 6928 standartą, kai naršyklė užmezga naują TCP ryšį su serveriu, TCP Slow Start algoritmas apriboja pirmąjį nepatvirtintų duomenų pliūpsnį iki pradinio perkrovos lango (initcwnd = 10 segmentų).

Kadangi standartinis Ethernet paketo dydis (MTU) yra 1 500 baitų, atėmus 40 baitų IPv4/TCP antraštėms, viename TCP segmente telpa daugiausia 1 460 baitų naudingųjų duomenų. Dešimt segmentų sudaro lygiai 14 600 baitų (~14,25 KB). Jei jūsų minifikuotas ir Brotli suspaustas kritinis CSS ar JS failas telpa į 14,6 KB, serveris visą failą atsiunčia per vieną tinklo apsisukimą (1 RTT). Jei failas pasiekia 15 KB, serveris po 14 600-ojo baito privalo sustoti ir mobiliajame 4G tinkle laukti papildomas 50–150 ms, kol kliento įrenginys atsiųs TCP ACK patvirtinimą.