Kaip veikia Unicode tarpų ir nematomų simbolių valymo variklis
Kopijuojant tekstą iš daugiastulpelių PDF ataskaitų, skenuojant HTML lenteles, eksportuojant duomenų bazių išklotines ar įklijuojant pastraipas iš didžiųjų kalbos modelių (DI / LLM), gauta eilutė retai kada susideda vien iš švarių ASCII simbolių. Tarp matomų žodžių slepiasi dvigubi ar trigubi tarpai, išsikraipiusios tabuliacijos (0x09), nevienodi „Windows“ ir UNIX eilučių lūžiai (CRLF prieš LF), nelūžtantys tarpai (U+00A0) ir visiškai nematomi 3 baitų nulinio pločio valdymo simboliai, kurie laužo SQL užklausas, gadina JSON failus ir iškreipia SEO tekstų struktūrą.
Mūsų kliento naršyklėje veikianti teksto sanitarinio valymo studija apdoroja tekstą per 7 pakopų deterministinį konvejerį su gyva UTF-8 baitų apskaita:
- Horizontalių ir vertikalių tarpų normalizavimas: Vienu metu suglaudžia kelis iš eilės einančius tarpus į vieną standartinį ASCII tarpą (
U+0020), apkarpо įtraukas eilučių pradžioje ir pabaigoje, paverčia tabuliacijas (\t) į tarpus ir pašalina tuščias eilutes. - Egzotinių Unicode tarpų konvertavimas: Automatiškai aptinka ir paverčia 18 nestandartinių tipografinių tarpų – įskaitant nelūžtantį tarpą (
U+00A0), En/Em tarpus (U+2000–U+200A), siaurąjį nelūžtantį tarpą (U+202F) bei CJK ideografinį tarpą (U+3000) – į švarius 1 baito ASCII tarpus. - Nulinio pločio ir DI vandens ženklų rentgeno valiklis: Suranda ir išvalo 0 pikselių pločio nematomus simbolius, tokius kaip Zero-Width Space (
U+200B), Zero-Width Non-Joiner (U+200C), Zero-Width Joiner (U+200D), Word Joiner (U+2060) ir atsitiktines UTF-8 baitų tvarkos žymes (BOMU+FEFF), realiuoju laiku parodydamas sutaupytų baitų skaičių.
Telegrafo CR (0x0D), LF (0x0A) istorija ir rašomųjų mašinėlių mechanika
Kodėl kompiuteriniuose tekstiniuose failuose egzistuoja du atskiri simboliai – Carriage Return (CR, ASCII 0x0D, \r) ir Line Feed (LF, ASCII 0x0A, \n) – ir kodėl ištisos kartos po taško spausdavo du tarpus? Abu šie reiškiniai kilo iš XIX a. pabaigos ir XX a. pradžios elektromechaminės inžinerijos.
Mechaninėse rašomosiose mašinėlėse (tokiose kaip 1874 m. „Sholes and Glidden Remington“) ir ankstyvuosiuose „Teletype Model 33 ASR“ teletaipuose kiekviena raidė – tiek siaura i, tiek plati W – užėmė lygiai tokį patį horizontalų plotį (monospaced žingsnis, paprastai 10 arba 12 simbolių colyje). Kadangi vienodo pločio šriftas sukurdavo vizualiai retus tarpus tarp raidžių žodžio viduje, mašininkės buvo mokomos po sakinio pabaigos taško tarpo klavišą kirsti du kartus, kad akis lengviau atskirtų naują sakinį. Šiuolaikiniai proporciniai skaitmeniniai šriftai (su „OpenType“ kerningo lentelėmis) automatiškai praplečia erdvę po taško, todėl dvigubi tarpai skaitmeninėje leidyboje laikomi tipografine klaida.
Panašiai fiziniuose teletaipuose sunkaus metalinio spausdinimo vežimėlio grąžinimas iš dešiniojo krašto į kairįjį užtrukdavo apie 200 milisekundžių – ilgiau nei vieno simbolio perdavimas 110 bodų (10 simbolių per sekundę) greičiu. Todėl komanda Carriage Return (CR) grąžindavo vežimėlį į kairę, o atskira komanda Line Feed (LF) pasukdavo guminį popieriaus veleną viena eilute aukštyn. Nors UNIX (1971 m.) taupydama atmintį paliko vieną LF (\n), CP/M ir MS-DOS išsaugojo dviejų baitų CRLF (\r\n) seką suderinamumui su spausdintuvais.
25 Unicode tarpų anatomija ir nelūžtančio tarpo (NBSP) pavojai kode
Klasikiniame 7 bitų ASCII standarte (1963 m.) egzistavo tik vienas spausdinamas tarpo simbolis: dešimtainis 32 (šešioliktainis 0x20). Tačiau šiuolaikinis „Unicode“ standartas apibrėžia net 25 skirtingus simbolius su savybe White_Space=Yes (ir papildomus nematomus formatavimo ženklus), skirtus tarptautinei poligrafijai bei matematiniam rinkimui.
Didžiausias programuotojų ir duomenų analitikų galvos skausmas yra U+00A0 (NO-BREAK SPACE, HTML ). Ekrane jis atrodo visiškai identiškai paprastam tarpui, tačiau UTF-8 koduotėje užima du baitus (0xC2 0xA0). Kadangi operacinės sistemos jį įterpia automatiškai netyčia nuspaudus Alt+Space („macOS“) arba kopijuojant kodą iš svetainių bei „Word“ dokumentų, jis sukelia sunkiai pastebimas klaidas:
// 1 pavyzdys: SQL ir programavimo kalbų sintaksės lūžis
SELECT * FROM users\u00A0WHERE id = 1;
// Klaida: syntax error near "\xC2\xA0WHERE" (Parseris traktuoja U+00A0 kaip žodžio dalį!)
// 2 pavyzdys: Nepavykęs duomenų bazės palyginimas
"Jonas\u00A0Petraitis" === "Jonas Petraitis" // grąžina FALSE!
Nulinio pločio simboliai (ZWSP U+200B ir BOM U+FEFF): slapti vandens ženklai
Dar pavojingesni už egzotinius tarpus yra nulinio pločio (Zero-Width) Unicode simboliai, kurie ekrane užima 0 pikselių plotį (todėl vedant žymeklį rodyklėmis atrodo, kad žymeklis vienoje vietoje sustojo), tačiau prie UTF-8 eilutės prideda po 3 paslėptus baitus:
U+200BZero-Width Space (ZWSP): Sukurtas nematomoms žodžių kėlimo vietoms tajų, birmiečių kalbose ar ilguose URL adresuose žymėti. Šiandien jį dažnai naudoja teksto generavimo platformos ir dokumentų apsaugos sistemos kaip nematomą steganografinį vandens ženklą kopijuotojui identifikuoti.U+FEFFByte Order Mark (BOM / Zero-Width No-Break Space): Patekęs į failo pradžią ar vidurį iš „Windows Notepad“ ar CSV eksporto, šis 3 baitų ženklas (0xEF 0xBB 0xBF) iškart sugadinaJSON.parse()funkciją ir iškreipia CSV stulpelių antraštes (paversdamas"id"į"\uFEFFid").