Pradžia TARPAI PRO

Papildomų tarpų, tuščių eilučių ir nematomų Unicode simbolių valiklis

Išvalykite netvarkingą tekstą, programinį kodą ir DI sugeneruotus tekstus realiuoju laiku. Suglauskite dvigubus tarpus, apkirpkite eilučių kraštus, pašalinkite tuščias eilutes, tabuliacijas, nelūžtančius tarpus (U+00A0) bei paslėptus nulinio pločio vandens ženklus (U+200B, U+FEFF).

168 chars · 178 B
126 chars · 126 B
🧹 Pašalinta tarpų
38
Pertekliniai ASCII 0x20
🕵️ Pašalinta ZWSP / BOM
2
U+200B / U+FEFF
🔒 Pakeista NBSP tarpų
2
U+00A0 → U+0020
⇥ Pakeista tabuliacijų (\t)
2
ASCII 0x09 (HT)
↵ Pašalinta tuščių eilučių
2
CR/LF Blank Rows
💾 Sutaupyta UTF-8 baitų
-52 B (-29.2%)
21 words · 2 lines

Unicode tarpų ir nematomų valdymo simbolių baitų suvestinė

Kodo taškas ir pavadinimas UTF-8 Hex baitai Vizualus plotis Programinis pavojus parseriams ir elgsena
U+0020 Standard Space (SP) 0x20 (1 byte) 1/4 – 1/3 em Standartinis žodžių skyriklis; keli tarpai iš eilės HTML atvaizdavime susiglaudžia (išskyrus pre/code)
U+0009 Horizontal Tab (HT / \t) 0x09 (1 byte) 4 or 8 spaces Rašomosios mašinėlės tabuliatorius; sugadina YAML įtraukas ir TSV stulpelius sumaišius su tarpais
U+00A0 No-Break Space (NBSP) 0xC2 0xA0 (2 bytes) 1/3 em (Non-wrap) Neleidžia laužyti eilutės; sukelia sintaksės klaidas SQL užklausose, Python/JS kode ir CSV parseriuose
U+200B Zero-Width Space (ZWSP) 0xE2 0x80 0x8B (3 bytes) 0 px (Invisible) Nematomas žodžio lūžis ir dažnas DI vandens ženklas; tyliai sulaužo eilučių palyginimą (a === b) bei URL
U+FEFF Byte Order Mark (BOM) 0xEF 0xBB 0xBF (3 bytes) 0 px (Invisible) Nulinio pločio nelūžtantis tarpas; sugadina JSON.parse() ir sukelia PHP „Headers already sent“ klaidas
U+2000–U+200A & U+3000 Spaces 0xE2 0x80 0x80.. (3 bytes) 1/16 em – 1 em En, Em, plonas (Thin/Hair) ir CJK ideografinis tarpas, atsirandantis kopijuojant tekstą iš PDF ar maketų

Kaip veikia Unicode tarpų ir nematomų simbolių valymo variklis

Kopijuojant tekstą iš daugiastulpelių PDF ataskaitų, skenuojant HTML lenteles, eksportuojant duomenų bazių išklotines ar įklijuojant pastraipas iš didžiųjų kalbos modelių (DI / LLM), gauta eilutė retai kada susideda vien iš švarių ASCII simbolių. Tarp matomų žodžių slepiasi dvigubi ar trigubi tarpai, išsikraipiusios tabuliacijos (0x09), nevienodi „Windows“ ir UNIX eilučių lūžiai (CRLF prieš LF), nelūžtantys tarpai (U+00A0) ir visiškai nematomi 3 baitų nulinio pločio valdymo simboliai, kurie laužo SQL užklausas, gadina JSON failus ir iškreipia SEO tekstų struktūrą.

Mūsų kliento naršyklėje veikianti teksto sanitarinio valymo studija apdoroja tekstą per 7 pakopų deterministinį konvejerį su gyva UTF-8 baitų apskaita:

  • Horizontalių ir vertikalių tarpų normalizavimas: Vienu metu suglaudžia kelis iš eilės einančius tarpus į vieną standartinį ASCII tarpą (U+0020), apkarpо įtraukas eilučių pradžioje ir pabaigoje, paverčia tabuliacijas (\t) į tarpus ir pašalina tuščias eilutes.
  • Egzotinių Unicode tarpų konvertavimas: Automatiškai aptinka ir paverčia 18 nestandartinių tipografinių tarpų – įskaitant nelūžtantį tarpą (U+00A0), En/Em tarpus (U+2000–U+200A), siaurąjį nelūžtantį tarpą (U+202F) bei CJK ideografinį tarpą (U+3000) – į švarius 1 baito ASCII tarpus.
  • Nulinio pločio ir DI vandens ženklų rentgeno valiklis: Suranda ir išvalo 0 pikselių pločio nematomus simbolius, tokius kaip Zero-Width Space (U+200B), Zero-Width Non-Joiner (U+200C), Zero-Width Joiner (U+200D), Word Joiner (U+2060) ir atsitiktines UTF-8 baitų tvarkos žymes (BOM U+FEFF), realiuoju laiku parodydamas sutaupytų baitų skaičių.

Telegrafo CR (0x0D), LF (0x0A) istorija ir rašomųjų mašinėlių mechanika

Kodėl kompiuteriniuose tekstiniuose failuose egzistuoja du atskiri simboliai – Carriage Return (CR, ASCII 0x0D, \r) ir Line Feed (LF, ASCII 0x0A, \n) – ir kodėl ištisos kartos po taško spausdavo du tarpus? Abu šie reiškiniai kilo iš XIX a. pabaigos ir XX a. pradžios elektromechaminės inžinerijos.

Mechaninėse rašomosiose mašinėlėse (tokiose kaip 1874 m. „Sholes and Glidden Remington“) ir ankstyvuosiuose „Teletype Model 33 ASR“ teletaipuose kiekviena raidė – tiek siaura i, tiek plati W – užėmė lygiai tokį patį horizontalų plotį (monospaced žingsnis, paprastai 10 arba 12 simbolių colyje). Kadangi vienodo pločio šriftas sukurdavo vizualiai retus tarpus tarp raidžių žodžio viduje, mašininkės buvo mokomos po sakinio pabaigos taško tarpo klavišą kirsti du kartus, kad akis lengviau atskirtų naują sakinį. Šiuolaikiniai proporciniai skaitmeniniai šriftai (su „OpenType“ kerningo lentelėmis) automatiškai praplečia erdvę po taško, todėl dvigubi tarpai skaitmeninėje leidyboje laikomi tipografine klaida.

Panašiai fiziniuose teletaipuose sunkaus metalinio spausdinimo vežimėlio grąžinimas iš dešiniojo krašto į kairįjį užtrukdavo apie 200 milisekundžių – ilgiau nei vieno simbolio perdavimas 110 bodų (10 simbolių per sekundę) greičiu. Todėl komanda Carriage Return (CR) grąžindavo vežimėlį į kairę, o atskira komanda Line Feed (LF) pasukdavo guminį popieriaus veleną viena eilute aukštyn. Nors UNIX (1971 m.) taupydama atmintį paliko vieną LF (\n), CP/M ir MS-DOS išsaugojo dviejų baitų CRLF (\r\n) seką suderinamumui su spausdintuvais.

25 Unicode tarpų anatomija ir nelūžtančio tarpo (NBSP) pavojai kode

Klasikiniame 7 bitų ASCII standarte (1963 m.) egzistavo tik vienas spausdinamas tarpo simbolis: dešimtainis 32 (šešioliktainis 0x20). Tačiau šiuolaikinis „Unicode“ standartas apibrėžia net 25 skirtingus simbolius su savybe White_Space=Yes (ir papildomus nematomus formatavimo ženklus), skirtus tarptautinei poligrafijai bei matematiniam rinkimui.

Didžiausias programuotojų ir duomenų analitikų galvos skausmas yra U+00A0 (NO-BREAK SPACE, HTML  ). Ekrane jis atrodo visiškai identiškai paprastam tarpui, tačiau UTF-8 koduotėje užima du baitus (0xC2 0xA0). Kadangi operacinės sistemos jį įterpia automatiškai netyčia nuspaudus Alt+Space („macOS“) arba kopijuojant kodą iš svetainių bei „Word“ dokumentų, jis sukelia sunkiai pastebimas klaidas:

// 1 pavyzdys: SQL ir programavimo kalbų sintaksės lūžis
SELECT * FROM users\u00A0WHERE id = 1;
// Klaida: syntax error near "\xC2\xA0WHERE" (Parseris traktuoja U+00A0 kaip žodžio dalį!)

// 2 pavyzdys: Nepavykęs duomenų bazės palyginimas
"Jonas\u00A0Petraitis" === "Jonas Petraitis" // grąžina FALSE!

Nulinio pločio simboliai (ZWSP U+200B ir BOM U+FEFF): slapti vandens ženklai

Dar pavojingesni už egzotinius tarpus yra nulinio pločio (Zero-Width) Unicode simboliai, kurie ekrane užima 0 pikselių plotį (todėl vedant žymeklį rodyklėmis atrodo, kad žymeklis vienoje vietoje sustojo), tačiau prie UTF-8 eilutės prideda po 3 paslėptus baitus:

  • U+200B Zero-Width Space (ZWSP): Sukurtas nematomoms žodžių kėlimo vietoms tajų, birmiečių kalbose ar ilguose URL adresuose žymėti. Šiandien jį dažnai naudoja teksto generavimo platformos ir dokumentų apsaugos sistemos kaip nematomą steganografinį vandens ženklą kopijuotojui identifikuoti.
  • U+FEFF Byte Order Mark (BOM / Zero-Width No-Break Space): Patekęs į failo pradžią ar vidurį iš „Windows Notepad“ ar CSV eksporto, šis 3 baitų ženklas (0xEF 0xBB 0xBF) iškart sugadina JSON.parse() funkciją ir iškreipia CSV stulpelių antraštes (paversdamas "id" į "\uFEFFid").

DUK (Dažnai užduodami klausimai)

Kaip greitai pašalinti dvigubus tarpus ir tuščias eilutes iš teksto?

Tiesiog įklijuokite tekstą į kairįjį laukelį. Kadangi parinktys „Suglausti kelis tarpus į vieną tarpą“, „Apkirpti tarpus eilučių pradžioje ir pabaigoje“ bei „Pašalinti tuščias eilutes“ yra įjungtos pagal nutylėjimą, dešiniajame laukelyje iškart gausite švarų tekstą.

Kas yra nulinio pločio simboliai (ZWSP) ir kodėl juos būtina šalinti?

Nulinio pločio simboliai (pvz., U+200B Zero-Width Space ir U+FEFF BOM) ekrane yra 0 pikselių pločio, todėl plika akimi nematomi, tačiau kiekvienas jų prideda po 3 paslėptus baitus. Jie dažnai naudojami kaip slapti kopijavimo vandens ženklai ir laužo programinį kodą, JSON parserius bei paiešką.

Kodėl nukopijavus SQL užklausą ar kodą iš PDF / svetainės atsiranda sintaksės klaidų?

Naršyklės, PDF skaityklės ir teksto redaktoriai dažnai pakeičia įprastus ASCII tarpus (U+0020) į nelūžtančius tarpus (NBSP, U+00A0). Dauguma SQL variklių ir kompiliatorių U+00A0 nelaiko tarpu, todėl išmeta sintaksės klaidą. Mūsų įrankis visus NBSP paverčia švariais ASCII tarpais.

Ar šis įrankis sujungia pastraipas į vieną eilutę, ar išsaugo eilučių lūžius?

Mūsų valiklis išsaugo pavienius eilučių lūžius (pastraipas), pašalindamas tik visiškai tuščias eilutes. Jei norite palikti ir tuščias eilutes, tiesiog nuimkite varnelę nuo „Pašalinti tuščias eilutes“.

Ar mano valomas tekstas ar programinis kodas yra siunčiamas į serverį?

Ne. Visas tarpų valymas, reguliariųjų išraiškų (RegExp) apdorojimas ir UTF-8 baitų skaičiavimas vyksta 100 % lokaliai jūsų naršyklėje. Jūsų duomenys niekada nepalieka jūsų įrenginio.