Normalizovat Unicode na NFD

Praktický příklad

NFD znaky kanonicky rozloží a tam, kde je to určeno, oddělí základní písmeno od kombinujícího znaménka. Převeďte údaje lokálně v prohlížeči. Například vstup "Práce" dá výsledek "Práce". Porovnejte obě strany znak po znaku; viditelný zápis může skrývat odlišné bajty nebo kombinující znaménka. NFD vyberte při zkoumání kanonických částí. Diakritické znaménko se může stát samostatným kombinujícím bodem a změnit tak pohyb kurzoru či měřenou délku.

Jak zápis funguje

Unicode určuje čtyři normalizační podoby. NFC a NFD jsou kanonické: zachovávají kanonickou ekvivalenci, přitom znaky skládají nebo rozkládají podle pravidel. NFKC a NFKD navíc používají kompatibilní mapování, například mění latinská písmena s plnou šířkou nebo číslice v kroužku na běžné podoby; některé rozdíly se mohou ztratit. C znamená opětovné složení a D rozklad. Normalizovaný výsledek může vypadat stejně, ačkoli se změní posloupnost bodů. Normalizace pomáhá při přesném porovnávání a vyhledávacích indexech, ale v celém systému je třeba používat stejnou podobu. Není univerzálním bezpečnostním filtrem ani přepisem mezi jazyky. NFD znaky kanonicky rozloží a tam, kde je to určeno, oddělí základní písmeno od kombinujícího znaménka.

Textová transformace má směr. Nejdříve zjistěte, zda je zdroj čitelný text Unicode, seznam bajtů, kódové body nebo již zakódovaný řetězec. Vložte krátkou hodnotu se známým významem, prohlédněte si výsledek a až potom zpracujte větší vstup. Zdroj si ponechte. Zakódovaný zápis může být vratný a přitom odhalit každý původní bajt každému, kdo zná formát; samotné kódování soukromí nechrání. Výpočet probíhá v tomto prohlížeči a vložený obsah neposílá na konverzní server. Výsledek se přesto může stát veřejným, vložíte-li ho do sdíleného dokumentu, hlášení chyby či adresy URL.

Omezení a spolehlivé použití

Normalizace nepřekládá jazyk ani neodstraní všechny vizuálně zaměnitelné znaky. Kompatibilní tvary mohou záměrně změnit rozdíly v textu. Použijte přesně tu abecedu, kódování bajtů a normalizační tvar, které očekává přijímající systém. Podobné formáty nemusí být zaměnitelné. Dekódovaný řetězec může obsahovat značkování či řídicí znaky a další aplikace jej musí považovat za nedůvěryhodný vstup. Platný převod také nedokazuje oprávněnost, bezpečnost ani věcnou správnost údajů. U vratného postupu zkuste zpětný převod a porovnejte kódové body nebo bajty UTF-8, pokud dva řetězce vypadají stejně, ale při přesném porovnání se liší. U ukládaných či podepisovaných dat zdokumentujte transformaci v datovém rozhraní.