Na navigaci | Klávesové zkratky

Translate to English… Ins Deutsche übersetzen…

Odstranění diakritiky z různých kódování

Triplet článků věnujících se kódování češtiny (a slovenštiny) ukončím posledním úkolem. A tím je odstranění diakritiky.

Jistě, jedná se o primitivní náhradu sady znaků, na internetu stokrát řešenou. Ale jak jsem psal minule, úspěch stojí na správných převodních tabulkách, na správném vymezení všech znaků s diakritikou. A přesvědčte Richarda Müllera, ať se nechá přejmenovat, když ü v česko-slovenštině neexistuje ;)

Tedy budou nás zajímat tyto znaky s háčkama, čárkama a přehláskama:

malá písmena:
á ä č ď é ě í ľ ĺ ň ó ö ő ô ř ŕ š ť ú ů ü ű ý ž

velká písmena:
Á Ä Č Ď É Ě Í Ľ Ĺ Ň Ó Ö Ő Ô Ř Ŕ Š Ť Ú Ů Ü Ű Ý Ž

Pro převod použijeme funkci strtr(). Ta je nesmírně rychlá, je-li volána s převodními řetězci namísto pole. Toho využijeme u kódování WINDOWS-1250 a ISO-8859-2. Jen v případě UTF-8 budeme muset použít převodní tabulku v podobně asociativního pole.

// WINDOWS-1250 to ASCII for diacritic chars by dgx
function cs_win2ascii($s)
{
    return strtr($s,
        "\xe1\xe4\xe8\xef\xe9\xec\xed\xbe\xe5\xf2\xf3\xf6\xf5\xf4\xf8\xe0\x9a\x9d\xfa\xf9\xfc\xfb\xfd\x9e\xc1\xc4\xc8\xcf\xc9\xcc\xcd\xbc\xc5\xd2\xd3\xd6\xd5\xd4\xd8\xc0\x8a\x8d\xda\xd9\xdc\xdb\xdd\x8e",
        "aacdeeillnoooorrstuuuuyzAACDEEILLNOOOORRSTUUUUYZ"
    );

}


// ISO-8859-2 to ASCII for diacritic chars
function cs_iso2ascii($s)
{
    return strtr($s,
        "\xe1\xe4\xe8\xef\xe9\xec\xed\xb5\xe5\xf2\xf3\xf6\xf5\xf4\xf8\xe0\xb9\xbb\xfa\xf9\xfc\xfb\xfd\xbe\xc1\xc4\xc8\xcf\xc9\xcc\xcd\xa5\xc5\xd2\xd3\xd6\xd5\xd4\xd8\xc0\xa9\xab\xda\xd9\xdc\xdb\xdd\xae",
        "aacdeeillnoooorrstuuuuyzAACDEEILLNOOOORRSTUUUUYZ"
    );

}


// UTF-8 to ASCII for diacritic chars
function cs_utf2ascii($s)
{
    static $tbl = array(...v m v souboru ke 
    return strtr($s, $tbl);
}

Opět platí, že znaky zapisujeme přenositelně pomocí escape sekvencí. Hotové příklady si můžete stáhnout:

Download charset2ascii

A ještě jeden způsob

Protože odstranění diakritiky je vlastně převyprávěním znaků na jejich ASCII ekvivalenty, můžeme v určitých případech použít i funkci iconv:

$s = iconv('UTF-8', 'ASCII//TRANSLIT', $s);

Mějte na paměti, že iconv vloží do textu znaky jako " ' ^, aby vizuálně diakritiku imitoval. Dále je nutné dát pozor na implementaci iconv – zjistíte ji přes phpinfo(). Zatímco libiconv funguje korektně, glibc nahradí české znaky za otazníky. Může se tak stát, že na jednom hostingu funkce pracuje správě, zatímco na jiném vrací nesmysly.

Každopádně ve funkci iconv se skrývá velmi účinný prostředek, který si hravě poradí s celou řadou dalších neobvyklých żnąků.


Související:

Komentáře

  1. Borek http://borber.com/blog/ #1

    Pokud je k dispozici iconv, nejvíc se mi líbí ono „převyprávění“, protože tam se nedá zapomenout na žádný znak. Pokud ostranění diakritiky slouží třeba k vytvoření URL, mělo by ještě následovat

    $url = preg_replace('~[^-a-z0-9_]+~', '', $url);

    jak píše Jakub Vrána.

    před 10 lety | reagoval [4] David Grudl
  2. dizzyn http://mobilovinky.cz #2

    U nás v javě se to dělá takto:

    String temp = Normalizer.normalize(vstup, Normalizer.DECOMP, 0);
    return temp.replaceAll("[^\\p{ASCII}]", "");

    Je to vypečenost prvního řádu

    před 10 lety
  3. error414 http://www.error414.com/ #3

    avatar

    To DGX: PLS – muřes ktěm ukázkám kódu dát číslo verze?

    Třeba něco napíšeš nějaký k=od a dáš tomu verzi 1.0, potom neco změníš a dáš tomu verzi 1.1 a tak dále.

    Už se zacínam ztrácet.

    Ale je to jen na tobě. Ja už mam na tvoje sriptíky vytvořen modul CVS.

    před 10 lety | reagoval [4] David Grudl
  4. David Grudl http://davidgrudl.com #4

    avatar

    #1 Borku, ano, na generován URL je iconv jak stvořený

    #3 error414, to číslo verze najdeš v hlavičce každého souboru.

    před 10 lety | reagoval [5] error414
  5. error414 http://www.error414.com/ #5

    avatar

    #4 Davide Grudle, Ja myslel vtech ukazkach rovnou v clanku zobrazenych.
    Ale je takove horko ze chapu ze se do niceho nechce.

    před 10 lety | reagoval [6] rarouš [8] David Grudl
  6. rarouš http://www.rarous.net/ #6

    avatar

    #5 error414, ty nemáš klimatizaci? :)

    před 10 lety | reagoval [7] error414
  7. error414 http://www.error414.com/ #7

    avatar

    #6 rarouši, ne ja nemam klimatizaci, asi sem pak menecenej :-)

    před 10 lety
  8. David Grudl http://davidgrudl.com #8

    avatar

    #5 error414, takové úpravy dělám hodně výjimečně. Asi myslíš úpravu RE v AutoCzech – tam jsem dal tučně Aktualizace do článku i komentářů. Toho si spíš někdo všimne, než změny čísla verze.

    V souvislosti s unicode mě napadá, dávejte si pozor na iconv_substr

    před 10 lety | reagoval [15] DJ.Maca
  9. llook http://llook.wz.cz/weblog/ #9

    avatar

    A pročpak se omezovat na středoevropské znaky? http://nuvio.cz/…vod-php.html

    před 10 lety
  10. QuickShare http://blog.msvetlik.com #10

    avatar

    Tebe to kódování nějak vzalo poslyš

    před 10 lety
  11. lukas #11

    Ve zdrojaku Wordpressu je celkem fajn tabulka, reasi treb a i konverzi toho cileneho znaku AE na [A][E].

    před 10 lety | reagoval [16] Mormegil
  12. alian http://alian.info #12

    veľmi pekné a užitočné :)
    idem skúsiť…

    před 10 lety
  13. DJ.Maca http://www.deep-jungle.eu #13

    A co tak pouzit multibyte string knihovnu misto iconv?

    před 10 lety | reagoval [14] David Grudl
  14. David Grudl http://davidgrudl.com #14

    avatar

    #13 DJ.Maco, k čemu konkrétně?

    před 10 lety | reagoval [15] DJ.Maca
  15. DJ.Maca http://www.deep-jungle.eu #15

    #14 Davide Grudle, To mela byt odpoved na vase upozorneni chyby v #8 David Grudl.

    před 10 lety
  16. Mormegil #16

    #11 lukasi, Probůh, tohle nehledejte ve zdrojácích různých softwarů, ale v databázi znaků Unicode!

    před 10 lety
  17. dzidzir #17

    Jen možná jedna drobnost, přehlasovaná pismena bez diakritiky se obvykle přepisují ä, ü → ae, ue (nevim, jak ë, to moc časté není – viděl jsem takový znak akorát kdysi v ruštině)

    před 10 lety
  18. dzidzir #18

    Jejda, zapomeňte na tu blbost s ë ;) – kvuli tomu jem zapoměl na ö → oe…

    před 10 lety
  19. peCan http://pecan.cz #19

    avatar

    dík, zrovna jsem to chtěl řešit.

    před 10 lety
  20. urso #20

    Nejlepší program na
    odstranění češtiny a konverze českých znaků je podle mne PREKODÉR.

    před 9 lety

Tento článek byl uzavřen. Už není možné k němu přidávat komentáře.