Na navigaci | Klávesové zkratky

Odstranění diakritiky z různých kódování

Triplet článků věnujících se kódování češtiny (a slovenštiny) ukončím posledním úkolem. A tím je odstranění diakritiky.

Jistě, jedná se o primitivní náhradu sady znaků, na internetu stokrát řešenou. Ale jak jsem psal minule, úspěch stojí na správných převodních tabulkách, na správném vymezení všech znaků s diakritikou. A přesvědčte Richarda Müllera, ať se nechá přejmenovat, když ü v česko-slovenštině neexistuje ;)

Tedy budou nás zajímat tyto znaky s háčkama, čárkama a přehláskama:

malá písmena:
á ä č ď é ě í ľ ĺ ň ó ö ő ô ř ŕ š ť ú ů ü ű ý ž

velká písmena:
Á Ä Č Ď É Ě Í Ľ Ĺ Ň Ó Ö Ő Ô Ř Ŕ Š Ť Ú Ů Ü Ű Ý Ž

Pro převod použijeme funkci strtr(). Ta je nesmírně rychlá, je-li volána s převodními řetězci namísto pole. Toho využijeme u kódování WINDOWS-1250 a ISO-8859-2. Jen v případě UTF-8 budeme muset použít převodní tabulku v podobně asociativního pole.

// WINDOWS-1250 to ASCII for diacritic chars by dgx
function cs_win2ascii($s)
{
	return strtr($s,
		"\xe1\xe4\xe8\xef\xe9\xec\xed\xbe\xe5\xf2\xf3\xf6\xf5\xf4\xf8\xe0\x9a\x9d\xfa\xf9\xfc\xfb\xfd\x9e\xc1\xc4\xc8\xcf\xc9\xcc\xcd\xbc\xc5\xd2\xd3\xd6\xd5\xd4\xd8\xc0\x8a\x8d\xda\xd9\xdc\xdb\xdd\x8e",
		"aacdeeillnoooorrstuuuuyzAACDEEILLNOOOORRSTUUUUYZ"
	);

}


// ISO-8859-2 to ASCII for diacritic chars
function cs_iso2ascii($s)
{
	return strtr($s,
		"\xe1\xe4\xe8\xef\xe9\xec\xed\xb5\xe5\xf2\xf3\xf6\xf5\xf4\xf8\xe0\xb9\xbb\xfa\xf9\xfc\xfb\xfd\xbe\xc1\xc4\xc8\xcf\xc9\xcc\xcd\xa5\xc5\xd2\xd3\xd6\xd5\xd4\xd8\xc0\xa9\xab\xda\xd9\xdc\xdb\xdd\xae",
		"aacdeeillnoooorrstuuuuyzAACDEEILLNOOOORRSTUUUUYZ"
	);

}


// UTF-8 to ASCII for diacritic chars
function cs_utf2ascii($s)
{
	static $tbl = array(...v plném znění v souboru ke stažení...);
	return strtr($s, $tbl);
}

Opět platí, že znaky zapisujeme přenositelně pomocí escape sekvencí. Hotové příklady si můžete stáhnout:

Download charset2ascii

A ještě jeden způsob

Protože odstranění diakritiky je vlastně převyprávěním znaků na jejich ASCII ekvivalenty, můžeme v určitých případech použít i funkci iconv:

$s = iconv('UTF-8', 'ASCII//TRANSLIT', $s);

Mějte na paměti, že iconv vloží do textu znaky jako " ' ^, aby vizuálně diakritiku imitoval. Dále je nutné dát pozor na implementaci iconv – zjistíte ji přes phpinfo(). Zatímco libiconv funguje korektně, glibc nahradí české znaky za otazníky. Může se tak stát, že na jednom hostingu funkce pracuje správě, zatímco na jiném vrací nesmysly.

Každopádně ve funkci iconv se skrývá velmi účinný prostředek, který si hravě poradí s celou řadou dalších neobvyklých żnąků.


Související:

Komentáře

  1. Borek #1

    Pokud je k dispozici iconv, nejvíc se mi líbí ono „převyprávění“, protože tam se nedá zapomenout na žádný znak. Pokud ostranění diakritiky slouží třeba k vytvoření URL, mělo by ještě následovat

    $url = preg_replace('~[^-a-z0-9_]+~', '', $url);

    jak píše Jakub Vrána.

    před 18 lety | reagoval [4] David Grudl
  2. dizzyn #2

    U nás v javě se to dělá takto:

    String temp = Normalizer.normalize(vstup, Normalizer.DECOMP, 0);
    return temp.replaceAll("[^\\p{ASCII}]", "");

    Je to vypečenost prvního řádu

    před 18 lety
  3. error414 #3

    avatar

    To DGX: PLS – muřes ktěm ukázkám kódu dát číslo verze?

    Třeba něco napíšeš nějaký k=od a dáš tomu verzi 1.0, potom neco změníš a dáš tomu verzi 1.1 a tak dále.

    Už se zacínam ztrácet.

    Ale je to jen na tobě. Ja už mam na tvoje sriptíky vytvořen modul CVS.

    před 18 lety | reagoval [4] David Grudl
  4. David Grudl #4

    avatar

    #1 Borku, ano, na generován URL je iconv jak stvořený

    #3 error414, to číslo verze najdeš v hlavičce každého souboru.

    před 18 lety | reagoval [5] error414
  5. error414 #5

    avatar

    #4 Davide Grudle, Ja myslel vtech ukazkach rovnou v clanku zobrazenych.
    Ale je takove horko ze chapu ze se do niceho nechce.

    před 18 lety | reagoval [6] rarouš [8] David Grudl
  6. rarouš #6

    avatar

    #5 error414, ty nemáš klimatizaci? :)

    před 18 lety | reagoval [7] error414
  7. error414 #7

    avatar

    #6 rarouši, ne ja nemam klimatizaci, asi sem pak menecenej ?

    před 18 lety
  8. David Grudl #8

    avatar

    #5 error414, takové úpravy dělám hodně výjimečně. Asi myslíš úpravu RE v AutoCzech – tam jsem dal tučně Aktualizace do článku i komentářů. Toho si spíš někdo všimne, než změny čísla verze.

    V souvislosti s unicode mě napadá, dávejte si pozor na iconv_substr

    před 18 lety | reagoval [15] DJ.Maca
  9. llook #9

    avatar

    A pročpak se omezovat na středoevropské znaky? https://web.archive.org/…vod-php.html

    před 18 lety
  10. QuickShare #10

    avatar

    Tebe to kódování nějak vzalo poslyš

    před 18 lety
  11. lukas #11

    Ve zdrojaku Wordpressu je celkem fajn tabulka, reasi treb a i konverzi toho cileneho znaku AE na [A][E].

    před 18 lety | reagoval [16] Mormegil
  12. alian #12

    veľmi pekné a užitočné :)
    idem skúsiť…

    před 18 lety
  13. DJ.Maca #13

    A co tak pouzit multibyte string knihovnu misto iconv?

    před 18 lety | reagoval [14] David Grudl
  14. David Grudl #14

    avatar

    #13 DJ.Maco, k čemu konkrétně?

    před 18 lety | reagoval [15] DJ.Maca
  15. DJ.Maca #15

    #14 Davide Grudle, To mela byt odpoved na vase upozorneni chyby v #8 David Grudl.

    před 18 lety
  16. Mormegil #16

    #11 lukasi, Probůh, tohle nehledejte ve zdrojácích různých softwarů, ale v databázi znaků Unicode!

    před 18 lety
  17. dzidzir #17

    Jen možná jedna drobnost, přehlasovaná pismena bez diakritiky se obvykle přepisují ä, ü → ae, ue (nevim, jak ë, to moc časté není – viděl jsem takový znak akorát kdysi v ruštině)

    před 18 lety
  18. dzidzir #18

    Jejda, zapomeňte na tu blbost s ë ;) – kvuli tomu jem zapoměl na ö → oe…

    před 18 lety
  19. peCan #19

    avatar

    dík, zrovna jsem to chtěl řešit.

    před 18 lety
  20. urso #20

    Nejlepší program na
    odstranění češtiny a konverze českých znaků je podle mne PREKODÉR.

    před 16 lety

Tento článek byl uzavřen. Už není možné k němu přidávat komentáře.


phpFashion © 2004, 2024 David Grudl | o blogu

Ukázky zdrojových kódů smíte používat s uvedením autora a URL tohoto webu bez dalších omezení.