Na navigaci | Klávesové zkratky

Translate to English… Ins Deutsche übersetzen…

Extrémě rychlý "load SQL file"

Tak hele, v šest ráno po mně nemůžete chtít kultivovaný titulek, spokojte se i s tímto.

K zálohování nebo přenášení databází mezi více servery se používá tzv. SQL dump. Jde o textový soubor obsahující popis struktury i obsahu tabulek ve formě série SQL příkazů. K jeho generování z příkazové řádky je určen nástroj mysqldump, na hostingu se obvykle používá interaktivní phpMyAdmin.

Aplikaci phpMyAdmin lze použít i k obnovení ze zálohy, tj. načtení SQL dumpu. Bohužel se s tím neskutečně párá a proces trvá moc dlouho. Databáze obsahující jen pár tisíc záznamů nelze takto vůbec importovat – to dřív vyprší časový limit běhu PHP skriptu.

Pokusil jsem se kdysi napsat rychlejší importér a povedlo se. Co phpMyAdmin louská dlouhé minuty, zvládne tento za zlomek sekundy. Nástroj jsem nyní začlenil do dibi a používá se takto:

dibi::connect();
dibi::loadFile('dump.sql');

Lze načítat i komprimovaný soubor:

dibi::loadFile('compress.zlib://dump.sql.gz');

Soubor se čte postupně, takže nevadí, když je větší než dostupná paměť.

Metoda vrací počet vykonaných příkazů. V případě chyby vyhodí výjimku. Ještě zdůrazňuji, že je určen pro SQL dump ve formátu, který generují zmíněné nástroje.

Tip: SQL dump generujte se zaškrtnutou volbou „Rozšířené inserty“ (Extended inserts), má to zásadní vliv na rychlost načítání, ať už používáte jakýkoliv importér.

Komentáře

  1. tark #1

    avatar

    Tohleto vypadá doopravdy skvěle, gratuluju ;-)

    před 9 lety
  2. enoice http://enoice.fialove.eu #2

    avatar

    Bezvadné :-)

    (zbytek smazán, dgx)

    před 9 lety
  3. Tomik http://tomik.jmx.cz #3

    avatar

    Davide, díky moc! dibi se mi líbí čím dál tím více!

    před 9 lety
  4. Dero http://dero.name/ #4

    avatar

    Výborné :-D

    (zbytek smazán, dgx)

    před 9 lety
  5. illi #5

    avatar

    při
    mysqldump
    jsou rozšířené inserty defaultní volbou, ne?
    teda aspoň mě to s nima generovalo a nedával jsem žádné zvláštní parametry.

    před 9 lety
  6. Jakub Hejda http://www.clickmedia.cz #6

    Tohle je pro mne důvod toho DIBILíka zkusit

    (zbytek smazán, amen) – to je nějaký místní pozdrav? :-)

    před 9 lety
  7. karel #7

    Musím uznat, že to funguje skutečně výborně. Zkusil jsem import 71MB dumpu a trvalo to zhruba stejně rychle jako z příkazového řádku.

    před 9 lety
  8. Arcao http://arcao.com/ #8

    avatar

    A co takhle použít perfektní phpMinAdmin Jakuba Vrány? Ten je na to přímo vhodný.

    před 9 lety
  9. Dundee http://blog.milde.cz #9

    avatar

    Tak to Dibi asi také zkusím. Kopírovat rozsáhlejší dumpy do PMA po pár set záznamech mi neuvěřitelně pilo krev :)

    před 9 lety | reagoval [16] Kcko
  10. Honza http://odvarko.cz #10

    avatar

    Kdyby někdo potřeboval ten sql dump generovat ve skriptu

    před 9 lety
  11. mm-marek http://automoto.newspoint.cz/ #11

    avatar

    huh tohle jsme potřeboval před měsícem… páral jsem se s tím až hrůza :(

    mám se taky něco připsat, abych měl toliko oceňované ohodnocení smazáno? :)

    poznámku o pochvale toho že se nette vypustí až ve finále jsem radši smazal :)

    před 9 lety
  12. šťoura #12

    V titulku článku je pravopisná chyba

    před 9 lety | reagoval [13] Honza
  13. Honza http://odvarko.cz #13

    avatar

    #12 šťouro, stačí se začíst kousek dál

    před 9 lety
  14. Peet #14

    Proc nebyl pouzit mysqlimport? Je jeste rychlejsi.

    před 9 lety | reagoval [17] David Grudl
  15. RATMex B #15

    Ona poznámka „je určen pro SQL dump ve formátu, který generují zmíněné nástroje“ je dosť klúčová. Práve kvôli tomu sa nedá tento import porovnávať s tým, čo robí phpMyAdmin, nakoľko jeho činnosť je ďaleko obsiahlejšia a všeobecnejšia (odstraňovanie komentárov, syntaktická analýza vstupu ako napr. ne-escape-nuté znaky v reťazcoch, syntaktická a sémantická analýza query pred vykonaním, a pod.).

    Priznávam, že spôsob akým to vykonáva môže byť neefektívny, ale dibi::loadFile() ho v žiadnom prípade nenahrádza.

    před 9 lety | reagoval [17] David Grudl
  16. Kcko http://www.rjwebdesign.net #16

    #9 Dundee, A co takhle pres shell?

    před 9 lety | reagoval [17] David Grudl
  17. David Grudl http://davidgrudl.com #17

    avatar

    #14 Peete, #16 Kcko je snad zřejmé, že tahle funkce je určena pro případy, kdy není možné jiné utility použít. Což je případ „jen“ 99,99 % hostingů…

    #15 RATMexi Be, dá se porovnat velmi dobře: phpMyAdmin svůj vlastní výstup importuje 30 minut, dibi je hotové za 10 sekund (reálná čísla – z přenášení databáze iprotest.cz před pár dny). Nechci žádnou syntaktickou nebo sémantickou analýzu. A mimochodem, ani phpMyAdmin nic takového nedělá. Jen kontroluje, zda v dumpu nejsou volitelně zakázané příkazy USE, DROP apod.

    Požadavky na formát SQL dumpu jsou v podstatě jen dva:

    • nejsou dva příkazy na jednom řádku (tj. za příkazem následuje \n)
    • řetězce uvnitř SQL jsou escapovány funkcí mysql_(real_)escape_string (což by měla být samozřejmost)
    před 9 lety | reagoval [18] RATMex B [20] Kcko
  18. RATMex B #18

    #17 Davide Grudle, Pravda, porovnanie (koncového stavu) existuje, ale určite existuje aj vstup pre ktorý je výsledok: phpMyAdmin – 30 minút, dibi – import sa nevykonal. Rôzna činnosť obidvoch nástrojov robí porovnanie výsledkov irelevantným.
    Len vtedy ak oba nástroje na rovnaký vstup vykonajú tú istú činnosť (importujú resp. neimportujú tie isté údaje) bude mať časové porovnávanie ich behu nejakú výpovednú hodnotu.

    před 9 lety | reagoval [19] David Grudl
  19. David Grudl http://davidgrudl.com #19

    avatar

    #18 RATMexi Be, ovšem to nic nemění na tom, že phpMyAdmin je tak neskutečně pomalý proto, že má importovací rutinu špatně napsanou.

    před 9 lety
  20. Kcko http://www.rjwebdesign.net #20

    #17 Davide Grudle, Jasne.

    Nastesti tedy muj hosting patri do onoho skvostneho 0,01%

    před 9 lety

Tento článek byl uzavřen. Už není možné k němu přidávat komentáře.