Na navigaci | Klávesové zkratky

Extrémě rychlý "load SQL file"

Tak hele, v šest ráno po mně nemůžete chtít kultivovaný titulek, spokojte se i s tímto.

K zálohování nebo přenášení databází mezi více servery se používá tzv. SQL dump. Jde o textový soubor obsahující popis struktury i obsahu tabulek ve formě série SQL příkazů. K jeho generování z příkazové řádky je určen nástroj mysqldump, na hostingu se obvykle používá interaktivní phpMyAdmin.

Aplikaci phpMyAdmin lze použít i k obnovení ze zálohy, tj. načtení SQL dumpu. Bohužel se s tím neskutečně párá a proces trvá moc dlouho. Databáze obsahující jen pár tisíc záznamů nelze takto vůbec importovat – to dřív vyprší časový limit běhu PHP skriptu.

Pokusil jsem se kdysi napsat rychlejší importér a povedlo se. Co phpMyAdmin louská dlouhé minuty, zvládne tento za zlomek sekundy. Nástroj jsem nyní začlenil do dibi a používá se takto:

dibi::connect();
dibi::loadFile('dump.sql');

Lze načítat i komprimovaný soubor:

dibi::loadFile('compress.zlib://dump.sql.gz');

Soubor se čte postupně, takže nevadí, když je větší než dostupná paměť.

Metoda vrací počet vykonaných příkazů. V případě chyby vyhodí výjimku. Ještě zdůrazňuji, že je určen pro SQL dump ve formátu, který generují zmíněné nástroje.

Tip: SQL dump generujte se zaškrtnutou volbou „Rozšířené inserty“ (Extended inserts), má to zásadní vliv na rychlost načítání, ať už používáte jakýkoliv importér.

Komentáře

  1. tark #1

    avatar

    Tohleto vypadá doopravdy skvěle, gratuluju ?

    před 16 lety
  2. enoice #2

    avatar

    Bezvadné ?

    (zbytek smazán, dgx)

    před 16 lety
  3. Tomik #3

    avatar

    Davide, díky moc! dibi se mi líbí čím dál tím více!

    před 16 lety
  4. Dero #4

    avatar

    Výborné ?

    (zbytek smazán, dgx)

    před 16 lety
  5. illi #5

    avatar

    při
    mysqldump
    jsou rozšířené inserty defaultní volbou, ne?
    teda aspoň mě to s nima generovalo a nedával jsem žádné zvláštní parametry.

    před 16 lety
  6. Jakub Hejda #6

    Tohle je pro mne důvod toho DIBILíka zkusit

    (zbytek smazán, amen) – to je nějaký místní pozdrav? ?

    před 16 lety
  7. karel #7

    Musím uznat, že to funguje skutečně výborně. Zkusil jsem import 71MB dumpu a trvalo to zhruba stejně rychle jako z příkazového řádku.

    před 16 lety
  8. Arcao #8

    avatar

    A co takhle použít perfektní phpMinAdmin Jakuba Vrány? Ten je na to přímo vhodný.

    před 16 lety
  9. Dundee #9

    avatar

    Tak to Dibi asi také zkusím. Kopírovat rozsáhlejší dumpy do PMA po pár set záznamech mi neuvěřitelně pilo krev :)

    před 16 lety | reagoval [16] Kcko
  10. Honza #10

    avatar

    Kdyby někdo potřeboval ten sql dump generovat ve skriptu

    před 16 lety
  11. mm-marek #11

    avatar

    huh tohle jsme potřeboval před měsícem… páral jsem se s tím až hrůza :(

    mám se taky něco připsat, abych měl toliko oceňované ohodnocení smazáno? :)

    poznámku o pochvale toho že se nette vypustí až ve finále jsem radši smazal :)

    před 16 lety
  12. šťoura #12

    V titulku článku je pravopisná chyba

    před 16 lety | reagoval [13] Honza
  13. Honza #13

    avatar

    #12 šťouro, stačí se začíst kousek dál

    před 16 lety
  14. Peet #14

    Proc nebyl pouzit mysqlimport? Je jeste rychlejsi.

    před 16 lety | reagoval [17] David Grudl
  15. RATMex B #15

    Ona poznámka „je určen pro SQL dump ve formátu, který generují zmíněné nástroje“ je dosť klúčová. Práve kvôli tomu sa nedá tento import porovnávať s tým, čo robí phpMyAdmin, nakoľko jeho činnosť je ďaleko obsiahlejšia a všeobecnejšia (odstraňovanie komentárov, syntaktická analýza vstupu ako napr. ne-escape-nuté znaky v reťazcoch, syntaktická a sémantická analýza query pred vykonaním, a pod.).

    Priznávam, že spôsob akým to vykonáva môže byť neefektívny, ale dibi::loadFile() ho v žiadnom prípade nenahrádza.

    před 16 lety | reagoval [17] David Grudl
  16. Kcko #16

    #9 Dundee, A co takhle pres shell?

    před 16 lety | reagoval [17] David Grudl
  17. David Grudl #17

    avatar

    #14 Peete, #16 Kcko je snad zřejmé, že tahle funkce je určena pro případy, kdy není možné jiné utility použít. Což je případ „jen“ 99,99 % hostingů…

    #15 RATMexi Be, dá se porovnat velmi dobře: phpMyAdmin svůj vlastní výstup importuje 30 minut, dibi je hotové za 10 sekund (reálná čísla – z přenášení databáze iprotest.cz před pár dny). Nechci žádnou syntaktickou nebo sémantickou analýzu. A mimochodem, ani phpMyAdmin nic takového nedělá. Jen kontroluje, zda v dumpu nejsou volitelně zakázané příkazy USE, DROP apod.

    Požadavky na formát SQL dumpu jsou v podstatě jen dva:

    • nejsou dva příkazy na jednom řádku (tj. za příkazem následuje \n)
    • řetězce uvnitř SQL jsou escapovány funkcí mysql_(real_)escape_string (což by měla být samozřejmost)
    před 16 lety | reagoval [18] RATMex B [20] Kcko
  18. RATMex B #18

    #17 Davide Grudle, Pravda, porovnanie (koncového stavu) existuje, ale určite existuje aj vstup pre ktorý je výsledok: phpMyAdmin – 30 minút, dibi – import sa nevykonal. Rôzna činnosť obidvoch nástrojov robí porovnanie výsledkov irelevantným.
    Len vtedy ak oba nástroje na rovnaký vstup vykonajú tú istú činnosť (importujú resp. neimportujú tie isté údaje) bude mať časové porovnávanie ich behu nejakú výpovednú hodnotu.

    před 16 lety | reagoval [19] David Grudl
  19. David Grudl #19

    avatar

    #18 RATMexi Be, ovšem to nic nemění na tom, že phpMyAdmin je tak neskutečně pomalý proto, že má importovací rutinu špatně napsanou.

    před 16 lety
  20. Kcko #20

    #17 Davide Grudle, Jasne.

    Nastesti tedy muj hosting patri do onoho skvostneho 0,01%

    před 16 lety

Tento článek byl uzavřen. Už není možné k němu přidávat komentáře.


phpFashion © 2004, 2024 David Grudl | o blogu

Ukázky zdrojových kódů smíte používat s uvedením autora a URL tohoto webu bez dalších omezení.