Extrémě rychlý "load SQL file"

Tak hele, v šest ráno po mně nemůžete chtít kultivovaný titulek, spokojte se i s tímto.

K zálohování nebo přenášení databází mezi více servery se používá tzv. SQL dump. Jde o textový soubor obsahující popis struktury i obsahu tabulek ve formě série SQL příkazů. K jeho generování z příkazové řádky je určen nástroj mysqldump, na hostingu se obvykle používá interaktivní phpMyAdmin.

Aplikaci phpMyAdmin lze použít i k obnovení ze zálohy, tj. načtení SQL dumpu. Bohužel se s tím neskutečně párá a proces trvá moc dlouho. Databáze obsahující jen pár tisíc záznamů nelze takto vůbec importovat – to dřív vyprší časový limit běhu PHP skriptu.

Pokusil jsem se kdysi napsat rychlejší importér a povedlo se. Co phpMyAdmin louská dlouhé minuty, zvládne tento za zlomek sekundy. Nástroj jsem nyní začlenil do dibi a používá se takto:

dibi::connect();
dibi::loadFile('dump.sql');

Lze načítat i komprimovaný soubor:

dibi::loadFile('compress.zlib://dump.sql.gz');

Soubor se čte postupně, takže nevadí, když je větší než dostupná paměť.

Metoda vrací počet vykonaných příkazů. V případě chyby vyhodí výjimku. Ještě zdůrazňuji, že je určen pro SQL dump ve formátu, který generují zmíněné nástroje.

Tip: SQL dump generujte se zaškrtnutou volbou „Rozšířené inserty“ (Extended inserts), má to zásadní vliv na rychlost načítání, ať už používáte jakýkoliv importér.

karma 21. líbil se vám článek?
12. 1. 2008 | dibi | shlédnuto 6616x
vytisknout | odeslat emailem
nahoru

Komentáře » přidat

#1 tark miroslav.navratil@gmail.com nový

Tohleto vypadá doopravdy skvěle, gratuluju

Posláno 12. 1. 2008 v 10.12 | Odpovědět

#2 enoice http://enoice.fialove.eu nový

Bezvadné

(zbytek smazán, dgx)

Posláno 12. 1. 2008 v 11.48 | Odpovědět

#3 Tomik http://tomik.jmx.cz nový

Davide, díky moc! dibi se mi líbí čím dál tím více!

Posláno 12. 1. 2008 v 17.41 | Odpovědět

#4 Dero http://dero.name/ nový

Výborné

(zbytek smazán, dgx)

Posláno 12. 1. 2008 v 18.26 | Odpovědět

#5 illi jakub.sochor@gmail.com nový

při
mysqldump
jsou rozšířené inserty defaultní volbou, ne?
teda aspoň mě to s nima generovalo a nedával jsem žádné zvláštní parametry.

Posláno 12. 1. 2008 v 19.31 | Odpovědět

#6 Jakub Hejda http://www.clickmedia.cz nový

Tohle je pro mne důvod toho DIBILíka zkusit

(zbytek smazán, amen) – to je nějaký místní pozdrav?

Posláno 12. 1. 2008 ve 20.24 | Odpovědět

#7 karel nový

Musím uznat, že to funguje skutečně výborně. Zkusil jsem import 71MB dumpu a trvalo to zhruba stejně rychle jako z příkazového řádku.

Posláno 12. 1. 2008 ve 21.31 | Odpovědět

#8 Arcao http://arcao.com/ nový

A co takhle použít perfektní phpMinAdmin Jakuba Vrány? Ten je na to přímo vhodný.

Posláno 12. 1. 2008 ve 23.16 | Odpovědět

#9 Dundee http://blog.milde.cz nový

Tak to Dibi asi také zkusím. Kopírovat rozsáhlejší dumpy do PMA po pár set záznamech mi neuvěřitelně pilo krev :)

Posláno 13. 1. 2008 ve 13.20 | Odpovědět

Na komentář reagoval [16] Kcko

#10 Honza http://odvarko.cz nový

Kdyby někdo potřeboval ten sql dump generovat ve skriptu

Posláno 13. 1. 2008 ve 13.22 | Odpovědět

#11 mm-marek http://automoto.newspoint.cz/ nový

huh tohle jsme potřeboval před měsícem… páral jsem se s tím až hrůza :(

mám se taky něco připsat, abych měl toliko oceňované ohodnocení smazáno? :)

poznámku o pochvale toho že se nette vypustí až ve finále jsem radši smazal :)

Posláno 13. 1. 2008 v 19.39 | Odpovědět

#12 šťoura nový

V titulku článku je pravopisná chyba

Posláno 13. 1. 2008 ve 20.59 | Odpovědět

Na komentář reagoval [13] Honza

#13 Honza http://odvarko.cz nový

#12 šťoura: stačí se začíst kousek dál

Posláno 13. 1. 2008 ve 21.17 | Odpovědět

#14 Peet nový

Proc nebyl pouzit mysqlimport? Je jeste rychlejsi.

Posláno 14. 1. 2008 v 8.25 | Odpovědět

Na komentář reagoval [17] David Grudl

#15 RATMex B nový

Ona poznámka „je určen pro SQL dump ve formátu, který generují zmíněné nástroje“ je dosť klúčová. Práve kvôli tomu sa nedá tento import porovnávať s tým, čo robí phpMyAdmin, nakoľko jeho činnosť je ďaleko obsiahlejšia a všeobecnejšia (odstraňovanie komentárov, syntaktická analýza vstupu ako napr. ne-escape-nuté znaky v reťazcoch, syntaktická a sémantická analýza query pred vykonaním, a pod.).

Priznávam, že spôsob akým to vykonáva môže byť neefektívny, ale dibi::loadFile() ho v žiadnom prípade nenahrádza.

Posláno 14. 1. 2008 v 16.42 | Odpovědět

Na komentář reagoval [17] David Grudl

#16 Kcko http://www.rjwebdesign.net nový

#9 Dundee: A co takhle pres shell?

Posláno 14. 1. 2008 v 19.22 | Odpovědět

Na komentář reagoval [17] David Grudl

#17 David Grudl http://davidgrudl.com nový

#14 Peet: #16 Kcko: je snad zřejmé, že tahle funkce je určena pro případy, kdy není možné jiné utility použít. Což je případ „jen“ 99,99 % hostingů…

#15 RATMex B: dá se porovnat velmi dobře: phpMyAdmin svůj vlastní výstup importuje 30 minut, dibi je hotové za 10 sekund (reálná čísla – z přenášení databáze iprotest.cz před pár dny). Nechci žádnou syntaktickou nebo sémantickou analýzu. A mimochodem, ani phpMyAdmin nic takového nedělá. Jen kontroluje, zda v dumpu nejsou volitelně zakázané příkazy USE, DROP apod.

Požadavky na formát SQL dumpu jsou v podstatě jen dva:

nejsou dva příkazy na jednom řádku (tj. za příkazem následuje \n)
řetězce uvnitř SQL jsou escapovány funkcí mysql_(real_)escape_string (což by měla být samozřejmost)

Posláno 14. 1. 2008 ve 22.02 | Odpovědět

Na komentář reagoval [18] RATMex B [20] Kcko

#18 RATMex B nový

#17 David Grudl: Pravda, porovnanie (koncového stavu) existuje, ale určite existuje aj vstup pre ktorý je výsledok: phpMyAdmin – 30 minút, dibi – import sa nevykonal. Rôzna činnosť obidvoch nástrojov robí porovnanie výsledkov irelevantným.
Len vtedy ak oba nástroje na rovnaký vstup vykonajú tú istú činnosť (importujú resp. neimportujú tie isté údaje) bude mať časové porovnávanie ich behu nejakú výpovednú hodnotu.

Posláno 15. 1. 2008 v 1.41 | Odpovědět

Na komentář reagoval [19] David Grudl