{"id":43,"date":"2018-07-09T15:54:55","date_gmt":"2018-07-09T15:54:55","guid":{"rendered":"https:\/\/www.huerter.me\/?p=43"},"modified":"2018-07-09T20:34:05","modified_gmt":"2018-07-09T20:34:05","slug":"backups-mit-tar-und-verschiedene-kompressionen","status":"publish","type":"post","link":"https:\/\/www.huerter.me\/index.php\/2018\/07\/09\/backups-mit-tar-und-verschiedene-kompressionen\/","title":{"rendered":"Backups mit tar und verschiedene Kompressionen (Benchmark)"},"content":{"rendered":"

F\u00fcr meine Datensicherung nutze ich „tar<\/strong>„, eines der meist genutzten Programme zum erstellen von Archiven. Dank der weiten Verbreitung ist das Tool zumeist mit den meisten Distributionen vorinstalliert.Per Default ist es aber recht langsam und nutzt nicht wirklich die Leistung des Systems. Grund hierf\u00fcr ist die fehlende Multithreading Unterst\u00fctzung.<\/p>\n

 <\/p>\n

Im konkreten m\u00f6chte ich einen Samba Share innerhalb einer KVM-VM sichern. In diesem sind alle m\u00f6glichen Arten von Dateien (Programme, Datenbanken, Scripte, PDFs, TXTs, Videos, …) vorhanden.<\/p>\n

Die vorhandenen\u00a022 GB<\/strong> Daten verteilen sich auf rund 90.000 Dateien<\/strong>. F\u00fcr die Erstellung des Archivs stehen innerhalb der VM 1GB RAM sowie 2 virtuelle CPU Cores zur Verf\u00fcgung vom KVM Hostsystem (Intel Xeon CPU E3-1240L v5 @ 2.10GHz, 16 GB DDR4 ECC 2133MHz, RAID1 \u00fcber\u00a0WD20EFRX-68EUZN0) bereit.<\/p>\n

Top 15 Dateitypen zur Veranschaulichung:<\/p>\n

root@catelyn:\/storage_data\/folder# find . -type f | sed -n 's\/..*\\.\/\/p' | sort | uniq -c | sort -nr | head -n 15<\/strong>\r\n  27511 jpg\r\n  11864 php\r\n  11345 png\r\n  10867 html\r\n   4623 gif\r\n   4472 js\r\n   2321 pdf\r\n   1697 css\r\n   1382 bmp\r\n   1337 ini\r\n   1307 JPG\r\n   1278 xml\r\n   1258 txt\r\n    855 docx\r\n    771 htm<\/pre>\n
Die Tools k\u00f6nnen alle mittels des jeweiligen Paketmanagers (yum, apt etc.) installiert werden.<\/p>\n
 <\/p>\n\n\n\n\n\n\n\n\n\n\n
Typ<\/strong><\/td>\nBefehl<\/strong><\/td>\nZeit<\/strong><\/td>\nGr\u00f6\u00dfe in MB<\/strong><\/td>\nKompression<\/strong><\/td>\n<\/tr>\n
null<\/td>\nReine Ordner\/Dateigr\u00f6\u00dfe<\/td>\n0<\/td>\n21949<\/td>\n0<\/td>\n<\/tr>\n
tar<\/td>\ntar cf backup_plain.tar ..\/folder<\/td>\n7m22.590s<\/td>\n21736<\/td>\n0,97%<\/td>\n<\/tr>\n
tar compress<\/td>\ntar czf backup_compress.tar.gz ..\/folder\/<\/td>\n16m8.776s<\/td>\n18387<\/td>\n16,23%<\/td>\n<\/tr>\n
pigz<\/td>\ntar -I pigz -cf backup_pigz.tar.gz ..\/folder\/<\/td>\n9m43.084s<\/td>\n18392<\/td>\n16,21%<\/td>\n<\/tr>\n
pbzip2<\/td>\ntar -I pbzip2 -cf backup_pbzip2.tar.bz2 ..\/folder\/<\/td>\n28m33.028s<\/td>\n17898<\/td>\n18,46%<\/td>\n<\/tr>\n
pxz<\/td>\ntar -I pxz -cf backup_pxz.tar.xz ..\/folder\/<\/td>\n82m30.024s<\/td>\n17325<\/td>\n21,07%<\/td>\n<\/tr>\n
zip<\/td>\nzip -r backup ..\/folder\/*<\/td>\n17m16.504s<\/td>\n18464<\/td>\n15,88%<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n
Meine pers\u00f6nliche Wahl f\u00e4llt auf pigz, da hier Kompression und Rechenzeit in einem guten Verh\u00e4ltnis stehen.<\/p>\n
 <\/p>\n
Wenn reine Dokumente gesichert werden, w\u00fcrde ich den Test nochmals wiederholen. Der durchgef\u00fchrte Test bezieht sich auf viele verschiedene Dateitypen welche teilweise bereits komprimiert waren.<\/p>\n","protected":false},"excerpt":{"rendered":"
F\u00fcr meine Datensicherung nutze ich „tar„, eines der meist genutzten Programme zum erstellen von Archiven. Dank der weiten Verbreitung ist das Tool zumeist mit den meisten Distributionen vorinstalliert.Per Default ist es aber recht langsam und nutzt nicht wirklich die Leistung des Systems. Grund hierf\u00fcr ist die fehlende Multithreading Unterst\u00fctzung.   Im konkreten m\u00f6chte ich einen […]<\/p>\n","protected":false},"author":1,"featured_media":48,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[10],"tags":[7,6,5,12,11,13,9,4,8],"class_list":["post-43","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-linux","tag-archive","tag-compress","tag-linux","tag-pbzip2","tag-pigz","tag-pxz","tag-rar","tag-tar","tag-zip"],"_links":{"self":[{"href":"https:\/\/www.huerter.me\/index.php\/wp-json\/wp\/v2\/posts\/43","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.huerter.me\/index.php\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.huerter.me\/index.php\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.huerter.me\/index.php\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.huerter.me\/index.php\/wp-json\/wp\/v2\/comments?post=43"}],"version-history":[{"count":6,"href":"https:\/\/www.huerter.me\/index.php\/wp-json\/wp\/v2\/posts\/43\/revisions"}],"predecessor-version":[{"id":54,"href":"https:\/\/www.huerter.me\/index.php\/wp-json\/wp\/v2\/posts\/43\/revisions\/54"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.huerter.me\/index.php\/wp-json\/wp\/v2\/media\/48"}],"wp:attachment":[{"href":"https:\/\/www.huerter.me\/index.php\/wp-json\/wp\/v2\/media?parent=43"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.huerter.me\/index.php\/wp-json\/wp\/v2\/categories?post=43"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.huerter.me\/index.php\/wp-json\/wp\/v2\/tags?post=43"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}