Backups mit tar und verschiedene Kompressionen (Benchmark)

Home / Backups mit tar und verschiedene Kompressionen (Benchmark)

Für meine Datensicherung nutze ich „tar„, eines der meist genutzten Programme zum erstellen von Archiven. Dank der weiten Verbreitung ist das Tool zumeist mit den meisten Distributionen vorinstalliert.Per Default ist es aber recht langsam und nutzt nicht wirklich die Leistung des Systems. Grund hierfür ist die fehlende Multithreading Unterstützung.

 

Im konkreten möchte ich einen Samba Share innerhalb einer KVM-VM sichern. In diesem sind alle möglichen Arten von Dateien (Programme, Datenbanken, Scripte, PDFs, TXTs, Videos, …) vorhanden.

Die vorhandenen 22 GB Daten verteilen sich auf rund 90.000 Dateien. Für die Erstellung des Archivs stehen innerhalb der VM 1GB RAM sowie 2 virtuelle CPU Cores zur Verfügung vom KVM Hostsystem (Intel Xeon CPU E3-1240L v5 @ 2.10GHz, 16 GB DDR4 ECC 2133MHz, RAID1 über WD20EFRX-68EUZN0) bereit.

Top 15 Dateitypen zur Veranschaulichung:

root@catelyn:/storage_data/folder# find . -type f | sed -n 's/..*\.//p' | sort | uniq -c | sort -nr | head -n 15
  27511 jpg
  11864 php
  11345 png
  10867 html
   4623 gif
   4472 js
   2321 pdf
   1697 css
   1382 bmp
   1337 ini
   1307 JPG
   1278 xml
   1258 txt
    855 docx
    771 htm

Die Tools können alle mittels des jeweiligen Paketmanagers (yum, apt etc.) installiert werden.

 

Typ Befehl Zeit Größe in MB Kompression
null Reine Ordner/Dateigröße 0 21949 0
tar tar cf backup_plain.tar ../folder 7m22.590s 21736 0,97%
tar compress tar czf backup_compress.tar.gz ../folder/ 16m8.776s 18387 16,23%
pigz tar -I pigz -cf backup_pigz.tar.gz ../folder/ 9m43.084s 18392 16,21%
pbzip2 tar -I pbzip2 -cf backup_pbzip2.tar.bz2 ../folder/ 28m33.028s 17898 18,46%
pxz tar -I pxz -cf backup_pxz.tar.xz ../folder/ 82m30.024s 17325 21,07%
zip zip -r backup ../folder/* 17m16.504s 18464 15,88%

Meine persönliche Wahl fällt auf pigz, da hier Kompression und Rechenzeit in einem guten Verhältnis stehen.

 

Wenn reine Dokumente gesichert werden, würde ich den Test nochmals wiederholen. Der durchgeführte Test bezieht sich auf viele verschiedene Dateitypen welche teilweise bereits komprimiert waren.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.