open:it:backup
Unterschiede
Hier werden die Unterschiede zwischen zwei Versionen angezeigt.
Beide Seiten der vorigen RevisionVorhergehende ÜberarbeitungNächste Überarbeitung | Vorhergehende Überarbeitung | ||
open:it:backup [2024/07/12 16:22] – [Scripte Remote-System] Kai | open:it:backup [2025/05/13 09:28] (aktuell) – Kai | ||
---|---|---|---|
Zeile 1: | Zeile 1: | ||
====== Backup ====== | ====== Backup ====== | ||
+ | Hier werden zwei unterschiedliche Konzepte diskutiert. \\ | ||
+ | BorgBackup ist eine einfache OSS Lösung um zum Beispiel eine Remote-Storagebox (hier von Hetzner) als Speichermedium zu nutzen. Man muss sich jedoch auch bewusst sein, dass durch Borg jede Datei genau einmal gespeichert wird. Sollte eine Datei z.B. durch einen Festplattenfehler beschädigt sein, ist diese in allen Backups beschädigt. Deshalb gehört es zum Best Practice sehr wichtige Daten in mehr als einem Repository zu speichern! \\ | ||
+ | Neben Borg wird ein mit eigenen Scripten erstelltes Backup vorgestellt, | ||
===== BorgBackup ===== | ===== BorgBackup ===== | ||
- | [[https:// | + | ++++ Quellen: | |
- | Die Deduplizierung sorgt bei Borg Backups für einen sehr effizienten Speicherverbrauch und hohe Geschwindigkeit. Man muss sich jedoch auch bewusst sein, dass dadurch jede Datei genau einmal gespeichert wird. Sollte eine Datei z.B. durch einen Festplattenfehler beschädigt sein, ist diese in allen Backups beschädigt. Deshalb gehört es zum Best Practice sehr wichtige Daten in mehr als einem Repository zu speichern! \\ | + | |
- | + | ||
- | Quellen & Tutorials: | + | |
* [[https:// | * [[https:// | ||
* [[https:// | * [[https:// | ||
* [[https:// | * [[https:// | ||
+ | ++++ | ||
+ | [[https:// | ||
+ | Die Deduplizierung sorgt bei Borg Backups für einen sehr effizienten Speicherverbrauch und hohe Geschwindigkeit. \\ | ||
+ | |||
Bei diesem Beispiel wurde ein externe Storage-Box von Hetzner eingesetzt (your-storagebox.de). Der User u123456 muss entsprechend Vorgaben der Storage-Box angepasst werden. \\ | Bei diesem Beispiel wurde ein externe Storage-Box von Hetzner eingesetzt (your-storagebox.de). Der User u123456 muss entsprechend Vorgaben der Storage-Box angepasst werden. \\ | ||
Soll das Backup auf einem lokalen Laufwerk oder Verzeichnis gesichert werden, ist der Pfad: | Soll das Backup auf einem lokalen Laufwerk oder Verzeichnis gesichert werden, ist der Pfad: | ||
Zeile 19: | Zeile 23: | ||
sudo apt install borgbackup | sudo apt install borgbackup | ||
- | Key generieren (sofern nicht bereits vorhanden) und auf Storage-Box übertragen, | + | ==== Schlüssel tauschen ==== |
+ | Key generieren (sofern nicht bereits vorhanden) und auf Storage-Box übertragen, | ||
ssh-keygen -t rsa -b 4096 | ssh-keygen -t rsa -b 4096 | ||
Zeile 41: | Zeile 46: | ||
ssh -p23 u123456@u123456.your-storagebox.de mkdir -p backups/ | ssh -p23 u123456@u123456.your-storagebox.de mkdir -p backups/ | ||
- | Backup-Ordner auf der Storage-Box initialisieren | + | Backup-Ordner auf der Storage-Box initialisieren. Passwort wird abgefragt. Auf einer sicheren Storagebox wäre das doppelte Sicherheit, kann daher ggf. ohne Passwort erfolgen > dann einfach leerlassen. Muss individuell und fallabhängig entschieden werden. Für sicherheitsrelevante Daten ist es vermutlich angezeigt, ein Passwort zu vergeben. |
borg init --encryption=repokey ssh:// | borg init --encryption=repokey ssh:// | ||
Zeile 64: | Zeile 69: | ||
Liste Dateien eines Backups in eine Text-Datei schreiben | Liste Dateien eines Backups in eine Text-Datei schreiben | ||
borg list ssh:// | borg list ssh:// | ||
+ | |||
+ | Optionen: nur Pfad und Dateiname, sortiert | ||
+ | borg list --short ssh:// | ||
==== Daten wiederherstellen ==== | ==== Daten wiederherstellen ==== | ||
Zeile 74: | Zeile 82: | ||
borg extract ssh:// | borg extract ssh:// | ||
- | ==== Backups löschen ==== | + | ==== Backups |
- | Backups | + | Backups |
borg list ssh:// | borg list ssh:// | ||
Zeile 83: | Zeile 91: | ||
Alle Backups zu einem Server/PC löschen (hier mctest) | Alle Backups zu einem Server/PC löschen (hier mctest) | ||
borg delete ssh:// | borg delete ssh:// | ||
+ | |||
+ | ==== Backups auomatisiert löschen ==== | ||
+ | Damit der Speicherplatz mit der Zeit nicht verbraucht wird, sollten regelmäßig, | ||
+ | |||
+ | borg prune --dry-run -v --list --keep-within=1d --keep-daily=7 --keep-weekly=4 --keep-monthly=12 ssh:// | ||
+ | |||
+ | Dieser Befehl (mit --dry-run) zeigt die Backups/ | ||
+ | Bedingungen in diesem Beispiel: 7 aus den letzten Tagen, 4 der letzten Wochen und 12 der letzten Monate. \\ | ||
+ | Das System identifiziert dies automatisch. \\ | ||
+ | |||
+ | Pfad und Zugangsdaten anpassen. \\ | ||
+ | O.a. Code führt nur einen Trockenlauf aus. \\ | ||
+ | Scharfschaltung: | ||
+ | |||
+ | Freigeben des nicht mehr benötigten Speicherplatzes: | ||
+ | borg compact ssh:// | ||
+ | |||
==== Backup automatisieren ==== | ==== Backup automatisieren ==== | ||
Zeile 95: | Zeile 120: | ||
# | # | ||
- | ## | ||
## Setzten von Umgebungsvariablen | ## Setzten von Umgebungsvariablen | ||
- | ## | + | ## Pfad zu Ihrem private Key, falls nicht der Standard SSH Key verwendet wird |
- | ## falls nicht der Standard SSH Key verwendet wird können | + | |
- | ## Sie hier den Pfad zu Ihrem private Key angeben | + | |
export BORG_RSH=' | export BORG_RSH=' | ||
- | ## Damit das Passwort | + | ## Passwort |
- | ## kann es in der Umgepungsvariable gesetzt werden | + | ## Andernfalls würde |
- | export BORG_PASSPHRASE=" | + | export BORG_PASSPHRASE=" |
- | ## | + | ## This has to be set when the repository has been created by user and the script is called by cron |
+ | export BORG_UNKNOWN_UNENCRYPTED_REPO_ACCESS_IS_OK=yes | ||
+ | | ||
## Setzten von Variablen | ## Setzten von Variablen | ||
- | | + | LOG='/ |
- | | + | |
export BACKUP_USER=' | export BACKUP_USER=' | ||
export REPOSITORY_DIR=' | export REPOSITORY_DIR=' | ||
- | | + | ## Hier Struktur für den Hetzner-Server |
- | | + | |
- | ## ' | + | |
- | | + | |
export REPOSITORY=" | export REPOSITORY=" | ||
| | ||
- | ## | ||
## Ausgabe in Logdatei schreiben | ## Ausgabe in Logdatei schreiben | ||
- | ## | ||
- | | ||
exec > >(tee -i ${LOG}) | exec > >(tee -i ${LOG}) | ||
exec 2>&1 | exec 2>&1 | ||
Zeile 125: | Zeile 142: | ||
echo "###### | echo "###### | ||
| | ||
- | | + | ## An dieser Stelle können verschiedene Aufgaben vor der Übertragung der Dateien ausgeführt werden, |
- | | + | ## wie z.B. |
- | ## Übertragung der Dateien ausgeführt werden, wie z.B. | + | |
- | ## | + | |
## - Liste der installierten Software erstellen | ## - Liste der installierten Software erstellen | ||
## - Datenbank Dump erstellen | ## - Datenbank Dump erstellen | ||
- | ## | ||
| | ||
- | ## | ||
## Dateien ins Repository übertragen | ## Dateien ins Repository übertragen | ||
- | ## Gesichert werden hier beispielsweise die Ordner root, etc, | + | ## Gesichert werden hier beispielsweise die Ordner root, etc, var/www und home |
- | ## var/www und home | + | ## Ausserdem finden Sie hier gleich noch eine Liste Excludes, |
- | ## Ausserdem finden Sie hier gleich noch eine Liste Excludes, | + | ## somit per default ausgeschlossen werden. |
- | ## die in kein Backup sollten und somit per default ausgeschlossen | + | |
- | ## werden. | + | |
- | ## | + | |
| | ||
echo " | echo " | ||
Zeile 160: | Zeile 170: | ||
echo "###### | echo "###### | ||
- | Ausführbar machen | + | === Cronjob einrichten === |
+ | Datei Ausführbar machen | ||
sudo chmod u+x / | sudo chmod u+x / | ||
- | Testen | + | ggf. Testen |
sudo / | sudo / | ||
- | |||
Einfügen in crontab | Einfügen in crontab | ||
sudo nano / | sudo nano / | ||
0 0 * * * root / | 0 0 * * * root / | ||
- | Hier Start täglich um 0:00 Uhr | + | Hier Start täglich um 0:00 Uhr.\\ |
+ | **Voraussetzungen**: | ||
+ | * das ausführende System muss zu der angegebenen Zeit in Betrieb sein. Der Job wird nicht bei einem späteren Einschalten nachgeholt! | ||
+ | * Wenn das Script durch root ausgeführt werden soll, für die Sicherung von Systemdateien vermutlich erforderlich, | ||
+ | === Anacronjob === | ||
+ | Läuft ein System | ||
+ | Zur Verfügung stehen die Zyklen: | ||
+ | * täglich >> Ordner / | ||
+ | * wöchentlich >> Ordner / | ||
+ | * monatlich >> Ordner / | ||
+ | Die ausführbahren Scripte müssen in den entsprechenden Ordnern liegen. | ||
===== Selbst programmiertes, | ===== Selbst programmiertes, | ||
- | Siehe auch: https:// | + | ++++ Quellen: | |
+ | * https:// | ||
+ | ++++ | ||
- | Das vorgestellte Konzept: | + | Die vorgestellten Scripte sichern regelmäßig und automatisiert ausgewählte Dateien in gepackten Datein. \\ |
+ | * Sichern von MySQL-Datenbanken | ||
+ | * Sichern von Dateien und Verzeichnissen | ||
+ | * Komplexes aber einfaches Backup-System | ||
+ | * Daten eines entfernten | ||
- | ==== Scripte | + | ==== Scripte ==== |
- | === Dateien | + | === Datenbanken |
- | sudo nano /< | + | Datenbanken eines MySQL-Servers sichern. \\ |
+ | Legt bis zu 31 Sicherungen an, jeweils mit Tagesdatum - keine Angabe von Monat oder Jahr. \\ | ||
+ | Bei demselben Datum wird überschrieben. \\ | ||
+ | |||
+ | sudo nano /< | ||
#!/bin/bash | #!/bin/bash | ||
- | | + | |
- | | + | |
+ | USER="<BENUTZER>" | ||
+ | PW="< | ||
mkdir -p ${BACKUP_DIR} | mkdir -p ${BACKUP_DIR} | ||
- | | + | |
- | cp -p -u < | + | mysqldump |
exit | exit | ||
- | Ersetzen: | + | Ersetzen: < |
- | Leerzeichen am Ende der SOURCE! \\ | + | Hier Beispielhaft für eine Datenbank. Die beiden Zeilen " |
- | Verzeichnis wird angelegt, sofern nicht existent. | + | |
- | So können einzelne Dateien | + | |
- | **Parameter für cp (copy)** \\ | + | (Zurück)Importieren über Konsole: |
- | -p oder - -preserve | + | mysql -u < |
- | - -preserve=timestamp | + | Die Datenbank muss im MySQL-Server bereits angelegt sein und der bennante Benutzer Zugriffsrechte darauf besitzen. \\ |
- | -r oder -R oder - -recurcive | + | Ersetzen: < |
- | -u oder - -update | + | Die Zeichen " |
- | -v oder - -verbose | + | |
- | Werden | + | |
- | + | ||
- | Siehe auch [[https:// | + | |
- | + | ||
- | Systemdateien können ggf. nur durch root gesichert werden (z.B let' | + | |
=== Dateien packen und sichern === | === Dateien packen und sichern === | ||
- | sudo nano /< | + | sudo nano /< |
#!/bin/bash | #!/bin/bash | ||
Zeile 219: | Zeile 243: | ||
Ersetzen: SOURCE, < | Ersetzen: SOURCE, < | ||
Leerzeichen am Ende der SOURCE! \\ | Leerzeichen am Ende der SOURCE! \\ | ||
+ | === Inhalt gepackter Dateien anzeigen === | ||
+ | tar -tvf backup_gepackt.tar.gz | ||
+ | |||
+ | Inhaltsverzeichnis in Datei schreiben | ||
+ | tar -tvf backup_gepackt.tar.gz > content.txt | ||
+ | |||
+ | === Dateien entpacken === | ||
Entpacken (in aktuelles Verzeichnis): | Entpacken (in aktuelles Verzeichnis): | ||
tar -xf backup_gepackt.tar.gz | tar -xf backup_gepackt.tar.gz | ||
Zeile 230: | Zeile 261: | ||
-f Archiv in angegebene Datei schreiben / Daten aus angegebener Datei lesen. Diese Option muss die letzte sein, da die nachfolgende Zeichen als Datei interpretiert werden. \\ | -f Archiv in angegebene Datei schreiben / Daten aus angegebener Datei lesen. Diese Option muss die letzte sein, da die nachfolgende Zeichen als Datei interpretiert werden. \\ | ||
- | === Datenbanken sichern | + | === Komplexes System |
- | sudo nano /<PFAD>/backup_dbase.sh | + | Das System sichert regelmäßig((Zyklus definiert durch /etc/ |
+ | <WRAP important> | ||
+ | Der Speicherbedarf wächst durch dieses System kontinuierlich((in dem Rahmen, in dem es Änderungen am Datenbestand gab)). \\ | ||
+ | Ältere Dateien müssen daher regelmäßig manuell gelöcht oder verschoben werden. \\ | ||
+ | In keinem Fall sollte ein Backup auf der System-Partition gesichert werden, da dieses, sollte der Speicherplatz restlos verbraucht sein, ggf. unbrauchbar oder unausführbar werden könnte. \\ | ||
+ | Eine eigene Partition oder ein eingebundenes NAS mit beschränktem bzw. reguliertem Speicher bietet sich an. \\ | ||
+ | Aber auch das ist zu kontrollieren, | ||
+ | </WRAP> | ||
+ | - Das Script verbindet das System mit einem Remote-NAS (mount) und trennt die Verbindung am Ende wieder. | ||
+ | - Es werden nur die Daten gesichert, die seit dem letzten Backup geändert wurden - ohne dass der letzte Stand, das letzte Backup, überschrieben wird. | ||
+ | - Nach einer festgelegten Anzahl Backups (hier 30) werden die Backups in ein Unterverzeichnis **rotate/< | ||
+ | - Es können definierte Unterverzeichnisse ausgeschlossen werden (exclude) | ||
+ | |||
+ | Hier Beispielhaft die Datensicherung des Verzeichnisses /home \\ | ||
+ | Ausgenommen wird das darin enthaltene Verzeichnis /home/menot \\ | ||
- | | + | |
- | BACKUP_DIR="/ | + | |
- | | + | SOURCE="/ |
- | | + | EXCLUDE="/ |
- | | + | mountPoint="/ |
+ | BACKUP_DIR=" | ||
+ | |||
+ | ROTATE_DIR=" | ||
+ | | ||
+ | |||
+ | mount " | ||
+ | if ! [ `mount |grep " | ||
+ | exit | ||
+ | fi | ||
+ | |||
+ | DATE=$(date +%Y-%m-%d-%H%M%S) | ||
+ | |||
+ | | ||
+ | # | ||
mkdir -p ${BACKUP_DIR} | mkdir -p ${BACKUP_DIR} | ||
- | | + | |
- | | + | set -- ${BACKUP_DIR}/ |
+ | lastname=${!#} | ||
+ | | ||
+ | backupnr=${backupnr%%.*} | ||
+ | backupnr=${backupnr// | ||
+ | backupnr=$[10# | ||
+ | |||
+ | if [ " | ||
+ | mkdir -p ${ROTATE_DIR}/${DATE} | ||
+ | mv ${BACKUP_DIR}/ | ||
+ | mv ${BACKUP_DIR}/ | ||
+ | backupnr=1 | ||
+ | fi | ||
+ | |||
+ | backupnr=0${backupnr} | ||
+ | backupnr=${backupnr: | ||
+ | filename=backup-${backupnr}.tar.gz | ||
+ | tar -cpzf ${BACKUP_DIR}/ | ||
+ | umount " | ||
exit | exit | ||
- | |||
- | Ersetzen: < | ||
- | Hier Beispielhaft für eine Datenbank. Die beiden Zeilen " | ||
- | |||
- | Legt bis zu 31 Sicherungen an, jeweils mit Tagesdatum. \\ | ||
- | Keine Angabe von Monat oder Jahr. \\ | ||
- | Bei demselben Datum wird überschrieben. \\ | ||
- | |||
- | (Zurück)Importieren über Konsole: | ||
- | mysql -u < | ||
- | Die Datenbank muss bereits existieren und der bennante Benutzer Zugriffsrechte darauf besitzen. \\ | ||
- | Ersetzen: < | ||
- | Die Zeichen " | ||
==== Backup ausführen ==== | ==== Backup ausführen ==== | ||
Scripte ausführbar machen (hier alle .sh-Dateien im angegebenen Verzeichnis): | Scripte ausführbar machen (hier alle .sh-Dateien im angegebenen Verzeichnis): | ||
- | sudo chmod u+x /< | + | sudo chmod +x /< |
- | + | ||
- | sudo chmod g+x /< | + | |
- | Die Ausführung wird hier eingeschränkt auf Datei-Eigentümer (u+x) und Gruppe (g+x) \\ | + | |
**Script manuell ausführen: | **Script manuell ausführen: | ||
sudo bash /< | sudo bash /< | ||
- | |||
**Automatisiert als root ausführen über Cronjob** | **Automatisiert als root ausführen über Cronjob** | ||
Zeile 271: | Zeile 331: | ||
# / | # / | ||
- | 0 4 * * * root / | + | 0 4 * * * root / |
- | 0 3 1 * * root / | + | 0 3 2 * * root / |
- | 0 3 2 * * root / | + | |
Lesart der (einschränkenden) Zahlen: \\ | Lesart der (einschränkenden) Zahlen: \\ | ||
Zeile 280: | Zeile 339: | ||
Ausführung der o.a. Angaben: | Ausführung der o.a. Angaben: | ||
- | * jeden Tag um 4:00 Uhr -> Datenbank(en) | + | * jeden Tag um 4:00 Uhr -> SQL-Datenbank(en) |
- | * jeden 1. Tag im Monat um 3:00 Uhr -> Dateien | + | |
* jeden 2. Tag im Monat um 3:00 Uhr -> Dateien packen | * jeden 2. Tag im Monat um 3:00 Uhr -> Dateien packen | ||
- | ==== Daten auf lokalen | + | Voraussetzung: |
- | Von einem lokalen Debian-/ | + | Andernfalls |
- | | + | ==== Daten von Remote-System holen ==== |
+ | Von einem lokalen System können Daten eines entfernten Systems (z.B. Backups) austomatisiert abgeholt/ | ||
+ | |||
+ | | ||
#!/bin/bash | #!/bin/bash | ||
Zeile 294: | Zeile 355: | ||
Ersetzen: < | Ersetzen: < | ||
- | Sind lokaler User und Remoteuser bei der manuellen Ausführung identisch, kann "< | ||
scp = Kopieren über gesicherte ssh-Verbindung \\ | scp = Kopieren über gesicherte ssh-Verbindung \\ | ||
-r = Kopieren inkl. aller Unterverzeichnisse \\ | -r = Kopieren inkl. aller Unterverzeichnisse \\ | ||
+ | Achtung: Es kann nur kopiert werden, wenn auch Lese-Zugriff vom einloggenden < | ||
- | Die (angepasste) Zeile "scp -r ...." kann zur manuellen Ausführung auch direkt als Befehl auf der Konsole eingegeben werden | + | Die (angepasste) Zeile "scp -r ...." kann zur manuellen Ausführung auch direkt als Befehl auf der Konsole eingegeben werden. \\ |
- | === Automatisiert über Cronjob === | + | Sind lokaler User und Remoteuser identisch, kann "< |
- | Voraussetzung: | + | |
- | Läuft der PC nicht dauerhaft, kann dies über **anacron** geregelt werden, siehe [[https:// | + | |
- | + | ||
- | sudo nano / | + | |
- | | + | Auch hier ist die Automation über einen Cronjob möglich, siehe [[#Backup ausführen|Backup ausführen]]. \\ |
- | 0 4 * * 7 < | + | |
- | Ausführung: | + | |
- | * jeden 7. Tag der Woche (Sonntag) um 4:00 Uhr | + | |
- | Achtung: Es kann nur kopiert werden, wenn auch Zugriff vom einloggenden < | ||
- | ~~DISCUSSION~~ |
open/it/backup.1720794161.txt.gz · Zuletzt geändert: von Kai