Unterschiede

Hier werden die Unterschiede zwischen zwei Versionen angezeigt.

--- open:it:backup [2024/07/22 10:00] – [Daten von Remote-System holen] Kai
+++ open:it:backup [2025/05/13 09:28] (aktuell) – Kai
@@ Zeile 1: / Zeile 1: @@
 ====== Backup ======
+Hier werden zwei unterschiedliche Konzepte diskutiert. \\
+BorgBackup ist eine einfache OSS Lösung um zum Beispiel eine Remote-Storagebox (hier von Hetzner) als Speichermedium zu nutzen. Man muss sich jedoch auch bewusst sein, dass durch Borg jede Datei genau einmal gespeichert wird. Sollte eine Datei z.B. durch einen Festplattenfehler beschädigt sein, ist diese in allen Backups beschädigt. Deshalb gehört es zum Best Practice sehr wichtige Daten in mehr als einem Repository zu speichern! \\
+Neben Borg wird ein mit eigenen Scripten erstelltes Backup vorgestellt, dass jedes einzeln durchgeführte Backup wieder herstellen kann, da es vorherige nicht überschreibt. Der Nachteil hierbei ist, dass der Speicherbedarf kontinuierlich anwächst((in dem Rahmen, in dem es Änderungen am Datenbestand gab)). Hierbei ist also eine regelmäßige manuelle Wartung erforderlich.
 ===== BorgBackup =====
-[[https://www.borgbackup.org/|BorgBackup]] (kurz: Borg) free and open source software, ist ein deduplizierendes Backupprogramm. Optional wird Kompression und authentifizierte Verschlüsselung unterstützt. \\
+++++ Quellen: |
-Die Deduplizierung sorgt bei Borg Backups für einen sehr effizienten Speicherverbrauch und hohe Geschwindigkeit. Man muss sich jedoch auch bewusst sein, dass dadurch jede Datei genau einmal gespeichert wird. Sollte eine Datei z.B. durch einen Festplattenfehler beschädigt sein, ist diese in allen Backups beschädigt. Deshalb gehört es zum Best Practice sehr wichtige Daten in mehr als einem Repository zu speichern! \\
-Quellen & Tutorials:
   * [[https://borgbackup.readthedocs.io/en/1.4-maint/installation.html|Borg - Installation]]
   * [[https://borgbackup.readthedocs.io/en/1.4-maint/quickstart.html|Borg - Quick Start]]
   * [[https://community.hetzner.com/tutorials/install-and-configure-borgbackup/de|Hetzner - BorgBackup]]
+++++
+[[https://www.borgbackup.org/|BorgBackup]] (kurz: Borg) ist ein deduplizierendes Backupprogramm. Optional wird Kompression und authentifizierte Verschlüsselung unterstützt. \\
+Die Deduplizierung sorgt bei Borg Backups für einen sehr effizienten Speicherverbrauch und hohe Geschwindigkeit. \\
 Bei diesem Beispiel wurde ein externe Storage-Box von Hetzner eingesetzt (your-storagebox.de). Der User u123456 muss entsprechend Vorgaben der Storage-Box angepasst werden. \\
 Soll das Backup auf einem lokalen Laufwerk oder Verzeichnis gesichert werden, ist der Pfad:
@@ Zeile 19: / Zeile 23: @@
   sudo apt install borgbackup
-Key generieren (sofern nicht bereits vorhanden) und auf Storage-Box übertragen, um Zugang ohne Passwort zu gewährleisten
+==== Schlüssel tauschen ====
+Key generieren (sofern nicht bereits vorhanden) und auf Storage-Box übertragen, um Zugang ohne Passwort zu gewährleisten. Soll später ein automatisiertes Script Verbindung zum Backup-Server als User root aufnehmen, dann muss auch der (Passwortfreie) Zugriff für root ermöglicht werden. \\
   ssh-keygen -t rsa -b 4096
@@ Zeile 41: / Zeile 46: @@
   ssh -p23 u123456@u123456.your-storagebox.de mkdir -p backups/mctest
-Backup-Ordner auf der Storage-Box initialisieren
+Backup-Ordner auf der Storage-Box initialisieren. Passwort wird abgefragt. Auf einer sicheren Storagebox wäre das doppelte Sicherheit, kann daher ggf. ohne Passwort erfolgen > dann einfach leerlassen. Muss individuell und fallabhängig entschieden werden. Für sicherheitsrelevante Daten ist es vermutlich angezeigt, ein Passwort zu vergeben.
   borg init --encryption=repokey ssh://u123456@u123456.your-storagebox.de:23/./backups/mctest
@@ Zeile 64: / Zeile 69: @@
 Liste Dateien eines Backups in eine Text-Datei schreiben
   borg list ssh://u123456@u123456.your-storagebox.de:23/./backups/mctest::test1 > contents.txt
+Optionen: nur Pfad und Dateiname, sortiert
+  borg list --short ssh://u123456@u123456.your-storagebox.de:23/./backups/mctest::test1 > contents.txt  | sort
 ==== Daten wiederherstellen ====
@@ Zeile 74: / Zeile 82: @@
   borg extract ssh://u123456@u123456.your-storagebox.de:23/./backups/mctest::test1 /home/me/Downloads/test.txt
-==== Backups löschen ====
+==== Backups manuell löschen ====
-Backups für diesen PC (hier mctest) auflisten
+Backups eines Archives auflisten
   borg list ssh://u123456@u123456.your-storagebox.de:23/./backups/mctest
@@ Zeile 83: / Zeile 91: @@
 Alle Backups zu einem Server/PC löschen (hier mctest)
   borg delete ssh://u123456@u123456.your-storagebox.de:23/./backups/mctest
+==== Backups auomatisiert löschen ====
+Damit der Speicherplatz mit der Zeit nicht verbraucht wird, sollten regelmäßig, automatisiert ältere Backups gelöscht werden - Befehl: **prune**. Dadurch ist allerdings noch kein Speicherplatz freigegeben. Dazu benötigt es zusätzlich den Befehl: **compact**. \\
+  borg prune --dry-run -v --list --keep-within=1d --keep-daily=7 --keep-weekly=4 --keep-monthly=12 ssh://u123456@u123456.your-storagebox.de:23/./backups/mctest
+Dieser Befehl (mit --dry-run) zeigt die Backups/Archive an, die entsprechend folgender Bedingungen gelöscht würden. \\
+Bedingungen in diesem Beispiel: 7 aus den letzten Tagen, 4 der letzten Wochen und 12 der letzten Monate. \\
+Das System identifiziert dies automatisch. \\
+Pfad und Zugangsdaten anpassen. \\
+O.a. Code führt nur einen Trockenlauf aus. \\
+Scharfschaltung: den Code ohne "--dry-run". \\
+Freigeben des nicht mehr benötigten Speicherplatzes:
+  borg compact ssh://u123456@u123456.your-storagebox.de:23/./backups/mctest
 ==== Backup automatisieren ====
@@ Zeile 96: / Zeile 121: @@
   #!/usr/bin/env bash
   ## Setzten von Umgebungsvariablen
-  ## falls nicht der Standard SSH Key verwendet wird können Sie hier den Pfad zu Ihrem private Key angeben
+  ## Pfad zu Ihrem private Key, falls nicht der Standard SSH Key verwendet wird
   export BORG_RSH='ssh -i /home/me/.ssh/id_rsa'
-  ## Damit das Passwort vom Repository nicht eingegeben werden muss kann es in der Umgepungsvariable gesetzt werden
+  ## Passwort in Umgebungsvariable setzen, sofern Repository damit geschützt.
-  export BORG_PASSPHRASE="sehr_sicheres_passwort"
+  ## Andernfalls würde es abgefragt.
+  export BORG_PASSPHRASE="Repository_Password"
+  ## This has to be set when the repository has been created by user and the script is called by cron
+  export BORG_UNKNOWN_UNENCRYPTED_REPO_ACCESS_IS_OK=yes
   ## Setzten von Variablen
@@ Zeile 105: / Zeile 133: @@
   export BACKUP_USER='u123456'
   export REPOSITORY_DIR='mctest'
+  ## Hier Struktur für den Hetzner-Server
   export REPOSITORY="ssh://${BACKUP_USER}@${BACKUP_USER}.your-storagebox.de:23/./backups/${REPOSITORY_DIR}"
@@ Zeile 114: / Zeile 142: @@
   echo "###### Backup gestartet: $(date) ######"
-  ## An dieser Stelle können verschiedene Aufgaben vor der Übertragung der Dateien ausgeführt werden, wie z.B.
+  ## An dieser Stelle können verschiedene Aufgaben vor der Übertragung der Dateien ausgeführt werden,
+  ## wie z.B.
   ## - Liste der installierten Software erstellen
   ## - Datenbank Dump erstellen
@@ Zeile 120: / Zeile 149: @@
   ## Dateien ins Repository übertragen
   ## Gesichert werden hier beispielsweise die Ordner root, etc, var/www und home
-  ## Ausserdem finden Sie hier gleich noch eine Liste Excludes,die in kein Backup sollten und somit per default ausgeschlossen werden.
+  ## Ausserdem finden Sie hier gleich noch eine Liste Excludes,die in kein Backup sollten und
+  ## somit per default ausgeschlossen werden.
   echo "Übertrage Dateien ..."
@@ Zeile 140: / Zeile 170: @@
   echo "###### Backup beendet: $(date) ######"
-Ausführbar machen
+=== Cronjob einrichten ===
+Datei Ausführbar machen
   sudo chmod u+x /usr/local/bin/backup.sh
-Testen
+ggf. Testen
   sudo /usr/local/bin/backup.sh
 Einfügen in crontab
   sudo nano /etc/crontab
 0 * * *    root    /usr/local/bin/backup.sh
-Hier Start täglich um 0:00 Uhr
+Hier Start täglich um 0:00 Uhr.\\
+**Voraussetzungen**:
+  * das ausführende System muss zu der angegebenen Zeit in Betrieb sein. Der Job wird nicht bei einem späteren Einschalten nachgeholt!
+  * Wenn das Script durch root ausgeführt werden soll, für die Sicherung von Systemdateien vermutlich erforderlich, muss auch root Zugriff auf den, ggf. entfernten, Backup-Rechner besitzen. Siehe [[open:it:backup#Schlüssel tauschen|Schlüssel tauschen]].
+=== Anacronjob ===
+Läuft ein System  nicht dauerhaft, kann dies über **anacron** geregelt werden. Das System prüft regelmäßig (z.B. beim Systemstart) ob Programme/Scripte, die in einem bestimmten Ordner abgelegt sind, ausgeführt wurden und holt dies nach, falls noch nicht geschehen. \\
+Zur Verfügung stehen die Zyklen:
+  * täglich >> Ordner /etc/cron.daily
+  * wöchentlich >> Ordner /etc/cron.weekly
+  * monatlich >> Ordner /etc/cron.monthly
+Die ausführbahren Scripte müssen in den entsprechenden Ordnern liegen.
 ===== Selbst programmiertes, einfaches Backup =====
-Siehe auch: https://www.ionos.de/digitalguide/server/tools/backup-mit-tar-so-erstellen-sie-archive-unter-linux/
+++++ Quellen: |
+  * https://www.ionos.de/digitalguide/server/tools/backup-mit-tar-so-erstellen-sie-archive-unter-linux/
+++++
 Die vorgestellten Scripte sichern regelmäßig und automatisiert ausgewählte Dateien in gepackten Datein. \\
@@ Zeile 201: / Zeile 243: @@
 Ersetzen: SOURCE, <PFAD> \\
 Leerzeichen am Ende der SOURCE! \\
+=== Inhalt gepackter Dateien anzeigen ===
+  tar -tvf backup_gepackt.tar.gz
+Inhaltsverzeichnis in Datei schreiben
+  tar -tvf backup_gepackt.tar.gz > content.txt
+=== Dateien entpacken ===
 Entpacken (in aktuelles Verzeichnis):
   tar -xf backup_gepackt.tar.gz
@@ Zeile 214: / Zeile 263: @@
 === Komplexes System ===
 Das System sichert regelmäßig((Zyklus definiert durch /etc/crontab)) bestimmte Datenbereiche und jeder Zeitpunkt, an dem ein Backup durchgeführt wurde, kann wiederhersgestellt werden, solange die Backup-Dateien nicht gelöscht wurden. \\
-<WRAP alert>
+<WRAP important>
-Der Speicherbedarf wächst durch dieses System kontinuierlich. \\
+Der Speicherbedarf wächst durch dieses System kontinuierlich((in dem Rahmen, in dem es Änderungen am Datenbestand gab)). \\
 Ältere Dateien müssen daher regelmäßig manuell gelöcht oder verschoben werden. \\
 In keinem Fall sollte ein Backup auf der System-Partition gesichert werden, da dieses, sollte der Speicherplatz restlos verbraucht sein, ggf. unbrauchbar oder unausführbar werden könnte. \\
@@ Zeile 270: / Zeile 319: @@
   umount "${mountPoint}"
   exit
 ==== Backup ausführen ====
@@ Zeile 293: / Zeile 341: @@
   * jeden Tag um 4:00 Uhr -> SQL-Datenbank(en)
   * jeden 2. Tag im Monat um 3:00 Uhr -> Dateien packen
+Voraussetzung: der ausführende PC muss zu der angegebenen Zeit in Betrieb sein. Der Job wird nicht bei einem späteren Einschalten nachgeholt! \\
+Andernfalls kann das über einen [[#Anacronjob|Anacronjob]] geregelt werden.
 ==== Daten von Remote-System holen ====
@@ Zeile 311: / Zeile 362: @@
 Sind lokaler User und Remoteuser identisch, kann "<USERNAME>@" bei der manuellen Ausführung entfallen. \\
-=== Automatisiert über Cronjob ===
+Auch hier ist die Automation über einen Cronjob möglich, siehe [[#Backup ausführen|Backup ausführen]]. \\
-Voraussetzung: der ausführende PC muss zu der angegebenen Zeit in Betrieb sein. Der Job wird nicht bei einem späteren Einschalten nachgeholt! Läuft der PC nicht dauerhaft, kann dies ggf. über **anacron** geregelt werden, siehe [[https://wiki.ubuntuusers.de/Cron/|Ubuntuusers.de -> Cron]].
-  sudo nano /etc/crontab
-  # /etc/crontab: system-wide crontab
-4 * * 7               <USERNAME>      /<PFAD>/get_remote_files.sh
-Ausführung:
-  * jeden 7. Tag der Woche (Sonntag) um 4:00 Uhr
-~~DISCUSSION~~