Skip to content

Forgejo Installation mit Restic nach Hetzner S3 sichern

Restic
2 1 303
  • Ich sichere schon jahrelang alle meine Daten mit Restic, gerne auch ins Internet oder neumodisch Cloud genannt. Besser ausgedrückt, auf die Rechner anderer Menschen.

    Warum ist das wichtig?

    Die könnten mitlesen, was da liegt. Also verschlüsseln wir das Ganze. Restic macht das mit einer AES256 Verschlüsselung. Im Netz sieht das dann auf einem Object Storage von Hetzner so aus.

    47bc51e4-29ae-4e56-82e7-e0cb30a5be12-image.png

    Ich nehme für jeden Sicherungspunkt ein neues Projekt bei Hetzner, der Grund ist, dass ich nicht in verschiedene Unterordner mit entsprechenden Schlüsseln speichern kann. Zu mindestens hatte ich das mal nicht hinbekommen. Ein Wochenende mit verplempert. OK, also 1 Projekt je Backup-Vorgang. Das könnte man im Falle des Forgejos Servers auch nur mit einem Projekt machen. Warum? Wenn die Schlüssel in die falschen Hände fallen, wären ja beide Schlüssel weg. Ok, dann hätten man aber sowieso ein anderes Problem.

    Aber, alle meine anderen Sicherungen, wären nicht gefährdet.

    Was muss man sichern? Die Grundlage ist mein Forgejo Podman Projekt.

    Ok, fangen wir mal langsam an 😉

    Hetzner S3

    Ihr legt dort bitte zwei Projekte an.

    6cca1074-ad23-4cab-83c6-9ee9d8a6cd46-image.png

    Innerhalb der Projekte legt ihr dann ein Bucket an. Für dieses Projekte legt ihr Zugangsdaten an und notiert die bitte. Die brauchen wir später noch.

    Forgejo Server

    Für die Forgejo Installation muss man zwei Ordner sichern. In meinem Fall

    • /home/forgejo
    • /home/pguser/db-data

    Was brauchen wir dafür?

    • AWS Credentials File
    • Restic Passwörter
    • Restic Backup Script

    Software

    Restic installieren

    apt install restic
    

    AWS Credentials

    Wir legen ein File an

    mkdir /root/.aws
    nano /root/.aws/credentials
    

    Inhalt

    [forgejo]
    aws_default_region="nbg1"
    aws_access_key_id="<ACCESS_KEY>"
    aws_secret_access_key="<SECRET_ACCESS_KEY"
    
    [postgres]
    aws_default_region="nbg1"
    aws_access_key_id="<ACCESS_KEY>"
    aws_secret_access_key="<SECRET_ACCESS_KEY>"
    

    Sollte selbsterklärend sein. Die Keys habt ihr eben aufgeschrieben. Solltet ihr nicht Nürnberg bei Hetzner gewählt haben, müsst ihr die Region entsprechend ändern.

    Restic Passwörter

    Zwei Passwörter anlegen, bitte ordentliche 😉 Hier seht ihr, wo ich die abgelegt habe.

    forgejo_pwd="/root/.forgejo_pwd"
    postgres_pwd="/root/.postgres_pwd"
    

    Restic Backup Script

    Das Script.

    #!/bin/bash
    # Script um mit Restic Daten automatisiert zu sichern!
    # Dient zum Sichern der Forgejo Installation -> Hetzner S3
    
    
    ## S3 Forgejo
    s3_domain="s3:nbg1.your-objectstorage.com"
    s3_folder="forgejo2"
    s3_bucket="forgejo2"
    
    
    ## S3 Postgres
    s3_domain_pg="s3:nbg1.your-objectstorage.com"
    s3_folder_pg="postgres2"
    s3_bucket_pg="postgres2"
    
    
    ## PWD
    forgejo_pwd="/root/.forgejo_pwd"
    postgres_pwd="/root/.postgres_pwd"
    
    
    # Was soll gesichert werden?
    backup_pfad_forgejo="/home/forgejo"
    backup_pfad_postgres="/home/pguser/db-data/dump.txt"
    
       
    # Forgejo Start
    export AWS_PROFILE=forgejo
    #restic -r $s3_domain/$s3_bucket/$s3_folder init > forgejo.log
    #restic --password-file $forgejo_pwd -r $s3_domain/$s3_bucket/$s3_folder ls latest > forgejo.log
    restic --password-file $forgejo_pwd  -r $s3_domain/$s3_bucket/$s3_folder backup $backup_pfad_forgejo > forgejo.log
    restic --password-file $forgejo_pwd -r $s3_domain/$s3_bucket/$s3_folder forget --keep-last 3 --keep-monthly 3 --prune >> forgejo2.log
    # Testen
    restic --password-file $forgejo_pwd -r $s3_domain/$s3_bucket/$s3_folder check --read-data >> forgejo3.log
    
    
    # Postgres Start
    export AWS_PROFILE=postgres
    podman exec -it postgres pg_dump -U postgres -f /var/lib/postgresql/data/dump.txt
    #restic -r $s3_domain_pg/$s3_bucket_pg/$s3_folder_pg init > postgres.log
    restic --password-file $postgres_pwd -r $s3_domain_pg/$s3_bucket_pg/$s3_folder_pg backup $backup_pfad_postgres > postgres.log
    restic --password-file $postgres_pwd -r $s3_domain_pg/$s3_bucket_pg/$s3_folder_pg forget --keep-last 3 --keep-monthly 3 --prune >> postgres2.log
    # Testen
    restic --password-file $postgres_pwd -r $s3_domain_pg/$s3_bucket_pg/$s3_folder_pg check --read-data >> postgres3.log
    

    Damit es funktioniert

    chmod +x   forgejo_backup.sh
    

    Sollte alles selbsterklärend sein.

    Erläuterungen

    Init

    Ein paar Erklärungen. Wenn ihr das Script das erste Mal nutzt kommentiert bitte alle Restic Zeilen aus, bis auf diese.

    restic -r $s3_domain/$s3_bucket/$s3_folder init > forgejo.log
    

    Hiermit wird das Restic Verzeichnis initialisiert, dazu müsst ihr das Restic Passwort eingeben, was ihr weiter oben angelegt habt. Danach braucht ihr diese Zeile nicht mehr. Wieder auskommentieren. Das bitte für Forgejo & Postgres machen.

    ls latest

    Wenn ihr mal testen wollt, ob was im Repo liegt, könnt ihr das mit dieser Zeile machen.

    restic --password-file $forgejo_pwd -r $s3_domain/$s3_bucket/$s3_folder ls latest > forgejo.log
    

    Backup

    Diese Zeile

    restic --password-file $forgejo_pwd  -r $s3_domain/$s3_bucket/$s3_folder backup $backup_pfad_forgejo > forgejo.log
    

    legt das Backup an.

    Forget

    Diese Zeile löscht alle Daten, die dem Filter nicht entsprechen.

    restic --password-file $forgejo_pwd -r $s3_domain/$s3_bucket/$s3_folder forget --keep-last 3 --keep-monthly 3 --prune >> forgejo2.log
    

    Es werden nur Daten behalten, nach einem eingestellten Wert. Sonst hätten man ja irgendwann ganz viele Daten, das möchte ich nicht.

    Testen

    Und diese Zeile testet das Repo

    restic --password-file $forgejo_pwd -r $s3_domain/$s3_bucket/$s3_folder check --read-data >> forgejo3.log
    

    Fertig. In den Logs könnt ihr nachlesen, was passiert ist. Besonders wichtig bei Fehlern.

    Normalerweise checke ich meine Backups noch zusätzlich mit CheckMK, ob diese auch durchgeführt wurden. Das ist aber ein anderes Thema.

    Crontab

    Und wenn alles funktioniert, legt ihr einen crontab an.

    crontab -e
    

    Inhalt

    # m h  dom mon dow   command
    03 09 * * * "/root/.acme.sh"/acme.sh --cron --home "/root/.acme.sh" --reloadcmd "systemctl restart nginx.service" > /dev/null
    0 3 * * * /root/forgejo_backup.sh
    

    Fertig!

    Viel Spaß

    Links

    Und danke an Restic, ich liebe diese Software 😉

  • Ich habe ja im obigen Beispiel, den gesamten Ordner von der Postgres Installation gesichert.

    backup_pfad_postgres="/home/pguser/db-data"
    

    Ich habe dann mal ein wenig in der Dokumentation gelesen und das hier gefunden.

    Einfach den Ordner zu sichern, ist ja bei jeder Datenbank ein gewisses Risiko. Die Konsistenz der Daten ist nicht gesichert. Darum gibt es bei den Datenbanken auch immer Tools, mit denen man die Daten sichern kann. In der Doku steht folgendes.

    pg_dump — extract a PostgreSQL database into a script file or other archive file

    Aber wichtiger ist das hier.

    pg_dump is a utility for backing up a PostgreSQL database. It makes consistent backups even if the database is being used concurrently. pg_dump does not block other users accessing the database (readers or writers).

    Das macht also konsistente Backups. Wichtig noch zu wissen ist folgendes.

    pg_dump only dumps a single database. To back up an entire cluster, or to back up global objects that are common to all databases in a cluster (such as roles and tablespaces), use pg_dumpall.

    Ok, das scheint gut geeignet zu sein, um die Datenbank zu sichern. Aber, wie? Auf meinen Eingangsbeitrag kam es zu folgendem Dialog auf Mastodon.

    Das war der Anstoß sich mit dem Thema zu beschäftigen. Und ich hatte dann folgende Lösung.

    podman exec -it postgres pg_dump -U postgres -f /var/lib/postgresql/data/dump.txt
    

    Ok, was mache ich hier? Wir führen einen Befehl vom Host aus gesehen, im Container aus.

    podman exec -it postgres
    

    Der Teil führt den folgenden Befehl im Container aus.

    pg_dump -U postgres -f /var/lib/postgresql/data/dump.txt
    
    • pg_dump - Das Tool fürs Backup
    • -U postgres - Der Befehl wird als User postgres ausgeführt
    • -f /var/lib/postgresql/data/dump.txt - Das Dump File wird im Data Ordner abgelegt, den haben wir ja persistent auf dem Host.

    Somit kann ich das jetzt einfach in mein Backup Script einbauen und brauchen nicht mehr den ganzen Ordner zu kopieren, sondern nur noch das Dump File. Ich werde diese Änderungen in das obige Script einbauen.

  • Update 1.30.5 released

    Vaultwarden vaultwarden linux
    1
    0 Stimmen
    1 Beiträge
    195 Aufrufe
    Niemand hat geantwortet
  • Linux Mint Cinnamon 21.3 Virginia

    Linux linuxmint 21.3 linux wayland
    1
    2
    0 Stimmen
    1 Beiträge
    543 Aufrufe
    Niemand hat geantwortet
  • NAS 2023 - Thema Datensicherung

    Verschoben Linux proxmox linux
    2
    2
    0 Stimmen
    2 Beiträge
    208 Aufrufe
    FrankMF
    Bleibt noch etwas wichtiges. Die ganzen Konfigurationsdateien vom Proxmox Host. Sinnvoll, das man sich das sichert. #!/bin/bash # Script um mit Restic Daten automatisiert zu sichern! # Dient zum Sichern des Ordners /etc/pve! # Was soll gesichert werden? backup_pfad=/etc/pve # Programm Start restic --password-file /root/passwd -r /mnt/pve/Restic_Backups/pve backup $backup_pfad > backup_pve_001.log restic --password-file /root/passwd -r /mnt/pve/Restic_Backups/pve forget --keep-last 3 --keep-monthly 3 --prune >> backup_pve_002.log # Testen restic --password-file /root/passwd -r /mnt/pve/Restic_Backups/pve check --read-data >> backup_pve_003.log Crontab eingerichtet - fertig!
  • 0 Stimmen
    2 Beiträge
    254 Aufrufe
    FrankMF
    Verkauft!
  • Zima Board

    Linux zima linux
    6
    1
    0 Stimmen
    6 Beiträge
    969 Aufrufe
    FrankMF
    Wer noch einen braucht, sind wieder ein paar im Shop erhältlich. ZimaBoard 832 is IN STOCK & AVAILABLE NOW ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ‌ ZimaBoard Official Store Back In Stock The item you've been waiting for is back in stock ZimaBoard 832 - Single Board Server for Creators $199.90 Model: ZimaBoard 832 Stock: 190
  • 2,5G

    Linux linux
    2
    1
    0 Stimmen
    2 Beiträge
    231 Aufrufe
    FrankMF
    Gutes Video zum Zyxel Switch, was ich vorher gar nicht kannte. Hätte meine Entscheidung aber auch nicht verändert. https://www.youtube.com/watch?v=59I-RlliRms
  • Wireguard

    Verschoben Wireguard linux rockpro64 wireguard
    4
    0 Stimmen
    4 Beiträge
    965 Aufrufe
    FrankMF
    Etwas schnellerer Weg den Tunnel aufzubauen, Voraussetzung wireguard modul installiert Keys erzeugt Danach dann einfach ip link add wg0 type wireguard wg setconf wg0 /etc/wireguard/wg0.conf Datei /etc/wireguard/wg0.conf [Interface] PrivateKey = <Private Key> ListenPort = 60563 [Peer] PublicKey = <Public Key Ziel> Endpoint = <IPv4 Adresse Zielrechner>:58380 AllowedIPs = 10.10.0.1/32 Die Rechte der Dateien von wireguard müssen eingeschränkt werden. sudo chmod 0600 /etc/wireguard/wg0.conf Das ganze per rc.local beim Booten laden. Datei /root/wireguard_start.sh ############################################################################################### # Autor: Frank Mankel # Startup-Script # Wireguard # Kontakt: frank.mankel@gmail.com # ############################################################################################### ip link add wg0 type wireguard ip address add dev wg0 10.10.0.1/8 wg setconf wg0 /etc/wireguard/wg0.conf ip link set up dev wg0 Danach Datei ausführbar machen chmod +x /root/wireguard_start.sh In rc.local /root/wireguard_start.sh eintragen - Fertig!
  • Installation von Grav & NGinx & PHP7.2

    Angeheftet Verschoben Grav grav linux
    2
    1
    0 Stimmen
    2 Beiträge
    1k Aufrufe
    FrankMF
    Nachdem ich den ROCKPro64 jetzt auf den Mainline umgestellt habe, lief meine Testinstallation von Grav nicht mehr. Hilfreiche Sache um das Problem zu lösen -> https://gist.github.com/GhazanfarMir/03bd1f1f770a3834d47274586d46ea62 Ich bekam immer 502 Bad Gateway, Grund war ein nicht korrekt gestarteter php-pfm Service. rock64@rockpro64v2_0:/usr/local/bin$ sudo service php7.2-fpm start rock64@rockpro64v2_0:/usr/local/bin$ sudo service php7.2-fpm status ● php7.2-fpm.service - The PHP 7.2 FastCGI Process Manager Loaded: loaded (/lib/systemd/system/php7.2-fpm.service; enabled; vendor preset: enabled) Active: active (running) since Thu 2018-08-16 20:15:20 CEST; 21s ago Docs: man:php-fpm7.2(8) Main PID: 3206 (php-fpm7.2) Status: "Processes active: 0, idle: 2, Requests: 3, slow: 0, Traffic: 0.2req/sec" Tasks: 3 (limit: 4622) CGroup: /system.slice/php7.2-fpm.service ├─3206 php-fpm: master process (/etc/php/7.2/fpm/php-fpm.conf) ├─3207 php-fpm: pool www └─3208 php-fpm: pool www Aug 16 20:15:19 rockpro64v2_0 systemd[1]: Starting The PHP 7.2 FastCGI Process Manager... Aug 16 20:15:20 rockpro64v2_0 systemd[1]: Started The PHP 7.2 FastCGI Process Manager.