Skip to content

Hetzner Cloud - Volumes

Allgemeine Diskussionen
1 1 1.1k
  • Bedingt durch einige Spielerei an diesem Wochenende, wo ich mal wieder viel ausprobiert habe, bin ich doch zu der Überzeugung gekommen das das Setup von mir nicht sooo schlecht ist, bis auf eine Sache. Bei einem kurzen Schriftwechsel mit dem Nico, hatte ich eine Problem in meinem Setup erkannt. Alle meine Server liegen bei Hetzner im selben Rechenzentrum. Ok, wenn wir uns kurz zurück erinnern, nicht unbedingt die beste Idee.

    Hetzner bietet drei Standorte in Europa an, zwei in Deutschland und einer in Finnland. Somit war klar, der Server mit den Backups muss umziehen 😊

    Also, fangen wir an.

    Snapshot erstellen

    77d3cf6f-62b2-41c8-b66a-a42ed95ab3e1-image.png

    Von dem Server einen Snapshot angelegt. Dabei ist mir direkt ein anderes Problem aufgefallen. Der Snapshot ist 1,4 GB groß, ich habe aber ca. 100 GB an Daten 🤔 Ok, ich hatte da eine schwere Informationslücke, die Volumes werden nicht in die Datensicherung mit aufgenommen, es wird nur der Server gesichert.

    Bitte beachten Sie, dass Snapshots und Backups keine Volumes enthalten, die an Ihren Server angehängt sind.
    Quelle: https://docs.hetzner.com/de/cloud/general/faq

    Ok, dazu später mehr.

    Snapshot transferieren

    Ich habe mir für den Server ein eigenes Projekt erstellt. Dahin habe ich den Snapshot dann transferiert.

    Bildschirmfoto vom 2021-03-21 17-01-47.png

    Server erstellen

    Mit Hilfe dieses Snapshots konnte ich den Server nun neu erstellen. Das hatte auch ganz gut geklappt, bis auf das Volume. Das habe ich später nochmal ausgehangen und erneut angehangen um den automatischen Mount erneut erstellen zu können.

    Dran denken, wenn man Volumes vergrößert, muss man das Filesystem von Hand vergrößern.

    resize2fs /dev/sdx
    

    c2c3b577-9657-49aa-afcf-0893bc834ff2-image.png

    Der Server lief danach und mein Volume war auch vorhanden, aber ohne Daten.

    Volume umziehen

    Da man Volumes nicht von einem Standort zum nächsten schieben kann, musste ich das von Hand mit Bordmitteln lösen. Auch nicht so schwer.

    scp -r /mnt/HC_Volume_1234567/Ordner/ USER@<IPv4>://mnt/HC_Volume_12345678
    

    Danach konnte ich einen Kaffee trinken. Nach relativ kurzer Zeit waren die 100 GB auf dem neuen Volume drauf. Kurz noch die Benutzerrechte anpassen, weil mein Ordner von einem bestimmten Benutzer betreut wird 😉

    Backups

    Dann für den neuen Server die Backup Funktion eingeschaltet.

    Merksatz ☝ Das Backup sichert keine Daten von einem Volume Laufwerk!!

    Servicearbeiten

    Was musste ich noch an meinem Rest-Server machen?

    • Mit Letsencrypt das richtige Zertifikat installieren, nachdem ich den DNS-Eintrag auf den neuen Server eingestellt hatte.

    • Funktionstest. Ein Backup gestartet, lief alles einwandfrei.

    • Erinnerung im Kalender eingerichtet, das ich nächste Woche alles kontrolliere und dann den alten Server abschalte.

    Fazit

    Wieder eine Menge dieses Wochenende gelernt. Und einen Konzeptfehler in meinem Aufbau verbessert. Sollte jetzt das RZ mit den Webservern ausfallen, habe ich noch die Backups im anderen RZ. Sollte das RZ der Backups ausfallen, ist das zu verkraften, da die Webserver ja noch laufen. Somit sollte das jetzt für meine Hobbyserver ausreichend sicher sein.

    Danke Nico, für den entscheidenden Hinweis, das ich was verbessern muss!

    Oder das RZ abbrennt, siehe ovh

  • Pycharm und Autoupload

    Linux pycharm linux
    1
    3
    0 Stimmen
    1 Beiträge
    119 Aufrufe
    Niemand hat geantwortet
  • Firefox - Dolphin Dateibrowser benutzen

    Linux firefox linux
    1
    1
    0 Stimmen
    1 Beiträge
    514 Aufrufe
    Niemand hat geantwortet
  • NanoPi R5S - Samba

    NanoPi R5S nanopir5s linux
    5
    1
    0 Stimmen
    5 Beiträge
    496 Aufrufe
    FrankMF
    Test zu dem NFS Mount (240GB USB SSD an USB-Port) [frank-ms7c37 nfs]# dd if=/dev/zero of=sd.img bs=1M count=2048 oflag=direct,nonblock 2048+0 Datensätze ein 2048+0 Datensätze aus 2147483648 Bytes (2,1 GB, 2,0 GiB) kopiert, 20,0851 s, 107 MB/s Test zum NAS Mount (Samba) (2TB 2,5Zoll HDD am USB-Port) [frank-ms7c37 NAS]# dd if=/dev/zero of=sd.img bs=1M count=2048 oflag=direct,nonblock 2048+0 Datensätze ein 2048+0 Datensätze aus 2147483648 Bytes (2,1 GB, 2,0 GiB) kopiert, 21,4538 s, 100 MB/s Das für den NAS Mount (Samba) sollte die maximal Schreibgrenze der Festplatte sein. Mehr dürfte da nicht gehen. Das andere könnte an den Adaptern liegen, die ich dafür benutze. Bei mir ist NFS hier aktuell nicht viel schneller, oder ich bin zu doof dafür.
  • checkmk - Agent auf einem Debian Buster Server installieren

    Verschoben checkmk checkmk linux
    1
    2
    0 Stimmen
    1 Beiträge
    819 Aufrufe
    Niemand hat geantwortet
  • Kopia - Mit Snapshots arbeiten

    Kopia linux kopi
    2
    4
    0 Stimmen
    2 Beiträge
    434 Aufrufe
    FrankMF
    Solltet Ihr mal snaps mit dem Status incomplete haben und möchtet diese loswerden :~$ kopia snap ls -i USER@HOST:/home/frank 2020-09-10 16:31:45 CEST k89770cab1061e00ada49efc41075ed34 incomplete:canceled 728.8 MB drwxr-xr-x files:8891 dirs:3033 (incomplete) 2020-09-10 16:40:05 CEST k27f028b63299983167cb0b4a0c85df80 incomplete:canceled 153.8 MB drwxr-xr-x files:1052 dirs:324 (incomplete) So was passiert z.B. wenn die Internetleitung rumzickt. Jarek meint, das wäre nicht schlimm, beim nächsten Snapshot wird das gefixt und die Daten genutzt, die schon verarbeitet wurden.
  • Restic - forget --keep-last 3 --prune

    Restic linux restic
    2
    0 Stimmen
    2 Beiträge
    676 Aufrufe
    FrankMF
    Ich habe mich damit noch ein wenig beschäftigt, die letzten drei zu behalten, ist nicht so optimal. Da es viele Optionen bei dem Befehl gibt, hier ein Ausschnitt Flags: -l, --keep-last n keep the last n snapshots -H, --keep-hourly n keep the last n hourly snapshots -d, --keep-daily n keep the last n daily snapshots -w, --keep-weekly n keep the last n weekly snapshots -m, --keep-monthly n keep the last n monthly snapshots -y, --keep-yearly n keep the last n yearly snapshots habe ich das ein wenig so angepasst, das ich denke es passt für mich. restic --password-file /root/passwd -r /media/NAS_neu/Restic/Home/ forget --keep-last 3 --keep-monthly 3 --prune Damit behalte ich auch die jeweils eines pro Monat. Und die letzten drei. Das sieht dann so aus. root@debian:~# ./backup2.sh repository 2f3f6147 opened successfully, password is correct Files: 38 new, 100 changed, 13268 unmodified Dirs: 0 new, 1 changed, 0 unmodified Added to the repo: 10.166 GiB processed 13406 files, 50.324 GiB in 3:24 snapshot 849f614c saved repository 2f3f6147 opened successfully, password is correct Applying Policy: keep the last 3 snapshots, 3 monthly snapshots snapshots for (host [debian], paths [/home/frank]): keep 5 snapshots: ID Time Host Tags Reasons Paths ------------------------------------------------------------------------------------ a7251cfd 2019-11-28 17:00:01 debian monthly snapshot /home/frank 283d4027 2019-12-31 17:00:01 debian monthly snapshot /home/frank ae2b96ec 2020-01-01 21:47:46 debian last snapshot /home/frank 079e00a6 2020-01-02 17:00:01 debian last snapshot /home/frank 849f614c 2020-01-03 21:08:45 debian last snapshot /home/frank monthly snapshot ------------------------------------------------------------------------------------ 5 snapshots remove 26 snapshots: ID Time Host Tags Paths ------------------------------------------------------------------ 896f16c2 2019-11-07 22:23:40 debian /home/frank b21bcf6d 2019-11-11 17:00:01 debian /home/frank f89248fb 2019-11-12 17:00:01 debian /home/frank 123ab546 2019-11-13 17:00:01 debian /home/frank b82d87d0 2019-11-18 17:00:01 debian /home/frank 040b0ab7 2019-11-19 17:00:01 debian /home/frank 7221d8ef 2019-11-20 17:00:01 debian /home/frank 84132a25 2019-11-21 17:00:01 debian /home/frank b558a52c 2019-11-25 17:00:01 debian /home/frank e5cc0c3e 2019-12-02 17:00:01 debian /home/frank 22423fa5 2019-12-03 17:00:01 debian /home/frank 39df1ab9 2019-12-04 17:00:01 debian /home/frank 98843457 2019-12-05 17:00:01 debian /home/frank b0cdd4b6 2019-12-09 17:00:01 debian /home/frank 828414f9 2019-12-10 17:00:01 debian /home/frank e34a27c3 2019-12-11 17:00:01 debian /home/frank 6e488c3b 2019-12-12 17:00:01 debian /home/frank 17898403 2019-12-16 17:00:01 debian /home/frank 1973305a 2019-12-17 17:00:01 debian /home/frank 9553bedd 2019-12-18 17:00:01 debian /home/frank fedf749d 2019-12-19 17:00:01 debian /home/frank 8e7cb876 2019-12-23 17:00:01 debian /home/frank 0bd0d102 2019-12-25 17:00:01 debian /home/frank 13d348b0 2019-12-26 17:00:01 debian /home/frank c7d960aa 2019-12-30 17:00:01 debian /home/frank f6ea9118 2020-01-01 17:00:01 debian /home/frank ------------------------------------------------------------------ 26 snapshots 26 snapshots have been removed, running prune counting files in repo building new index for repo [0:35] 100.00% 7806 / 7806 packs repository contains 7806 packs (46537 blobs) with 41.110 GiB processed 46537 blobs: 0 duplicate blobs, 0 B duplicate load all snapshots find data that is still in use for 5 snapshots [0:01] 100.00% 5 / 5 snapshots found 32654 of 46537 data blobs still in use, removing 13883 blobs will remove 0 invalid files will delete 715 packs and rewrite 752 packs, this frees 5.027 GiB [2:28] 100.00% 752 / 752 packs rewritten counting files in repo [0:01] 100.00% 6571 / 6571 packs finding old index files saved new indexes as [d137b425 f7caee99 a6e9711a] remove 35 old index files [1:13] 100.00% 1467 / 1467 packs deleted done using temporary cache in /tmp/restic-check-cache-916655151 repository 2f3f6147 opened successfully, password is correct created new cache in /tmp/restic-check-cache-916655151 create exclusive lock for repository load indexes check all packs check snapshots, trees and blobs read all data [7:47] 100.00% 6571 / 6571 items duration: 7:47 no errors were found root@debian:~# Am Ende seht ihr noch, wie Restic alle Files testet. Mein Script sieht jetzt so aus. #!/bin/bash # Script um mit Restic Daten automatisiert zu sichern! # Dient zum Sichern der Homepartition auf dem ROCKPro64 NAS! # Was soll gesichert werden? backup_pfad=/home/frank # Programm Start restic --password-file /root/passwd -r /media/NAS_neu/Restic/Home/ backup $backup_pfad --exclude-file=excludes.txt restic --password-file /root/passwd -r /media/NAS_neu/Restic/Home/ forget --keep-last 3 --keep-monthly 3 --prune # Testen restic --password-file /root/passwd -r /media/NAS_neu/Restic/Home/ check --read-data Das dann schön mit einem Cronjob laufen lassen und die Datensicherung ist erledigt
  • SCP mit IPv6 nutzen

    Linux linux
    1
    0 Stimmen
    1 Beiträge
    263 Aufrufe
    Niemand hat geantwortet
  • Wireguard

    Verschoben Wireguard linux rockpro64 wireguard
    4
    0 Stimmen
    4 Beiträge
    965 Aufrufe
    FrankMF
    Etwas schnellerer Weg den Tunnel aufzubauen, Voraussetzung wireguard modul installiert Keys erzeugt Danach dann einfach ip link add wg0 type wireguard wg setconf wg0 /etc/wireguard/wg0.conf Datei /etc/wireguard/wg0.conf [Interface] PrivateKey = <Private Key> ListenPort = 60563 [Peer] PublicKey = <Public Key Ziel> Endpoint = <IPv4 Adresse Zielrechner>:58380 AllowedIPs = 10.10.0.1/32 Die Rechte der Dateien von wireguard müssen eingeschränkt werden. sudo chmod 0600 /etc/wireguard/wg0.conf Das ganze per rc.local beim Booten laden. Datei /root/wireguard_start.sh ############################################################################################### # Autor: Frank Mankel # Startup-Script # Wireguard # Kontakt: frank.mankel@gmail.com # ############################################################################################### ip link add wg0 type wireguard ip address add dev wg0 10.10.0.1/8 wg setconf wg0 /etc/wireguard/wg0.conf ip link set up dev wg0 Danach Datei ausführbar machen chmod +x /root/wireguard_start.sh In rc.local /root/wireguard_start.sh eintragen - Fertig!