Skip to content

Restic - Migrate

Restic
  • Man kann ein altes Repo mit Version 1 in ein Repo mit Version 2 migrieren. Ein erster Versuch von mir.

    Schauen wir uns die Hilfe an.

    [frank-ms7c92 ~]# restic migrate -h 
    
    The "migrate" command checks which migrations can be applied for a repository
    and prints a list with available migration names. If one or more migration
    names are specified, these migrations are applied.
    
    EXIT STATUS
    ===========
    
    Exit status is 0 if the command was successful, and non-zero if there was any error.
    
    Usage:
      restic migrate [flags] [migration name] [...]
    
    Flags:
      -f, --force   apply a migration a second time
      -h, --help    help for migrate
    
    Global Flags:
          --cacert file                file to load root certificates from (default: use system certificates)
          --cache-dir directory        set the cache directory. (default: use system default cache directory)
          --cleanup-cache              auto remove old cache directories
          --compression mode           compression mode (only available for repository format version 2), one of (auto|off|max) (default auto)
          --insecure-tls               skip TLS certificate verification when connecting to the repository (insecure)
          --json                       set output mode to JSON for commands that support it
          --key-hint key               key ID of key to try decrypting first (default: $RESTIC_KEY_HINT)
          --limit-download int         limits downloads to a maximum rate in KiB/s. (default: unlimited)
          --limit-upload int           limits uploads to a maximum rate in KiB/s. (default: unlimited)
          --no-cache                   do not use a local cache
          --no-lock                    do not lock the repository, this allows some operations on read-only repositories
      -o, --option key=value           set extended option (key=value, can be specified multiple times)
          --pack-size uint             set target pack size in MiB, created pack files may be larger (default: $RESTIC_PACK_SIZE)
          --password-command command   shell command to obtain the repository password from (default: $RESTIC_PASSWORD_COMMAND)
      -p, --password-file file         file to read the repository password from (default: $RESTIC_PASSWORD_FILE)
      -q, --quiet                      do not output comprehensive progress report
      -r, --repo repository            repository to backup to or restore from (default: $RESTIC_REPOSITORY)
          --repository-file file       file to read the repository location from (default: $RESTIC_REPOSITORY_FILE)
          --tls-client-cert file       path to a file containing PEM encoded TLS client certificate and private key
      -v, --verbose n                  be verbose (specify multiple times or a level using --verbose=n, max level/times is 3)
    

    Dort findet man alles, was man wissen muss 😉

    Als erstes macht Restic einen Test um zu klären, ob man migrieren kann.

    [frank-ms7c92 ~]# restic migrate -r /mnt/Backup/Datensicherung_Home_Restic_UI/
    enter password for repository: 
    repository 50a2a753 opened (repository version 1) successfully, password is correct
    available migrations:
      upgrade_repo_v2       upgrade a repository to version 2
    

    Nun zeigt er uns die Migrationsmöglichkeit an, hier

    upgrade_repo_v2
    

    Der Migrationsvorgang

    [frank-ms7c92 ~]# restic migrate upgrade_repo_v2 -r /mnt/Backup/Datensicherung_Home_Restic_UI/
    enter password for repository: 
    repository 50a2a753 opened (repository version 1) successfully, password is correct
    checking repository integrity...
    using temporary cache in /tmp/restic-check-cache-3584864968
    enter password for repository: 
    repository 50a2a753 opened (repository version 1) successfully, password is correct
    created new cache in /tmp/restic-check-cache-3584864968
    load indexes
    check all packs
    check snapshots, trees and blobs
    [0:05] 100.00%  13 / 13 snapshots
    no errors were found
    applying migration upgrade_repo_v2...
    migration upgrade_repo_v2: success
    

    Der Migrations Prozeß war erfolgreich.

    migration upgrade_repo_v2: success
    

    Danach hatte ich ein Problem, weil ich das alles mal wieder als Root gemacht hatte und nun die Dateiberechtigungen falsch waren. Kurz geändert, dann kann es weiter gehen 🙂

    [frank-ms7c92 ~]# ls -lha /mnt/Backup/Datensicherung_Home_Restic_UI/
    insgesamt 32K
    drwx------   7 frankm frankm 4,0K 25. Aug 22:10 .
    drwxr-xr-x   8 frankm frankm 4,0K 24. Jul 10:37 ..
    -r--------   1 root   root    155 25. Aug 22:10 config
    drwx------ 258 frankm frankm 4,0K 10. Jul 2021  data
    drwx------   2 frankm frankm 4,0K 25. Aug 21:02 index
    drwx------   2 frankm frankm 4,0K 10. Jul 2021  keys
    drwx------   2 frankm frankm 4,0K 25. Aug 22:10 locks
    drwx------   2 frankm frankm 4,0K 25. Aug 21:02 snapshots
    [frank-ms7c92 ~]# chown -R frankm:frankm /mnt/Backup/Datensicherung_Home_Restic_UI/
    [frank-ms7c92 ~]# ls -lha /mnt/Backup/Datensicherung_Home_Restic_UI/
    insgesamt 32K
    drwx------   7 frankm frankm 4,0K 25. Aug 22:10 .
    drwxr-xr-x   8 frankm frankm 4,0K 24. Jul 10:37 ..
    -r--------   1 frankm frankm  155 25. Aug 22:10 config
    drwx------ 258 frankm frankm 4,0K 10. Jul 2021  data
    drwx------   2 frankm frankm 4,0K 25. Aug 21:02 index
    drwx------   2 frankm frankm 4,0K 10. Jul 2021  keys
    drwx------   2 frankm frankm 4,0K 25. Aug 22:10 locks
    drwx------   2 frankm frankm 4,0K 25. Aug 21:02 snapshots
    

    In der Doku hatte ich gelesen, das es jetzt noch einen Schritt benötigt.

    After the migration is complete, run prune to compress the repository metadata.

    ec2510d2-e11f-409e-bcd2-aa75e97d6654-image.png

    Danach benutzt das Repo die Version 2. Es ist aber nocht nicht alles komprimiert.

    File contents stored in the repository will not be rewritten, data from new backups will be compressed. Over time more and more of the repository will be compressed. To speed up this process and compress all not yet compressed data, you can run prune --repack-uncompressed

    Vorher

    e938e73b-35c0-4b55-a45e-127d93cb2825-image.png

    Nachher

    Uuups, jetzt ist mir der Plattenplatz ausgegangen. Ok, machen wir morgen weiter.

    [frank-ms7c92 ~]# restic prune --repack-uncompressed -r /mnt/Backup/Datensicherung_Home_Restic_UI/
    enter password for repository: 
    wrong password or no key found. Try again
    enter password for repository: 
    repository 50a2a753 opened (repository version 2) successfully, password is correct
    loading indexes...
    loading all snapshots...
    finding data that is still in use for 12 snapshots
    [0:06] 100.00%  12 / 12 snapshots
    searching used packs...
    collecting packs for deletion and repacking
    [0:00] 100.00%  48761 / 48761 packs processed
    
    to repack:        639695 blobs / 232.525 GiB
    this removes:      17295 blobs / 2.420 GiB
    to delete:             0 blobs / 0 B
    total prune:       17295 blobs / 2.420 GiB
    remaining:        834691 blobs / 230.262 GiB
    unused size after prune: 0 B (0.00% of remaining size)
    
    repacking packs
    [20:01] 35.12%  17121 / 48748 packs repacked
    Fatal: write /mnt/Backup/Datensicherung_Home_Restic_UI/data/f5/f5aa7d219ded5c271bf36ef67676f9af9d7817cf24d3245807734e6e6ca61e73-tmp-2111188238: no space left on device
    

    Ok, der Vorgang ist jetzt abgeschlossen. Kalkuliert bitte für den Vorgang den Platz der aktuell verbraucht wird obendrauf. Unter Umständen wird das schwierig.

    [frank-ms7c92 Backup]# restic prune --repack-uncompressed -r /mnt/Backup/Datensicherung_Home_Restic_UI/
    enter password for repository: 
    repository 50a2a753 opened (repository version 2) successfully, password is correct
    loading indexes...
    loading all snapshots...
    finding data that is still in use for 12 snapshots
    [0:06] 100.00%  12 / 12 snapshots
    searching used packs...
    collecting packs for deletion and repacking
    [0:00] 100.00%  48761 / 48761 packs processed
    
    to repack:        639695 blobs / 232.525 GiB
    this removes:      17295 blobs / 2.420 GiB
    to delete:             0 blobs / 73.281 GiB
    total prune:       17295 blobs / 75.701 GiB
    remaining:        834691 blobs / 230.262 GiB
    unused size after prune: 0 B (0.00% of remaining size)
    
    deleting unreferenced packs
    [0:01] 100.00%  4447 / 4447 files deleted
    repacking packs
    [1:56:48] 100.00%  48748 / 48748 packs repacked
    rebuilding index
    [0:01] 100.00%  12707 / 12707 packs processed
    deleting obsolete index files
    [0:00] 100.00%  6 / 6 files deleted
    removing 48748 old packs
    [0:02] 100.00%  48748 / 48748 files deleted
    done
    

    Ich kann hier leider nicht aufzeigen, ob ich etwas gespart habe. Dafür hätte ich vorher mal eine Bestandsaufnahme machen müssen. Vergessen 😞

    Die neuen Funktionen arbeiten aber soweit korrekt, soweit ich das aktuell beurteilen kann. Werde mich mit dem Thema aber noch etwas ausführlicher beschäftigen, auch weil ich die neuen Funktionen in mein Resti UI einbauen werde.

  • 0 Stimmen
    2 Beiträge
    295 Aufrufe
    FrankMF
    Ich habe den Sonntag mal genutzt um ein wenig was einzubauen. Einmal habe ich mit datatables.net die Tabelle etwas funktionaler gestaltet. [image: 1736705735786-00a95363-1f41-4bbf-884a-34f21aea81e4-grafik.png] Man kann nun suchen, sortieren und wenn man mehr als 10 Datenpunkte hat, hat die Tabelle auch Pagination. Ein nettes Projekt, macht einiges einfacher Das nächste, ich hatte es im Video ja kurz erwähnt, mir fehlte ja noch die Restore Funktion von Restic. Ok, ist jetzt auch drin. Da die Benutzerverwaltung mittlerweile komplett eingebaut ist, werde ich demnächst meine Test Datenbanken und alles was damit zu tuen hat, aus dem Code entfernen. Brauch ich jetzt nicht mehr. Habe jetzt zwei Benutzer, einen Produktiven und einen zum Testen. Langfristig steht auch noch eine zweite Sprache auf dem Zettel. Aber, dafür muss ich Lust haben, das Thema juckt nicht so richtig
  • Rest-Server v0.13.0 released

    Restic
    2
    0 Stimmen
    2 Beiträge
    311 Aufrufe
    FrankMF
    Download Rest-Server und installieren Im Github Repository den aktuellen Release suchen. Hier am Beispiel der aktuellen Version 0.13.0 (27.07.2024) Datei herunterladen wget https://github.com/restic/rest-server/releases/download/v0.13.0/rest-server_0.13.0_linux_amd64.tar.gz Die Datei entpacken tar -xf rest-server_0.13.0_linux_amd64.tar.gz Ins Verzeichnis wechseln cd rest-server_0.13.0_linux_amd64 Wenn der Rest-Server läuft, dann muss man diesen erst mal stoppen. systemctl stop rest-server Danach kopiert man das File nach bin. Wer mag sichert vorher das alte File. cp rest-server /usr/local/bin Danach kann man den Rest-Server wieder starten. systemctl start rest-server Versionskontrolle root@rest-server:~# rest-server -v rest-server version rest-server 0.13.0 compiled with go1.22.5 on linux/amd64 Die Hilfe vom Rest-Server root@rest-server:~# rest-server -h Run a REST server for use with restic Usage: rest-server [flags] Flags: --append-only enable append only mode --cpu-profile string write CPU profile to file --debug output debug messages -h, --help help for rest-server --htpasswd-file string location of .htpasswd file (default: "<data directory>/.htpasswd)" --listen string listen address (default ":8000") --log filename write HTTP requests in the combined log format to the specified filename (use "-" for logging to stdout) --max-size int the maximum size of the repository in bytes --no-auth disable .htpasswd authentication --no-verify-upload do not verify the integrity of uploaded data. DO NOT enable unless the rest-server runs on a very low-power device --path string data directory (default "/tmp/restic") --private-repos users can only access their private repo --prometheus enable Prometheus metrics --prometheus-no-auth disable auth for Prometheus /metrics endpoint --tls turn on TLS support --tls-cert string TLS certificate path --tls-key string TLS key path -v, --version version for rest-server Systemd Wer noch ein passendes systemd File benötigt. [Unit] Description=Rest Server After=syslog.target After=network.target [Service] Type=simple User=rest-server Group=rest-server ExecStart=/usr/local/bin/rest-server --private-repos --tls --tls-cert /mnt/rest-server/<DOMAIN>/fullchain.pem --tls-key /mnt/rest-server/<DOMAIN>/key.pem --path /mnt/rest-server Restart=always RestartSec=5 # Optional security enhancements NoNewPrivileges=yes PrivateTmp=yes ProtectSystem=strict ProtectHome=yes ReadWritePaths=/mnt/rest-server [Install] WantedBy=multi-user.target
  • Restic v0.16.1 released

    Restic
    1
    0 Stimmen
    1 Beiträge
    134 Aufrufe
    Niemand hat geantwortet
  • Restic UI - QThread

    Restic UI
    1
    0 Stimmen
    1 Beiträge
    124 Aufrufe
    Niemand hat geantwortet
  • checkmk - Rest-Server überwachen

    Verschoben checkmk
    1
    +2
    0 Stimmen
    1 Beiträge
    471 Aufrufe
    Niemand hat geantwortet
  • Restic v0.11.0 released

    Restic
    1
    0 Stimmen
    1 Beiträge
    199 Aufrufe
    Niemand hat geantwortet
  • Rest-Server

    Verschoben Restic
    8
    0 Stimmen
    8 Beiträge
    587 Aufrufe
    FrankMF
    Dann mal eben ausprobiert. Auf meinem Server war die Version 0.9.7 selber, mit go, gebaut. Dann mache ich das auch mit der v0.10.0 so. Aber bevor ich anfange, wird die v0.9.7 gesichert. mv /usr/local/bin/rest-server /usr/local/bin/rest-server_0_9_7 So erspare ich mir im Problemfall das selber bauen. Ok, dann die neue Version bauen. git clone https://github.com/restic/rest-server.git cd rest-server go run build.go Danach befindet sich im Verzeichnis die Binärdatei rest-server Die kopieren wir jetzt cp rest-server /usr/local/bin Danach kurzer Test # rest-server --version rest-server 0.10.0 (v0.10.0-6-g037fe06) compiled with go1.11.6 on linux/amd64 Gut Version passt Dann ein Backup gestartet. Das sichert einen Teil meines Home-Verzeichnis Files: 153 new, 100 changed, 177857 unmodified Dirs: 0 new, 1 changed, 0 unmodified Added to the repo: 81.881 MiB processed 178110 files, 80.571 GiB in 0:28 snapshot 607e0027 saved Applying Policy: keep the last 3 snapshots, 3 monthly snapshots keep 5 snapshots: ID Time Host Tags Reasons Paths --------------------------------------------------------------------------------------- fa97890e 2020-07-25 21:02:05 frank-XXX monthly snapshot /home/frank 5b073bbb 2020-08-30 10:17:27 frank-XXX monthly snapshot /home/frank f7cf37ef 2020-09-06 15:13:03 frank-XXX last snapshot /home/frank 0157462c 2020-09-13 13:32:12 frank-XXX last snapshot /home/frank 607e0027 2020-09-14 08:09:34 frank-XXX last snapshot /home/frank monthly snapshot --------------------------------------------------------------------------------------- 5 snapshots remove 1 snapshots: ID Time Host Tags Paths --------------------------------------------------------------------- 3010b7cc 2020-09-06 11:39:27 frank-XXX /home/frank --------------------------------------------------------------------- 1 snapshots 1 snapshots have been removed, running prune counting files in repo building new index for repo [1:34] 100.00% 17351 / 17351 packs So weit funktioniert das genau wie vorher. Im Changelog stand ja was von Subfoldern. Das betrifft mich nicht, weil ich für jeden User genau ein Verzeichnis habe. So mit alles Gut Dann warte ich mal morgen ab, ob die täglichen Backups der Server rund laufen.
  • Restic - Mounten der Sicherung

    Restic
    2
    0 Stimmen
    2 Beiträge
    331 Aufrufe
    FrankMF
    Bedingt durch einen Hardwareumbau und einer folgenden Neuinstallation, musste ich das Gestern mal live testen. Das klappt hervorragend Die Sicherung einbinden und dann gemütlich alles wieder zurück kopieren, was man braucht. Perfekt!