Skip to content
linux-nerds.org

linux-nerds.org
  1. Übersicht
  2. Linux
  3. Archiv
  4. Kopia
  5. Kopia - HTTP/S Server

Kopia - HTTP/S Server

Verschoben Kopia
  • FrankMF

    Ok, weiter geht's 🙂 Kopia hat auch einen eingebauten Server Modus. Das entspricht dann dem REST-Server von Restic.

    Da es auch eine arm64 Version gibt, klatschen wir das mal schnell auf einen ROCKPro64 zum Testen.

    Kopia Installation

    Wir suchen uns hier die richtige Version aus und kopieren den Download Pfad. In meinem Fall brauchen wir dann das hier.

    root@debian:~# wget https://github.com/kopia/kopia/releases/download/v0.6.0-rc1/kopia_0.6.0-rc1_linux_arm64.deb

    Danach installieren

    root@debian:~# dpkg -i *.deb
Selecting previously unselected package kopia.
(Reading database ... 161388 files and directories currently installed.)
Preparing to unpack kopia_0.6.0-rc1_linux_arm64.deb ...
Unpacking kopia (0.6.0~rc1) ...
Setting up kopia (0.6.0~rc1) ...

    Repository erzeugen

    Wir brauchen mal irgendeinen Pfad zum Testen

    root@debian:~# mkdir kopia

    Wir erzeugen ein Repository

    root@debian:~# kopia repository create filesystem --path kopia
Enter password to create new repository: 
Re-enter password for verification: 
Initializing repository with:
  block hash:          BLAKE2B-256-128
  encryption:          AES256-GCM-HMAC-SHA256
  splitter:            DYNAMIC-4M-BUZHASH
Connected to repository.

NOTICE: Kopia will check for updates on GitHub every 7 days, starting 24 hours after first use.
To disable this behavior, set environment variable KOPIA_CHECK_FOR_UPDATES=false
Alternatively you can remove the file "/root/.config/kopia/repository.config.update-info.json".

Policy for (global):

Retention:
  Annual snapshots:    3           (default)
  Monthly snapshots:  24           (default)
  Weekly snapshots:    4           (default)
  Daily snapshots:     7           (default)
  Hourly snapshots:   48           (default)
  Latest snapshots:   10           (default)

Files policy:
  No ignore rules.
  Read ignore rules from files:
    .kopiaignore                   (default)

Error handling policy:
  Ignore file read errors:       false       (default)
  Ignore directory read errors:  false       (default)

Scheduled snapshots:
  None

Compression disabled.

To change the policy use:
  kopia policy set --global <options>
or
  kopia policy set <dir> <options>

    Tool htpasswd

    Für das Tool htpasswd brauchen wir

    apt install apache2-utils

    Danach legen wir einen User mit Passwort an.

    root@debian:~# htpasswd -c htpasswd frank@frank-MS-XX
New password: 
Re-type new password: 
Adding password for user frank@frank-MS-XX

    Server starten

    root@debian:~# kopia server --htpasswd-file htpasswd --address 192.168.3.2:51515
SERVER ADDRESS: http://192.168.3.2:51515

Open the address above in a web browser to use the UI.
serving patched index

    Server Webinterface

    kopia_login.png

    Den Server kann man jetzt über einen Webbrowser erreichen

    67d50fe3-bf02-4653-a06f-d84de6dae0c3-image.png

    Was mich aber mehr interessiert, ich möchte den Server ja von extern erreichen um dort Backups anzulegen.

    Kopia HTTP/S von extern erreichen

    Ich hatte von meinem Test gestern Version 0.5.2 installiert, die kann das nicht. Also purgen und die Version 0.6.0-rc1 installieren. Diese ist im Github als Latest Releases markiert.

    wget https://github.com/kopia/kopia/releases/download/v0.6.0-rc1/kopia_0.6.0-rc1_linux_amd64.deb
sudo dpkg -i *.deb

    Ok, installiert und dann Version kontrollieren

    frank@frank-MS-XX:~$ kopia --version
0.6.0-rc1 build: cfa30f2e45e7a9ec421757ced6361428412014bb

    Passt 🙂

    Zum Server connecten

    frank@frank-MS-XX:~$ kopia repo connect server --url=http://192.168.3.2:51515 --override-username=frank --override-hostname=frank-MS-XX
Enter password to open repository: 

Connected to repository API Server.

NOTICE: Kopia will check for updates on GitHub every 7 days, starting 24 hours after first use.
To disable this behavior, set environment variable KOPIA_CHECK_FOR_UPDATES=false
Alternatively you can remove the file "/home/frank/.config/kopia/repository.config.update-info.json".

    Ok, das sollte die Verbindung aufgebaut haben.

    Snapshot anlegen

    frank@frank-MS-XX:~$ kopia snapshot create $HOME/Downloads
Snapshotting frank@frank-MS-7C37:/home/frank/Downloads ...
 * 0 hashing, 64 hashed (7.4 GB), 0 cached (0 B), 0 uploaded (0 B), 0 errors  
Created snapshot with root k69751246cde8eb9180fb27e54da88220 and ID c936bac0515e9b740c1e67f64e3ea352 in 2m54s

    Webinterface

    Im Interface kann man dann oben rechts auswählen, welche Snapshots man angezeigt haben möchte.

    Snapshot durchsuchen

    Man kann sich sofort den Snapshot anzeigen lassen und nach Dateien suchen usw.

    Sehr praktisch 😳

    Fazit

    Nach einigen wenigen Minuten, ein kleines Kurzfazit. Das Ding hat ganz viel Potential und gefällt mir aktuell sehr gut. Auch wenn man das sicherlich noch etwas ausführlicher testen muss.

    Im Fediverse -> @FrankM@nrw.social

    1. NanoPi R5S
    2. Quartz64 Model B, 4GB RAM
    3. Quartz64 Model A, 4GB RAM
    4. RockPro64 v2.1
    0
  • FrankMF

    Zur Steuerung welche Dateien und Ordner gesichert werden sollen, erstellt man ein File mit dem Namen .kopiaignore

    Downloads
Kopia_TEST
VirtualBox\ VMs/
.cache

    Danach werden diese Dateien und Ordner nicht mehr gesichert.

    Im Fediverse -> @FrankM@nrw.social

    1. NanoPi R5S
    2. Quartz64 Model B, 4GB RAM
    3. Quartz64 Model A, 4GB RAM
    4. RockPro64 v2.1
    0
  • FrankMF

    Ich hatte ein paar Probleme, die ich mir teilweise nicht erklären kann 🤔

    Ich möchte den Kopia Server gerne über systemd steuern.

    SystemD

    [Unit]
Description=Kopia Server
After=syslog.target
After=network.target

[Service]
Type=simple
User=kopia
Group=kopia
ExecStart=/usr/bin/kopia server --tls-cert-file /home/kopia-server/fullchain.pem --tls-key-file /home/kopia-server/privkey.pem --htpasswd-file /home/kopia-server/.htpasswd --address <IPv4>:51515
Restart=always
RestartSec=5

[Install]
WantedBy=multi-user.target

    Danach

    systemctl daemon-reload
systemctl start kopia-server

    Mit

    systemctl status kopia-server

    kann man sich den Status anzeigen lassen.

    Client Rechner

    Auf dem Client, der das Backup zum Server schicken soll, machen wir dann folgendes.

    USER@HOSTNAME:~$ kopia repo connect server --url=https://<DOMAIN>:51515 --override-username=USER --override-hostname=HOSTNAME
Enter password to open repository: 

Connected to repository API Server.

NOTICE: Kopia will check for updates on GitHub every 7 days, starting 24 hours after first use.
To disable this behavior, set environment variable KOPIA_CHECK_FOR_UPDATES=false
Alternatively you can remove the file "/home/frank/.config/kopia/repository.config.update-info.json".

    Danach steht die Verbindung und wir können Backups hochschieben.

    kopia snapshot create $HOME

    Damit wird das Homeverzeichnis gesichert. Das initiale Backup, hat 30 Minuten gebraucht.

    created snapshot with root kb9e50ff5xxxxxxxxxx265d40a5d0861 and ID cda5c0ffxxxxxxxxxxxxxxa4cb4a367b in 30m28s

    Ein späteres Backup, sieht so aus.

    USER@HOSTNAME:~$ kopia snapshot create $HOME
Snapshotting USER@HOSTNAME:/home/frank ...
 * 0 hashing, 51 hashed (324.8 MB), 8524 cached (6.6 GB), 0 uploaded (0 B), 0 errors 100.0%
Created snapshot with root kc20a4xxxxxxxxxxxx745c6c7b37c and ID d7a96eaxxxxxxxxxxx0961018eacffa in 3m12s

    Nach 3 Minuten durch. Zu diesem Zeitpunkt hat sich aber auch nicht wirklich was geändert!

    Fazit

    Das Tool macht immer noch einen sehr guten Eindruck. Die Geschwindigkeit ist sehr gut. Die Anleitung ist leider unzureichend. Da gibt es so viele Möglichkeiten, da braucht es sehr lange, bis man da mal durchsteigt. Zum Glück, ist das was man normalerweise braucht, recht überschaubar. Bis zum produktiven Einsatz braucht das aber bei mir noch eine Menge mehr Tests.

    Was ich noch testen möchte

    • Verzeichnis mounten
    • Backup testweise wieder herstellen (zumindestens teilweise)

    Der Test läuft mit Standard Einstellungen, also z.B. ohne Kompression. Das sollte man dann auch mal testen..

    Bitte achtet auf gleiche Versionen auf dem Clienten, wie auf dem Server. Ich meine da ein paar Probleme festgestellt zu haben...

    Im Fediverse -> @FrankM@nrw.social

    1. NanoPi R5S
    2. Quartz64 Model B, 4GB RAM
    3. Quartz64 Model A, 4GB RAM
    4. RockPro64 v2.1
    0

  • FrankMF

    Update 1.32.7 - Security Fixes!

    Vaultwarden
    1
    0 Stimmen
    1 Beiträge
    83 Aufrufe
    Niemand hat geantwortet
  • FrankMF

    Update 1.32.6

    Vaultwarden
    1
    0 Stimmen
    1 Beiträge
    90 Aufrufe
    Niemand hat geantwortet
  • FrankMF

    Debian 13 - Trixie

    Linux
    1
    0 Stimmen
    1 Beiträge
    158 Aufrufe
    Niemand hat geantwortet
  • FrankMF

    Debian Bullseye - ZFS installieren und Pool erstellen

    Linux
    1
    +0
    0 Stimmen
    1 Beiträge
    1k Aufrufe
    Niemand hat geantwortet
  • FrankMF

    Docker - Portainer

    Linux
    3
    +5
    0 Stimmen
    3 Beiträge
    736 Aufrufe
    FrankMF
    Dann grabe ich das mal wieder aus Bedingt durch den Wegfall meines Proxmox, musste ich mir Gedanken darüber machen, wie ein paar Dienste auch weiterhin laufen sollen. Um mal die zwei wichtigsten zu nennen. checkmk DokuWiki Diese sollen später, wenn der zweite NanoPi R5S aus China da ist, dort laufen. Da der aber mit der Schneckenpost kommt, kann man ja in der Zwischenzeit mal wieder mit Docker spielen. Ich erinnerte mich daran, das checkmk eine sehr gute Anleitung hat, so das ich das mal wieder ausprobierte. Klappte einwandfrei. Dann erinnerte mich an Portainer und dachte mir, das probiere ich mal wieder aus [image: 1659859625137-1d2dc9b3-ad71-45c5-b552-72c88a1bf773-grafik.png] Ich hatte übrigens die Endpoints gesucht und nicht gefunden, die heißen jetzt Environments. Auf dem Bild ist noch keiner eingerichtet. [image: 1659859549311-4bdbf196-1b36-4e65-94d0-0e56daa473bf-grafik.png] Irgendwie ist das wirklich richtig gute Software. Ich mag den Portainer und auch als selbst ausgebildeter ITler kommt man damit sehr schnell ganz gut zurecht. Ja, man kann die ganzen Docker Befehle auch über die Konsole eingeben, was ich normalerweise auch mit ganz vielen Dingen mache, aber das macht hier einfach Spaß. Man hat auch schnell einen guten Überblick was wo läuft usw. Wer so was sucht, einfach mal ausprobieren. Klare Empfehlung von mir.
  • FrankMF

    Rest-Server

    Verschoben Restic
    8
    0 Stimmen
    8 Beiträge
    587 Aufrufe
    FrankMF
    Dann mal eben ausprobiert. Auf meinem Server war die Version 0.9.7 selber, mit go, gebaut. Dann mache ich das auch mit der v0.10.0 so. Aber bevor ich anfange, wird die v0.9.7 gesichert. mv /usr/local/bin/rest-server /usr/local/bin/rest-server_0_9_7 So erspare ich mir im Problemfall das selber bauen. Ok, dann die neue Version bauen. git clone https://github.com/restic/rest-server.git cd rest-server go run build.go Danach befindet sich im Verzeichnis die Binärdatei rest-server Die kopieren wir jetzt cp rest-server /usr/local/bin Danach kurzer Test # rest-server --version rest-server 0.10.0 (v0.10.0-6-g037fe06) compiled with go1.11.6 on linux/amd64 Gut Version passt Dann ein Backup gestartet. Das sichert einen Teil meines Home-Verzeichnis Files: 153 new, 100 changed, 177857 unmodified Dirs: 0 new, 1 changed, 0 unmodified Added to the repo: 81.881 MiB processed 178110 files, 80.571 GiB in 0:28 snapshot 607e0027 saved Applying Policy: keep the last 3 snapshots, 3 monthly snapshots keep 5 snapshots: ID Time Host Tags Reasons Paths --------------------------------------------------------------------------------------- fa97890e 2020-07-25 21:02:05 frank-XXX monthly snapshot /home/frank 5b073bbb 2020-08-30 10:17:27 frank-XXX monthly snapshot /home/frank f7cf37ef 2020-09-06 15:13:03 frank-XXX last snapshot /home/frank 0157462c 2020-09-13 13:32:12 frank-XXX last snapshot /home/frank 607e0027 2020-09-14 08:09:34 frank-XXX last snapshot /home/frank monthly snapshot --------------------------------------------------------------------------------------- 5 snapshots remove 1 snapshots: ID Time Host Tags Paths --------------------------------------------------------------------- 3010b7cc 2020-09-06 11:39:27 frank-XXX /home/frank --------------------------------------------------------------------- 1 snapshots 1 snapshots have been removed, running prune counting files in repo building new index for repo [1:34] 100.00% 17351 / 17351 packs So weit funktioniert das genau wie vorher. Im Changelog stand ja was von Subfoldern. Das betrifft mich nicht, weil ich für jeden User genau ein Verzeichnis habe. So mit alles Gut Dann warte ich mal morgen ab, ob die täglichen Backups der Server rund laufen.
  • FrankMF

    Restic - Einen ROCKPro64 als Datengrab benutzen

    Verschoben Restic
    2
    +0
    0 Stimmen
    2 Beiträge
    850 Aufrufe
    FrankMF
    So, dann mal das Ganze testen wenn man seinen Haupt-PC neu installiert hat und ein paar Daten braucht. [image: 1534692579149-img_20180819_090116_ergebnis-resized.jpg] Also, mal Restic installiert. sudo apt-get install restic Nach erfolgter Installation ein Test frank@frank-MS-7A34:~/restic$ restic version restic 0.8.3 compiled with go1.10 on linux/amd64 Geht so weit. Snapshots auflisten. restic -r sftp:rock64@IP:/home/rock64/backup snapshots Sieht dann so aus. frank@frank-MS-7A34:~$ sudo restic -r sftp:rock64@192.168.3.207:/home/rock64/backup snapshots [sudo] Passwort für frank: rock64@192.168.3.207's password: enter password for repository: password is correct ID Date Host Tags Directory ---------------------------------------------------------------------- 7e2eddcb 2018-08-18 10:10:40 frank-MS-7A34 /home/frank/Bilder 073b7cb4 2018-08-18 14:21:17 frank-MS-7A34 /home/frank 6bc9b21b 2018-08-18 16:11:19 frank-MS-7A34 /home/frank ---------------------------------------------------------------------- 3 snapshots Snapshot wiederherstellen sudo restic -r sftp:rock64@IP:/home/rock64/backup restore latest --target /tmp/backup Hiermit stellen wir das Backup im temporären Ordner /tmp/backup wieder her. Hat ewig gedauert, aber ging !?!?!?
  • FrankMF

    Node.js auf dem Raspberry3 B+ installieren

    RaspberryPi
    1
    0 Stimmen
    1 Beiträge
    793 Aufrufe
    Niemand hat geantwortet