Skip to content

Restic & Rclone & Nextcloud

Linux
  • Ich hatte mich schon mal mit rclone beschäftigt -> https://forum.frank-mankel.org/topic/27/restic-ein-backupkonzept-automatisieren?_=1584115522317

    Was ist rclone?

    Rclone - rsync for cloud storage

    Nun mal rclone auf meinem Haupt-PC, Debian Buster, ausprobieren.

    Installation

    root@debian:~# apt install rclone
    Paketlisten werden gelesen... Fertig
    Abhängigkeitsbaum wird aufgebaut.       
    Statusinformationen werden eingelesen.... Fertig
    Die folgenden NEUEN Pakete werden installiert:
      rclone
    0 aktualisiert, 1 neu installiert, 0 zu entfernen und 0 nicht aktualisiert.
    Es müssen 6.248 kB an Archiven heruntergeladen werden.
    Nach dieser Operation werden 26,6 MB Plattenplatz zusätzlich benutzt.
    Holen:1 https://deb.debian.org/debian buster/main amd64 rclone amd64 1.45-3 [6.248 kB]
    Es wurden 6.203 kB in 8 s geholt (777 kB/s).
    Vormals nicht ausgewähltes Paket rclone wird gewählt.
    (Lese Datenbank ... 238249 Dateien und Verzeichnisse sind derzeit installiert.)
    Vorbereitung zum Entpacken von .../rclone_1.45-3_amd64.deb ...
    Entpacken von rclone (1.45-3) ...
    rclone (1.45-3) wird eingerichtet ...
    

    Konfiguration

    root@debian:~# rclone config
    2020/03/14 09:20:19 NOTICE: Config file "/root/.config/rclone/rclone.conf" not found - using defaults
    No remotes found - make a new one
    n) New remote
    s) Set configuration password
    q) Quit config
    n/s/q> n
    name> nextcloud
    Type of storage to configure.
    Enter a string value. Press Enter for the default ("").
    Choose a number from below, or type in your own value
     1 / A stackable unification remote, which can appear to merge the contents of several remotes
       \ "union"
     2 / Alias for a existing remote
       \ "alias"
     3 / Amazon Drive
       \ "amazon cloud drive"
     4 / Amazon S3 Compliant Storage Providers (AWS, Ceph, Dreamhost, IBM COS, Minio)
       \ "s3"
     5 / Backblaze B2
       \ "b2"
     6 / Box
       \ "box"
     7 / Cache a remote
       \ "cache"
     8 / Dropbox
       \ "dropbox"
     9 / Encrypt/Decrypt a remote
       \ "crypt"
    10 / FTP Connection
       \ "ftp"
    11 / Google Cloud Storage (this is not Google Drive)
       \ "google cloud storage"
    12 / Google Drive
       \ "drive"
    13 / Hubic
       \ "hubic"
    14 / JottaCloud
       \ "jottacloud"
    15 / Local Disk
       \ "local"
    16 / Microsoft Azure Blob Storage
       \ "azureblob"
    17 / Microsoft OneDrive
       \ "onedrive"
    18 / OpenDrive
       \ "opendrive"
    19 / Openstack Swift (Rackspace Cloud Files, Memset Memstore, OVH)
       \ "swift"
    20 / Pcloud
       \ "pcloud"
    21 / SSH/SFTP Connection
       \ "sftp"
    22 / Webdav
       \ "webdav"
    23 / Yandex Disk
       \ "yandex"
    24 / http Connection
       \ "http"
    Storage> 22
    ** See help for webdav backend at: https://rclone.org/webdav/ **
    
    URL of http host to connect to
    Enter a string value. Press Enter for the default ("").
    Choose a number from below, or type in your own value
     1 / Connect to example.com
       \ "https://example.com"
    url> https://nextcloud.example.de/remote.php/dav/files/User/
    Name of the Webdav site/service/software you are using
    Enter a string value. Press Enter for the default ("").
    Choose a number from below, or type in your own value
     1 / Nextcloud
       \ "nextcloud"
     2 / Owncloud
       \ "owncloud"
     3 / Sharepoint
       \ "sharepoint"
     4 / Other site/service or software
       \ "other"
    vendor> 1
    User name
    Enter a string value. Press Enter for the default ("").
    user> Frank
    Password.
    y) Yes type in my own password
    g) Generate random password
    n) No leave this optional password blank
    y/g/n> y
    Enter the password:
    password:
    Confirm the password:
    password:
    Bearer token instead of user/pass (eg a Macaroon)
    Enter a string value. Press Enter for the default ("").
    bearer_token> 
    Remote config
    --------------------
    [nextcloud]
    url = https://nextcloud.example.de/remote.php/dav/files/Frank/
    vendor = nextcloud
    user = Frank
    pass = *** ENCRYPTED ***
    --------------------
    y) Yes this is OK
    e) Edit this remote
    d) Delete this remote
    y/e/d> y
    Current remotes:
    
    Name                 Type
    ====                 ====
    nextcloud            webdav
    
    e) Edit existing remote
    n) New remote
    d) Delete remote
    r) Rename remote
    c) Copy remote
    s) Set configuration password
    q) Quit config
    e/n/d/r/c/s/q> q
    

    Das sollte für Euch als Nextcloud User keine besondere Herausforderung sein. Unter https://nextcloud.example.de/settings/user/security legt ihr, wie gewohnt, das Gerät fest was auf Eure Nextcloud Instanz zugreifen darf.

    Test

    rclone ls nextcloud:
    

    Ein erster Test gab mir den kompletten Inhalt der Nextcloud Installation aus. Hmm, nicht das was ich wollte. rclone soll nur auf ein bestimmtes Verzeichnis zugreifen dürfen. Also schnell einen Ordner in der Nextcloud angelegt.

    Kurz ändern.

    root@debian:~# rclone config
    Current remotes:
    
    Name                 Type
    ====                 ====
    nextcloud            webdav
    
    e) Edit existing remote
    n) New remote
    d) Delete remote
    r) Rename remote
    c) Copy remote
    s) Set configuration password
    q) Quit config
    e/n/d/r/c/s/q> e
    Choose a number from below, or type in an existing value
     1 > nextcloud
    remote> 1
    --------------------
    [nextcloud]
    type = webdav
    url = https://nextcloud.example.de/remote.php/dav/files/Frank/
    vendor = nextcloud
    user = Frank
    pass = *** ENCRYPTED ***
    --------------------
    Edit remote
    ** See help for webdav backend at: https://rclone.org/webdav/ **
    
    Value "url" = "https://nextcloud.example.de/remote.php/dav/files/Frank/"
    Edit? (y/n)>
    y) Yes
    n) No
    y/n> y
    URL of http host to connect to
    Enter a string value. Press Enter for the default ("").
    Choose a number from below, or type in your own value
     1 / Connect to example.com
       \ "https://example.com"
    url> https://nextcloud.example.de/remote.php/dav/files/Frank/rclone/                                          
    Value "vendor" = "nextcloud"
    Edit? (y/n)>
    y) Yes
    n) No
    y/n> n
    Value "user" = "Frank"
    Edit? (y/n)>
    y) Yes
    n) No
    y/n> n
    Value "pass" = "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx"
    Edit? (y/n)>
    y) Yes
    n) No
    y/n> n
    Value "bearer_token" = ""
    Edit? (y/n)>
    y) Yes
    n) No
    y/n> n
    --------------------
    [nextcloud]
    type = webdav
    url = https://nextcloud.example.de/remote.php/dav/files/Frank/rclone/
    vendor = nextcloud
    user = Frank
    pass = *** ENCRYPTED ***
    --------------------
    y) Yes this is OK
    e) Edit this remote
    d) Delete this remote
    y/e/d> y
    Remote config
    Current remotes:
    
    Name                 Type
    ====                 ====
    nextcloud            webdav
    
    e) Edit existing remote
    n) New remote
    d) Delete remote
    r) Rename remote
    c) Copy remote
    s) Set configuration password
    q) Quit config
    e/n/d/r/c/s/q> q
    

    Erneuter Test

    root@debian:~# rclone ls nextcloud:
    

    Jetzt zeigt er ein leeres Verzeichnis an. Kurz ein Dokument erstellt.

    root@debian:~# rclone ls nextcloud:
             4 Testing.md
    

    Passt. Die rclone Konfiguration ist abgeschlossen. Jetzt kann ich mit rclone auf meine Nextcloud Installation zugreifen. Und wofür das Ganze? Mit Restic, in Verbindung mit rclone, möchte ich eine Datensicherung einrichten die Daten verschlüsselt in meiner Nextcloud Instanz ablegt.

  • Gut, nun zum Restic Teil.

    In Debian Buster ist aktuell diese Version enthalten.

    restic/stable,now 0.9.4+ds-2+b1 amd64  [installiert]
      backup program with multiple revisions, encryption and more
    

    Installation

    apt install restic
    

    Version checken mit

    root@debian:~# restic version
    restic 0.9.4 compiled with go1.11.6 on linux/amd64
    

    INIT

    Um jetzt eine Datensicherung zu initialisieren, muss man folgendes eingeben.

    root@debian:~# restic -r rclone:nextcloud:HOME init
    enter password for new repository: 
    enter password again: 
    created restic repository 4bxxxxxx16 at rclone:nextcloud:HOME
    
    Please note that knowledge of your password is required to access
    the repository. Losing your password means that your data is
    irrecoverably lost.
    

    In diesem Beispiel erzeuge ich eine Datensicherung in der Nextcloud Instanz im Verzeichnis HOME.

    8b0322e0-0896-4167-8d25-6e341a61d461-image.png

    Man wird nach dem Passwort gefragt, alles so wie wir es kennen. Mehr zu Restic gibt es hier. Man könnte jetzt natürlich auch mehrere Datensicherungen dort ablegen, dazu müsste das HOME gegen was anderes ausgetauscht werden.

    Backup Plan

    Ich möchte die wichtigsten Daten aus meinem Homeverzeichnis sichern. Dazu müssen wir uns Gedanken machen, was wichtig ist.

    Ich habe da folgende Sachen mal ausgesucht

    • Scripte_NAS
    • .cinnamon
    • .config
    • .filezilla
    • .gnupg
    • .joplin
    • .mozilla
    • .ssh
    • .thunderbird
    • .vscode

    Nun erstellen wir eine INCLUDE Datei.

     nano includes.txt
    

    Die Dateien von oben rein und speichern.

    BACKUP

    Das sieht dann so aus.

    restic --password-file /root/passwd -r rclone:nextcloud:HOME backup --files-from /root/includes.txt
    

    In /root/passwd liegt das Passwort, wir wollen das Ganze ja bitte schön automatisieren.

    Der Rest sollte klar sein, ansonsten verweise ich auf die tolle Anleitung.

    Nun werden alle Dateien verschlüsselt in der Nextcloud Instanz abgelegt. So mit kann auch kein neugieriger Systemadministrator da was mit anfangen 😉

  • Hier mal eine Ausgabe vom ersten Durchgang

    root@frank-MS-7C37:~# restic --password-file /root/passwd -r rclone:Nextcloud:HOME_UBUNTU backup --files-from /root/includes.txt
    repository 99xxxxa0 opened successfully, password is correct
    created new cache in /root/.cache/restic
    rclone: 2020/05/08 17:47:57 ERROR : locks: error listing: directory not found
    rclone: 2020/05/08 17:47:58 ERROR : index: error listing: directory not found
    rclone: 2020/05/08 17:47:58 ERROR : snapshots: error listing: directory not found
    
    Files:        3503 new,     0 changed,     0 unmodified
    Dirs:            2 new,     0 changed,     0 unmodified
    Added to the repo: 16.872 GiB
    
    processed 3503 files, 21.134 GiB in 1:02:56
    snapshot fdxxxxec saved
    

    Der erste Durchgang hat also etwa eine Stunde benötigt. Durch die Deduplikation der Daten, ist der Vorgang beim zweiten Durchgang viel schneller weil nur neue oder geänderte Daten gesichert werden. Und außerdem sind alle Daten AES-256 verschlüsselt. Also perfekt zur Ablage in irgendeiner Cloud 😉

    root@frank-MS-7C37:~# restic --password-file /root/passwd -r rclone:Nextcloud:HOME_UBUNTU backup --files-from /root/includes.txt
    repository 99xxxxa0 opened successfully, password is correct
    
    Files:          57 new,    41 changed,  3449 unmodified
    Dirs:            0 new,     2 changed,     0 unmodified
    Added to the repo: 22.941 MiB
    
    processed 3547 files, 21.137 GiB in 0:13
    snapshot c6xxxxe4 saved
    

    Wie ihr seht, hat der zweite Durchgang nur ein paar neue und geänderte Daten gesichert. Der Rest ist ja schon vorhanden. Und das kann man dann auch problemlos täglich, wöchentlich oder was auch immer mal eben schnell durchführen.

    Eines meiner absoluten Lieblingstool 🙂

  • Rest-Server Version 0.12.1 released

    Linux
    1
    0 Stimmen
    1 Beiträge
    93 Aufrufe
    Niemand hat geantwortet
  • Debian 13 - Trixie

    Linux
    1
    0 Stimmen
    1 Beiträge
    149 Aufrufe
    Niemand hat geantwortet
  • Docker & Redis Datenbank

    Verschoben Linux
    2
    0 Stimmen
    2 Beiträge
    199 Aufrufe
    FrankMF

    @FrankM sagte in Docker & Redis Datenbank:

    save 60 1
    #save 900 1
    save 300 10
    save 60 10000

    Hier kann man auch noch schön sehen, wie ich gekämpft habe, bis ich mal eine dump.rdb gesehen habe. Auch irgendwie logisch, das ich nie eine gesehen hatte, wenn man weiß das

    save 900 1

    bedeutet, das er alle 900 Sekunden speichert, wenn mindestens eine Änderung vorhanden ist. Das kann dann schon was dauern. Ich habe das dann mal verkürzt, damit ich schneller ein Ergebnis habe.

    save 60 1

    Das brachte mich dann dem Ziel näher. Danach konnte ich die dump.rdb auch finden.

    Bitte keine Redis DB ohne Passwort laufen lassen!
  • NanoPi R5S - Samba

    NanoPi R5S
    5
    0 Stimmen
    5 Beiträge
    332 Aufrufe
    FrankMF

    Test zu dem NFS Mount (240GB USB SSD an USB-Port)

    [frank-ms7c37 nfs]# dd if=/dev/zero of=sd.img bs=1M count=2048 oflag=direct,nonblock 2048+0 Datensätze ein 2048+0 Datensätze aus 2147483648 Bytes (2,1 GB, 2,0 GiB) kopiert, 20,0851 s, 107 MB/s

    Test zum NAS Mount (Samba) (2TB 2,5Zoll HDD am USB-Port)

    [frank-ms7c37 NAS]# dd if=/dev/zero of=sd.img bs=1M count=2048 oflag=direct,nonblock 2048+0 Datensätze ein 2048+0 Datensätze aus 2147483648 Bytes (2,1 GB, 2,0 GiB) kopiert, 21,4538 s, 100 MB/s

    Das für den NAS Mount (Samba) sollte die maximal Schreibgrenze der Festplatte sein. Mehr dürfte da nicht gehen. Das andere könnte an den Adaptern liegen, die ich dafür benutze.

    Bei mir ist NFS hier aktuell nicht viel schneller, oder ich bin zu doof dafür.

  • OpenWrt - Sysupgrade

    OpenWRT & Ubiquiti ER-X
    1
    0 Stimmen
    1 Beiträge
    240 Aufrufe
    Niemand hat geantwortet
  • Ubiquiti ER-X - iperf

    Verschoben OpenWRT & Ubiquiti ER-X
    2
    0 Stimmen
    2 Beiträge
    282 Aufrufe
    FrankMF

    Hier noch ein Test von DMZ / LAN und andersrum.

    frank@frank-MS-7C37:~$ iperf3 -c 192.168.5.15 Connecting to host 192.168.5.15, port 5201 [ 5] local 192.168.3.213 port 44052 connected to 192.168.5.15 port 5201 [ ID] Interval Transfer Bitrate Retr Cwnd [ 5] 0.00-1.00 sec 114 MBytes 952 Mbits/sec 314 153 KBytes [ 5] 1.00-2.00 sec 112 MBytes 937 Mbits/sec 259 205 KBytes [ 5] 2.00-3.00 sec 111 MBytes 929 Mbits/sec 210 212 KBytes [ 5] 3.00-4.00 sec 111 MBytes 934 Mbits/sec 235 202 KBytes [ 5] 4.00-5.00 sec 112 MBytes 936 Mbits/sec 263 153 KBytes [ 5] 5.00-6.00 sec 111 MBytes 935 Mbits/sec 255 209 KBytes [ 5] 6.00-7.00 sec 112 MBytes 937 Mbits/sec 313 129 KBytes [ 5] 7.00-8.00 sec 111 MBytes 932 Mbits/sec 296 209 KBytes [ 5] 8.00-9.00 sec 111 MBytes 934 Mbits/sec 258 208 KBytes [ 5] 9.00-10.00 sec 111 MBytes 934 Mbits/sec 292 201 KBytes - - - - - - - - - - - - - - - - - - - - - - - - - [ ID] Interval Transfer Bitrate Retr [ 5] 0.00-10.00 sec 1.09 GBytes 936 Mbits/sec 2695 sender [ 5] 0.00-10.00 sec 1.09 GBytes 935 Mbits/sec receiver iperf Done. frank@frank-MS-7C37:~$ iperf3 -R -c 192.168.5.15 Connecting to host 192.168.5.15, port 5201 Reverse mode, remote host 192.168.5.15 is sending [ 5] local 192.168.3.213 port 44058 connected to 192.168.5.15 port 5201 [ ID] Interval Transfer Bitrate [ 5] 0.00-1.00 sec 109 MBytes 911 Mbits/sec [ 5] 1.00-2.00 sec 109 MBytes 912 Mbits/sec [ 5] 2.00-3.00 sec 109 MBytes 912 Mbits/sec [ 5] 3.00-4.00 sec 109 MBytes 912 Mbits/sec [ 5] 4.00-5.00 sec 109 MBytes 912 Mbits/sec [ 5] 5.00-6.00 sec 108 MBytes 903 Mbits/sec [ 5] 6.00-7.00 sec 109 MBytes 912 Mbits/sec [ 5] 7.00-8.00 sec 109 MBytes 912 Mbits/sec [ 5] 8.00-9.00 sec 109 MBytes 912 Mbits/sec [ 5] 9.00-10.00 sec 109 MBytes 912 Mbits/sec - - - - - - - - - - - - - - - - - - - - - - - - - [ ID] Interval Transfer Bitrate Retr [ 5] 0.00-10.00 sec 1.06 GBytes 913 Mbits/sec 114 sender [ 5] 0.00-10.00 sec 1.06 GBytes 911 Mbits/sec receiver iperf Done.
  • Wireguard

    Verschoben Wireguard
    4
    0 Stimmen
    4 Beiträge
    880 Aufrufe
    FrankMF

    Etwas schnellerer Weg den Tunnel aufzubauen, Voraussetzung

    wireguard modul installiert Keys erzeugt

    Danach dann einfach

    ip link add wg0 type wireguard wg setconf wg0 /etc/wireguard/wg0.conf Datei /etc/wireguard/wg0.conf [Interface] PrivateKey = <Private Key> ListenPort = 60563 [Peer] PublicKey = <Public Key Ziel> Endpoint = <IPv4 Adresse Zielrechner>:58380 AllowedIPs = 10.10.0.1/32

    Die Rechte der Dateien von wireguard müssen eingeschränkt werden.

    sudo chmod 0600 /etc/wireguard/wg0.conf

    Das ganze per rc.local beim Booten laden. Datei /root/wireguard_start.sh

    ############################################################################################### # Autor: Frank Mankel # Startup-Script # Wireguard # Kontakt: frank.mankel@gmail.com # ############################################################################################### ip link add wg0 type wireguard ip address add dev wg0 10.10.0.1/8 wg setconf wg0 /etc/wireguard/wg0.conf ip link set up dev wg0

    Danach Datei ausführbar machen

    chmod +x /root/wireguard_start.sh

    In rc.local

    /root/wireguard_start.sh

    eintragen - Fertig!

  • Restic - Einen ROCKPro64 als Datengrab benutzen

    Verschoben Restic
    2
    0 Stimmen
    2 Beiträge
    837 Aufrufe
    FrankMF

    So, dann mal das Ganze testen wenn man seinen Haupt-PC neu installiert hat und ein paar Daten braucht.

    0_1534692578537_IMG_20180819_090116_ergebnis.jpg

    Also, mal Restic installiert.

    sudo apt-get install restic

    Nach erfolgter Installation ein Test

    frank@frank-MS-7A34:~/restic$ restic version restic 0.8.3 compiled with go1.10 on linux/amd64

    Geht so weit.

    Snapshots auflisten. restic -r sftp:rock64@IP:/home/rock64/backup snapshots

    Sieht dann so aus.

    frank@frank-MS-7A34:~$ sudo restic -r sftp:rock64@192.168.3.207:/home/rock64/backup snapshots [sudo] Passwort für frank: rock64@192.168.3.207's password: enter password for repository: password is correct ID Date Host Tags Directory ---------------------------------------------------------------------- 7e2eddcb 2018-08-18 10:10:40 frank-MS-7A34 /home/frank/Bilder 073b7cb4 2018-08-18 14:21:17 frank-MS-7A34 /home/frank 6bc9b21b 2018-08-18 16:11:19 frank-MS-7A34 /home/frank ---------------------------------------------------------------------- 3 snapshots Snapshot wiederherstellen sudo restic -r sftp:rock64@IP:/home/rock64/backup restore latest --target /tmp/backup

    Hiermit stellen wir das Backup im temporären Ordner /tmp/backup wieder her. Hat ewig gedauert, aber ging !?!?!?