Skip to content

OpenCloud - Storage Backends testen

OpenCloud
2 1 67
  • Aufpassen, wenn man das so macht wie ich, einfach mal die lokale Speicherung auskommentieren, danach Minio/S3 an, führt zu Problemen wenn man wieder zurück wechselt.

    Bin mir nicht 100% sicher warum, aber z.B. die Radicale Tokens musste ich erneuern. Also, merkt Euch das bitte und freue mich über Tipps, wie man diese Docker compose Installation komplett zurück setzt !?

    Ein Problem habe ich leider noch, die Kontakte Synchronisation funktioniert nicht, Kalender ist ok. Und nach einiger Zeit, ich weiß nicht genau wann, habe ich unter New nur noch die Standardeinträge und nicht mehr das ganze andere Zeug (Word, Excel usw.)

    Dann hilf nur noch ein Neustart.

    docker compose down
    docker compose up - d
    

    Ich denke, das man die Docker Volumes auch alle wegschmeißen müsste um komplett neu zu starten? Docker Experten gesucht 😉

  • So, mal weiter damit beschäftigen. Also, durch meine ganze Testerei war doch ein Haufen Müll angefallen.

    dockeruser@opencloud:~/opencloud/deployments/examples/opencloud_full$ docker volume ls
    DRIVER    VOLUME NAME   
    local     0fcd6f237898477b251f3dacb6cd083996092b783f991f899b06d89befc41b1e
    local     1d8df3f5d41613ad93ed753ce2102a14738cf00e8e7d127ec79881660be291ab
    local     3b612ce20b207c226640d6b84c32c788cd0fad9f9157578c2310f4b3db63dd29
    local     5dfdde733fefb9fdb805acec8338a860762e88cd0753f4bb4098a19fbcd4b6c3
    local     6bd5659759fb99b0d0613175d2392ca268dbdb3bd0353b85ccdf9a6004e798c0
    local     6f8881420aa0e7713ed5308e635fcb9382939b6570afbd1d776866a07f6d61f2
    local     29f7d20edd9eda935041cea7af5aab0af748175d7df8f345288463753d2afa9a
    local     66ca6287706aac5013b458a109e7c143c4fb177670734fc7a0f68495b1c62fd4
    local     74d304835ef51f91226cc22dbbd494d2ddc9a4d91badf88814cae24126efd04a
    local     0203eb654c1f28a60899ded4660fb101ea222a5f8c86a225d39f3e5da877f1c0
    local     271c474feb2ed915afb8efa85e422461fcfdf8acd4097355841eadf33847b7ef
    local     569a8c34804afd5861299973bed023c0146f40c0dbda0d980b8651bbcadc7fc9
    local     655b1f446b5db9749787d4be4445887dcb3d19906d4244d059a0f292a6cd5f01
    local     843bb8d0d7845adab06e146c44b153b842d5a1a1d8eb3972bdee1d3cbcb7e815
    local     987ee19b8639ad5fffabba276ceb1ca09af6ebc66efb007e561570589c9c53a8
    local     1004f5b7b161a4fe37a07d7960740e5cd09b90d5744f1922fb3e41c1265f800a
    local     2043c77b57728106cbcca8b7e2d3ae2f07ddf4ca44ee21fca232526c95e07381
    local     3685c81df1be0061352dfc5b0e6db8d8d9f9b0915a271f1ca53d2796a7876805
    local     9581abcfb4fb42b2fabfabbc8139cc4659ca83d92a8b60041957565409293ef4
    local     796650f1fa887ff0b153822b268a10aa3579f4f2ca3ce6855ff292e49b3bb6b8
    local     426251107e3131a250b27b96e795355332127f19ccf1ec8252860aff5d0caec8
    local     bd43ceef38448db348cc34e7dc5c4fee9c834d8b6c5957b1e6cdb83cec7b0974
    local     d94e7ce6c0fb1f4f7b811f624b4526ea889f2f8b99d2aa1b21e79d00dfeb38d0
    local     e87a27c307a8be80839fae1c006273d57570bb99f60c78c95e86a1e9ea1a786c
    local     f2b3e30406db730e2a341850243c115b6eb231f30f41f5353c7b2427de39af75
    local     opencloud_full_certs
    local     opencloud_full_opencloud-apps
    local     opencloud_full_opencloud-config
    local     opencloud_full_opencloud-data
    

    Oje, das sieht ziemlich vermüllt aus. Dann mal ganz mutig alles löschen. Vorher alles gestoppt.

    docker compose down
    

    Volume löschen, nur ein Beispiel

    docker volume rm opencloud_full_opencloud-data
    

    Alles gelöscht. Dann mal ein Neustart

    docker compose up -d
    

    Jetzt sieht das schon viel besser aus.

    dockeruser@opencloud:~/opencloud/deployments/examples/opencloud_full$ docker volume ls
    DRIVER    VOLUME NAME
    local     3737a8eab68ffdc08d6e41493346feeb2e06ef350a210213ab450775318e49f8
    local     opencloud_full_opencloud-apps
    

    Da ich neugierig bin, schauen wir mal rein.

    root@opencloud:~ ls -lha /var/lib/docker/volumes/3737a8eab68ffdc08d6e41493346feeb2e06ef350a210213ab450775318e49f8/_data/web/assets/apps/
    total 8.0K
    drwxr-x--x 2 dockeruser dockeruser 4.0K May 19 18:25 .
    drwxr-x--x 3 dockeruser dockeruser 4.0K May 31 10:21 ..
    

    Vermutlich ein Speicher, wo die Web Apps was ablegen können. Der andere zeigt es dann klarer.

    root@opencloud-4gb-fsn1-2:~# ls -lha /var/lib/docker/volumes/opencloud_full_opencloud-apps/_data
    total 28K
    drwxr-x--x 7 dockeruser dockeruser 4.0K May 31 10:22 .
    drwx-----x 3 root       root       4.0K May 31 10:21 ..
    drwxr-xr-x 2 root       root       4.0K May 31 10:22 draw-io
    drwxr-xr-x 2 root       root       4.0K May 31 10:21 external-sites
    drwxr-xr-x 3 root       root       4.0K May 31 10:22 json-viewer
    drwxr-xr-x 2 root       root       4.0K May 31 10:22 progress-bars
    drwxr-xr-x 3 root       root       4.0K May 31 10:22 unzip
    

    Ok, das sollte mir erst mal reichen. Meine Installation lagert die certs ja aus, das habe ich im docker compose geändert.

    dockeruser@opencloud:~/opencloud/deployments/examples/opencloud_full$ ls -lha certs/
    total 44K
    drwxr-xr-x 2 dockeruser dockeruser 4.0K May 30 05:49 .
    drwxr-xr-x 6 dockeruser dockeruser 4.0K May 31 10:38 ..
    -rw------- 1 dockeruser dockeruser  33K May 29 11:00 acme.json
    

    Im docker-compose.yml

    volumes:
      - ./certs:/certs                   # bind-mount acme.json
    

    Der Grund dafür ist, das ich das docker-compose nicht als root laufen haben möchte.

    Die Hauptdaten sind nach lokal ausgelagert.

    OC_CONFIG_DIR=/home/dockeruser/oc_data/config
    OC_DATA_DIR=/home/dockeruser/oc_data/data
    

    Somit sollte jetzt alles so passen und ich muss mal langsam mit der Spielerei aufhören 😞

  • Debian Bookworm 12.5 released

    Linux linux debian
    3
    0 Stimmen
    3 Beiträge
    251 Aufrufe
    FrankMF
    Und hier taucht es dann auf -> https://www.debian.org/News/2024/20240210
  • NAS 2023 - Thema Datensicherung

    Verschoben Linux proxmox linux
    2
    2
    0 Stimmen
    2 Beiträge
    208 Aufrufe
    FrankMF
    Bleibt noch etwas wichtiges. Die ganzen Konfigurationsdateien vom Proxmox Host. Sinnvoll, das man sich das sichert. #!/bin/bash # Script um mit Restic Daten automatisiert zu sichern! # Dient zum Sichern des Ordners /etc/pve! # Was soll gesichert werden? backup_pfad=/etc/pve # Programm Start restic --password-file /root/passwd -r /mnt/pve/Restic_Backups/pve backup $backup_pfad > backup_pve_001.log restic --password-file /root/passwd -r /mnt/pve/Restic_Backups/pve forget --keep-last 3 --keep-monthly 3 --prune >> backup_pve_002.log # Testen restic --password-file /root/passwd -r /mnt/pve/Restic_Backups/pve check --read-data >> backup_pve_003.log Crontab eingerichtet - fertig!
  • Debian Installer Bookworm RC3 released

    Linux debian linux
    2
    0 Stimmen
    2 Beiträge
    172 Aufrufe
    FrankMF
    Und da sind wir schon bei RC4 https://lists.debian.org/debian-devel-announce/2023/05/msg00003.html
  • checkmk - Debian Bullseye Release

    checkmk checkmk bullseye linux
    1
    0 Stimmen
    1 Beiträge
    461 Aufrufe
    Niemand hat geantwortet
  • Hetzner Cloud - Volumes

    Allgemeine Diskussionen linux
    1
    3
    0 Stimmen
    1 Beiträge
    1k Aufrufe
    Niemand hat geantwortet
  • Kopia

    Allgemeine Diskussionen kopia linux restic
    1
    0 Stimmen
    1 Beiträge
    316 Aufrufe
    Niemand hat geantwortet
  • Restic - forget --keep-last 3 --prune

    Restic linux restic
    2
    0 Stimmen
    2 Beiträge
    676 Aufrufe
    FrankMF
    Ich habe mich damit noch ein wenig beschäftigt, die letzten drei zu behalten, ist nicht so optimal. Da es viele Optionen bei dem Befehl gibt, hier ein Ausschnitt Flags: -l, --keep-last n keep the last n snapshots -H, --keep-hourly n keep the last n hourly snapshots -d, --keep-daily n keep the last n daily snapshots -w, --keep-weekly n keep the last n weekly snapshots -m, --keep-monthly n keep the last n monthly snapshots -y, --keep-yearly n keep the last n yearly snapshots habe ich das ein wenig so angepasst, das ich denke es passt für mich. restic --password-file /root/passwd -r /media/NAS_neu/Restic/Home/ forget --keep-last 3 --keep-monthly 3 --prune Damit behalte ich auch die jeweils eines pro Monat. Und die letzten drei. Das sieht dann so aus. root@debian:~# ./backup2.sh repository 2f3f6147 opened successfully, password is correct Files: 38 new, 100 changed, 13268 unmodified Dirs: 0 new, 1 changed, 0 unmodified Added to the repo: 10.166 GiB processed 13406 files, 50.324 GiB in 3:24 snapshot 849f614c saved repository 2f3f6147 opened successfully, password is correct Applying Policy: keep the last 3 snapshots, 3 monthly snapshots snapshots for (host [debian], paths [/home/frank]): keep 5 snapshots: ID Time Host Tags Reasons Paths ------------------------------------------------------------------------------------ a7251cfd 2019-11-28 17:00:01 debian monthly snapshot /home/frank 283d4027 2019-12-31 17:00:01 debian monthly snapshot /home/frank ae2b96ec 2020-01-01 21:47:46 debian last snapshot /home/frank 079e00a6 2020-01-02 17:00:01 debian last snapshot /home/frank 849f614c 2020-01-03 21:08:45 debian last snapshot /home/frank monthly snapshot ------------------------------------------------------------------------------------ 5 snapshots remove 26 snapshots: ID Time Host Tags Paths ------------------------------------------------------------------ 896f16c2 2019-11-07 22:23:40 debian /home/frank b21bcf6d 2019-11-11 17:00:01 debian /home/frank f89248fb 2019-11-12 17:00:01 debian /home/frank 123ab546 2019-11-13 17:00:01 debian /home/frank b82d87d0 2019-11-18 17:00:01 debian /home/frank 040b0ab7 2019-11-19 17:00:01 debian /home/frank 7221d8ef 2019-11-20 17:00:01 debian /home/frank 84132a25 2019-11-21 17:00:01 debian /home/frank b558a52c 2019-11-25 17:00:01 debian /home/frank e5cc0c3e 2019-12-02 17:00:01 debian /home/frank 22423fa5 2019-12-03 17:00:01 debian /home/frank 39df1ab9 2019-12-04 17:00:01 debian /home/frank 98843457 2019-12-05 17:00:01 debian /home/frank b0cdd4b6 2019-12-09 17:00:01 debian /home/frank 828414f9 2019-12-10 17:00:01 debian /home/frank e34a27c3 2019-12-11 17:00:01 debian /home/frank 6e488c3b 2019-12-12 17:00:01 debian /home/frank 17898403 2019-12-16 17:00:01 debian /home/frank 1973305a 2019-12-17 17:00:01 debian /home/frank 9553bedd 2019-12-18 17:00:01 debian /home/frank fedf749d 2019-12-19 17:00:01 debian /home/frank 8e7cb876 2019-12-23 17:00:01 debian /home/frank 0bd0d102 2019-12-25 17:00:01 debian /home/frank 13d348b0 2019-12-26 17:00:01 debian /home/frank c7d960aa 2019-12-30 17:00:01 debian /home/frank f6ea9118 2020-01-01 17:00:01 debian /home/frank ------------------------------------------------------------------ 26 snapshots 26 snapshots have been removed, running prune counting files in repo building new index for repo [0:35] 100.00% 7806 / 7806 packs repository contains 7806 packs (46537 blobs) with 41.110 GiB processed 46537 blobs: 0 duplicate blobs, 0 B duplicate load all snapshots find data that is still in use for 5 snapshots [0:01] 100.00% 5 / 5 snapshots found 32654 of 46537 data blobs still in use, removing 13883 blobs will remove 0 invalid files will delete 715 packs and rewrite 752 packs, this frees 5.027 GiB [2:28] 100.00% 752 / 752 packs rewritten counting files in repo [0:01] 100.00% 6571 / 6571 packs finding old index files saved new indexes as [d137b425 f7caee99 a6e9711a] remove 35 old index files [1:13] 100.00% 1467 / 1467 packs deleted done using temporary cache in /tmp/restic-check-cache-916655151 repository 2f3f6147 opened successfully, password is correct created new cache in /tmp/restic-check-cache-916655151 create exclusive lock for repository load indexes check all packs check snapshots, trees and blobs read all data [7:47] 100.00% 6571 / 6571 items duration: 7:47 no errors were found root@debian:~# Am Ende seht ihr noch, wie Restic alle Files testet. Mein Script sieht jetzt so aus. #!/bin/bash # Script um mit Restic Daten automatisiert zu sichern! # Dient zum Sichern der Homepartition auf dem ROCKPro64 NAS! # Was soll gesichert werden? backup_pfad=/home/frank # Programm Start restic --password-file /root/passwd -r /media/NAS_neu/Restic/Home/ backup $backup_pfad --exclude-file=excludes.txt restic --password-file /root/passwd -r /media/NAS_neu/Restic/Home/ forget --keep-last 3 --keep-monthly 3 --prune # Testen restic --password-file /root/passwd -r /media/NAS_neu/Restic/Home/ check --read-data Das dann schön mit einem Cronjob laufen lassen und die Datensicherung ist erledigt
  • Twitter-Beiträge in NodeBB anzeigen

    Verschoben NodeBB nodebb linux
    3
    0 Stimmen
    3 Beiträge
    425 Aufrufe
    FrankMF
    Endlich was gefunden um Twitter-Beiträge hier anzuzeigen. Beispiele siehe oben... YEAH Wie man das in NodeBB und dem Plugin nodebb-plugin-ns-embed einbaut, steht hier. https://community.nodebb.org/topic/7135/nodebb-plugin-ns-embed-ns-embed/39