linux-nerds.org

Your browser does not seem to support JavaScript. As a result, your viewing experience will be diminished, and you have been placed in read-only mode.

Please download a browser that supports JavaScript, or enable it if it's disabled (i.e. NoScript).

OpenCloud - Minio Integration

Verschoben OpenCloud

2 Beiträge 1 Kommentatoren 184 Aufrufe

FrankM

schrieb am

Die Konfiguration zeigt einem aber auch immer schöne neue Sachen, die man unbedingt ausprobieren muss Eines, wo ich beim Lesen der Konfiguration gestolpert bin, ist die Minio / S3 Integration. Wie praktisch, wenn man einen Minio-Server schon laufen hat.

# S3 Storage configuration - optional
# OpenCloud supports S3 storage as primary storage.
# Per default, S3 storage is disabled and the decomposed storage driver is used.
# To enable S3 storage, uncomment the following line and configure the S3 storage.
# For more details see:
# https://docs.opencloud.eu/docs/admin/configuration/storage-decomposeds3
# Note: the leading colon is required to enable the service.
DECOMPOSEDS3=:decomposeds3.yml
# Configure the S3 storage endpoint. Defaults to "http://minio:9000" for testing purposes.
DECOMPOSEDS3_ENDPOINT=https://minio.example.org
# S3 region. Defaults to "default".
DECOMPOSEDS3_REGION=default
# S3 access key. Defaults to "opencloud"
DECOMPOSEDS3_ACCESS_KEY=<ACCESS KEY>
# S3 secret. Defaults to "opencloud-secret-key"
DECOMPOSEDS3_SECRET_KEY=<SECRET KEY>
# S3 bucket. Defaults to "opencloud"
DECOMPOSEDS3_BUCKET=opencloud-bucket
#
# For testing purposes, add local minio S3 storage to the docker-compose file.
# The leading colon is required to enable the service.
#DECOMPOSEDS3_MINIO=:minio.yml
# Minio domain. Defaults to "minio.opencloud.test".
MINIO_DOMAIN=https://minio.example.org

So, das ist die funktionierende Konfiguration. Bitte drauf achten, wie ihr Eure Minio Installation erreicht, meine Installation ist so aufgebaut das ich keine Ports brauche. Hatte am Anfang aber mit :9000 getestet. Das führte aber zu kaputten Files.

Rechts unten, bei der Eieruhr stand dann This item is in processing Das ging auch durch einen kompletter Neustart nicht weg.

Also heute morgen mal bei den Entwicklern im Matrix Channel nachgefragt. Wenige Minuten später die Antwort. Danke schön dafür!

Ab in die Bash des Containers.

docker exec -it opencloud_full-opencloud-1 bash

Dann hatte ich das hier eingegeben.

ccca410bf52a:~$ opencloud storage-users uploads sessions
Sessions:
+--------------------------------------+--------------------------------------+--------------------------------+---------+---------+--------------------------------------+--------------------------------------+----------------------+------------+----------------------+-------------+
|                Space                 |              Upload Id               |              Name              | Offset  |  Size   |              Executant               |                Owner                 |       Expires        | Processing |      Scan Date       | Scan Result |
+--------------------------------------+--------------------------------------+--------------------------------+---------+---------+--------------------------------------+--------------------------------------+----------------------+------------+----------------------+-------------+
| 2b5892f1-6110-4a8c-a86c-b743d85db6da | 008e8ab1-6841-4e2a-8cf4-178c7220aefb | Delta Force   20.12.2024       |  848052 |  848052 | 2b5892f1-6110-4a8c-a86c-b743d85db6da | 2b5892f1-6110-4a8c-a86c-b743d85db6da | 2025-05-31T07:01:03Z | true       | 0001-01-01T00:00:00Z |             |
|                                      |                                      | 16_59_27.png                   |         |         |                                      |                                      |                      |            |                      |             |
| 2b5892f1-6110-4a8c-a86c-b743d85db6da | 2c96a3f3-10f3-4490-a3d1-05c2c013c030 | New file.txt                   |       9 |       9 | 2b5892f1-6110-4a8c-a86c-b743d85db6da | 2b5892f1-6110-4a8c-a86c-b743d85db6da | 2025-05-31T07:01:49Z | true       | 0001-01-01T00:00:00Z |             |
| 2b5892f1-6110-4a8c-a86c-b743d85db6da | c3a75ec3-610b-4601-b839-fe109eeea53f | Delta Force   20.12.2024       | 1771546 | 1771546 | 2b5892f1-6110-4a8c-a86c-b743d85db6da | 2b5892f1-6110-4a8c-a86c-b743d85db6da | 2025-05-31T07:06:48Z | true       | 0001-01-01T00:00:00Z |             |
|                                      |                                      | 17_25_21.png                   |         |         |                                      |                                      |                      |            |                      |             |
+--------------------------------------+--------------------------------------+--------------------------------+---------+---------+--------------------------------------+--------------------------------------+----------------------+------------+----------------------+-------------+
ccca410bf52a:~$ opencloud storage-users uploads sessions --resume
Sessions:
+--------------------------------------+--------------------------------------+--------------------------------+---------+---------+--------------------------------------+--------------------------------------+----------------------+------------+----------------------+-------------+
|                Space                 |              Upload Id               |              Name              | Offset  |  Size   |              Executant               |                Owner                 |       Expires        | Processing |      Scan Date       | Scan Result |
+--------------------------------------+--------------------------------------+--------------------------------+---------+---------+--------------------------------------+--------------------------------------+----------------------+------------+----------------------+-------------+
| 2b5892f1-6110-4a8c-a86c-b743d85db6da | 008e8ab1-6841-4e2a-8cf4-178c7220aefb | Delta Force   20.12.2024       |  848052 |  848052 | 2b5892f1-6110-4a8c-a86c-b743d85db6da | 2b5892f1-6110-4a8c-a86c-b743d85db6da | 2025-05-31T07:01:03Z | true       | 0001-01-01T00:00:00Z |             |
|                                      |                                      | 16_59_27.png                   |         |         |                                      |                                      |                      |            |                      |             |
| 2b5892f1-6110-4a8c-a86c-b743d85db6da | 2c96a3f3-10f3-4490-a3d1-05c2c013c030 | New file.txt                   |       9 |       9 | 2b5892f1-6110-4a8c-a86c-b743d85db6da | 2b5892f1-6110-4a8c-a86c-b743d85db6da | 2025-05-31T07:01:49Z | true       | 0001-01-01T00:00:00Z |             |
| 2b5892f1-6110-4a8c-a86c-b743d85db6da | c3a75ec3-610b-4601-b839-fe109eeea53f | Delta Force   20.12.2024       | 1771546 | 1771546 | 2b5892f1-6110-4a8c-a86c-b743d85db6da | 2b5892f1-6110-4a8c-a86c-b743d85db6da | 2025-05-31T07:06:48Z | true       | 0001-01-01T00:00:00Z |             |
|                                      |                                      | 17_25_21.png                   |         |         |                                      |                                      |                      |            |                      |             |
+--------------------------------------+--------------------------------------+--------------------------------+---------+---------+--------------------------------------+--------------------------------------+----------------------+------------+----------------------+-------------+
ccca410bf52a:~$ opencloud storage-users uploads sessions --resume
Sessions:
+--------------------------------------+--------------------------------------+--------------------------------+--------+--------+--------------------------------------+--------------------------------------+----------------------+------------+----------------------+-------------+
|                Space                 |              Upload Id               |              Name              | Offset |  Size  |              Executant               |                Owner                 |       Expires        | Processing |      Scan Date       | Scan Result |
+--------------------------------------+--------------------------------------+--------------------------------+--------+--------+--------------------------------------+--------------------------------------+----------------------+------------+----------------------+-------------+
| 2b5892f1-6110-4a8c-a86c-b743d85db6da | 008e8ab1-6841-4e2a-8cf4-178c7220aefb | Delta Force   20.12.2024       | 848052 | 848052 | 2b5892f1-6110-4a8c-a86c-b743d85db6da | 2b5892f1-6110-4a8c-a86c-b743d85db6da | 2025-05-31T07:01:03Z | true       | 0001-01-01T00:00:00Z |             |
|                                      |                                      | 16_59_27.png                   |        |        |                                      |                                      |                      |            |                      |             |
+--------------------------------------+--------------------------------------+--------------------------------+--------+--------+--------------------------------------+--------------------------------------+----------------------+------------+----------------------+-------------+
ccca410bf52a:~$ opencloud storage-users uploads sessions
Sessions:
+--------------------------------------+--------------------------------------+--------------------------------+--------+--------+--------------------------------------+--------------------------------------+----------------------+------------+----------------------+-------------+
|                Space                 |              Upload Id               |              Name              | Offset |  Size  |              Executant               |                Owner                 |       Expires        | Processing |      Scan Date       | Scan Result |
+--------------------------------------+--------------------------------------+--------------------------------+--------+--------+--------------------------------------+--------------------------------------+----------------------+------------+----------------------+-------------+
| 2b5892f1-6110-4a8c-a86c-b743d85db6da | 008e8ab1-6841-4e2a-8cf4-178c7220aefb | Delta Force   20.12.2024       | 848052 | 848052 | 2b5892f1-6110-4a8c-a86c-b743d85db6da | 2b5892f1-6110-4a8c-a86c-b743d85db6da | 2025-05-31T07:01:03Z | true       | 0001-01-01T00:00:00Z |             |
|                                      |                                      | 16_59_27.png                   |        |        |                                      |                                      |                      |            |                      |             |
+--------------------------------------+--------------------------------------+--------------------------------+--------+--------+--------------------------------------+--------------------------------------+----------------------+------------+----------------------+-------------+
ccca410bf52a:~$ opencloud storage-users uploads sessions --restart
Sessions:
+--------------------------------------+--------------------------------------+--------------------------------+--------+--------+--------------------------------------+--------------------------------------+----------------------+------------+----------------------+-------------+
|                Space                 |              Upload Id               |              Name              | Offset |  Size  |              Executant               |                Owner                 |       Expires        | Processing |      Scan Date       | Scan Result |
+--------------------------------------+--------------------------------------+--------------------------------+--------+--------+--------------------------------------+--------------------------------------+----------------------+------------+----------------------+-------------+
| 2b5892f1-6110-4a8c-a86c-b743d85db6da | 008e8ab1-6841-4e2a-8cf4-178c7220aefb | Delta Force   20.12.2024       | 848052 | 848052 | 2b5892f1-6110-4a8c-a86c-b743d85db6da | 2b5892f1-6110-4a8c-a86c-b743d85db6da | 2025-05-31T07:01:03Z | true       | 0001-01-01T00:00:00Z |             |
|                                      |                                      | 16_59_27.png                   |        |        |                                      |                                      |                      |            |                      |             |
+--------------------------------------+--------------------------------------+--------------------------------+--------+--------+--------------------------------------+--------------------------------------+----------------------+------------+----------------------+-------------+

Das war die Antwort

You can run opencloud storage-users uploads sessions to see the queue
opencloud storage-users uploads sessions --resume repeats the previous step
opencloud storage-users uploads sessions --restart restarts the whole process
But please make sure that your S3 config is working
Another issue can occur, when you have clamav and the virusscanner is not responding

opencloud storage-users uploads sessions # see the queue
opencloud storage-users uploads sessions --resume # repeats the previous step
opencloud storage-users uploads sessions --restart # restarts the whole process

Danach hatte ich die drei hängenden Files wieder ordentlich.

Tipp, schön drauf achten, dass man die richtigen Zugangsdaten anwendet

Und jetzt werde ich das mal die nächsten Tage testen.

F FrankM verschob dieses Thema von Linux am
F Offline
F Offline
FrankM

schrieb am zuletzt editiert von

#2

Ich habe das wieder abgeschaltet, da es in meinem Setup zu viel der schnellen Oberfläche kaputt macht. Beide Installationen als VMs bei Hetzner. Da bleibe ich für meinen Fall, soll sowieso nur für mich und evtl. ein paar Familienmitglieder sein, bei der lokalen Speicherung. Das ist schneller und fühlt sich einfach besser an
Im Fediverse -> @FrankM@nrw.social

NanoPi R5S

Quartz64 Model B, 4GB RAM

Quartz64 Model A, 4GB RAM

RockPro64 v2.1
1 Antwort Letzte Antwort

0

Anmelden zum Antworten

F

Proxmox 8.3 released
Beobachtet Ignoriert Geplant Angeheftet Gesperrt Verschoben Proxmox proxmox linux
2

0 Stimmen

2 Beiträge

291 Aufrufe

F

Ich habe gestern mal eine Neuigkeit ausprobiert, den Import einer Anwendung mittels OVA. Dazu habe ich irgendwo im Netz ein File für OpenProject gefunden (steht schon sehr lange auf meiner Testliste). Der Import war langweilig einfach. Nach Import ein paar Dinge eingestellt, Netzwerk usw. und die VM gestartet. Ok, die Installation war so alt, das ich sie danach wieder gelöscht habe, aber das soll ja kein Problem sein. Man kann OpenProject ja auch mittels .deb Package installieren. Zweiter Test war der "Tag View". Interessantes Feature, was ich auch mal direkt angewendet habe, auch wenn fast alle meine VMs Debian sind
F

Restic feiert 10. Geburtstag
Beobachtet Ignoriert Geplant Angeheftet Gesperrt Verschoben Restic restic linux
1

1

0 Stimmen

1 Beiträge

190 Aufrufe

Niemand hat geantwortet
F

Pycharm - Nach Stromausfall startet es nicht mehr.
Beobachtet Ignoriert Geplant Angeheftet Gesperrt Verschoben Linux pycharm linux
1

0 Stimmen

1 Beiträge

154 Aufrufe

Niemand hat geantwortet
F

Semaphore - Installation & Anwendung
Beobachtet Ignoriert Geplant Angeheftet Gesperrt Verschoben Ansible semaphore ansible linux
4

9

0 Stimmen

4 Beiträge

2k Aufrufe

F

Ich parke das mal hier, damit ich das nicht noch mal vergesse. Hat mich eben mal wieder eine Stunde gekostet /etc/ansible/ansible.cfg [defaults] host_key_checking = False Edit -> https://linux-nerds.org/topic/1493/ansible-host_key_checking
F

NanoPi R2S - OpenWRT
Beobachtet Ignoriert Geplant Angeheftet Gesperrt Verschoben NanoPi R2S nanopir2s openwrt linux
6

6

0 Stimmen

6 Beiträge

791 Aufrufe

F

@thrakath1980 Ich wollte noch auf ein Thema zurück kommen. Das Original OpenWRT auf dem R2S ist ja ein Snapshot. Den kann man ohne Probleme aktualisieren. Unten ist dann ein Haken mit "Keep settings...." Gerade probiert, ging einwandfrei. Netzwerkeinstellungen und Firewall Settings blieben erhalten.
F

Hetzner - Backupspace - Borgbackup
Beobachtet Ignoriert Geplant Angeheftet Gesperrt Verschoben Linux borgbackup linux
4

0 Stimmen

4 Beiträge

1k Aufrufe

F

Ok, da gibt es doch wohl noch ein kleines Problem Hetzner hat die Dienste migriert und ich war der Meinung, der Borg funktioniert nicht mehr. Ok, das hat er auch gemacht, aber der Grund wurde mir dann vom Support mitgeteilt, Der Backup Space ist voll. Huch, was läuft denn da falsch!? Ich konnte den Backup Space noch per SFTP erreichen, Borg gab aber immer eine merkwürdige Fehlermeldung heraus. Also aufpassen, wenn ihr mal Probleme habt, schaut mal nach ob ihr noch genug Platz habt Und jetzt muss ich das Script mal ein wenig überarbeiten, irgendwas läuft da nicht so, wie ich mir das vorstelle.
F

SCP mit IPv6 nutzen
Beobachtet Ignoriert Geplant Angeheftet Gesperrt Verschoben Linux linux
1

0 Stimmen

1 Beiträge

272 Aufrufe

Niemand hat geantwortet
F

Restic - Einen ROCKPro64 als Datengrab benutzen
Beobachtet Ignoriert Geplant Angeheftet Gesperrt Verschoben Restic linux restic
2

1

0 Stimmen

2 Beiträge

936 Aufrufe

F

So, dann mal das Ganze testen wenn man seinen Haupt-PC neu installiert hat und ein paar Daten braucht. [image: 1534692579149-img_20180819_090116_ergebnis-resized.jpg] Also, mal Restic installiert. sudo apt-get install restic Nach erfolgter Installation ein Test frank@frank-MS-7A34:~/restic$ restic version restic 0.8.3 compiled with go1.10 on linux/amd64 Geht so weit. Snapshots auflisten. restic -r sftp:rock64@IP:/home/rock64/backup snapshots Sieht dann so aus. frank@frank-MS-7A34:~$ sudo restic -r sftp:rock64@192.168.3.207:/home/rock64/backup snapshots [sudo] Passwort für frank: rock64@192.168.3.207's password: enter password for repository: password is correct ID Date Host Tags Directory ---------------------------------------------------------------------- 7e2eddcb 2018-08-18 10:10:40 frank-MS-7A34 /home/frank/Bilder 073b7cb4 2018-08-18 14:21:17 frank-MS-7A34 /home/frank 6bc9b21b 2018-08-18 16:11:19 frank-MS-7A34 /home/frank ---------------------------------------------------------------------- 3 snapshots Snapshot wiederherstellen sudo restic -r sftp:rock64@IP:/home/rock64/backup restore latest --target /tmp/backup Hiermit stellen wir das Backup im temporären Ordner /tmp/backup wieder her. Hat ewig gedauert, aber ging !?!?!?