linux-nerds.org

Your browser does not seem to support JavaScript. As a result, your viewing experience will be diminished, and you have been placed in read-only mode.

Please download a browser that supports JavaScript, or enable it if it's disabled (i.e. NoScript).

Redis Replication - Can't handle RDB format version 10

Verschoben Redis

1 Beiträge 1 Kommentatoren 2.7k Aufrufe

FrankM

schrieb am

Debian hat einen neuen Kernel raus gebracht, so das ich diesen installiert habe und heute Morgen meine Cloud einmal durch gestartet habe. So weit lief alles. Zur Sicherheit kontrolliere ich immer die Replication der Redis Datenbank. Im Log dann dieses.

685:S 07 May 2022 08:01:46.686 # Can't handle RDB format version 10
685:S 07 May 2022 08:01:46.686 # Failed trying to load the MASTER synchronization DB from disk

Versionen kontrollieren

Master

root@server:~# redis-server -v
Redis server v=7.0.0 sha=00000000:0 malloc=jemalloc-5.2.1 bits=64 build=698b5df4772f6164

Paketversionen ?

golang-github-stvp-tempredis-dev/stable,stable 0.0~git20160122.0.83f7aae-2.1 all
  Go package to start and stop temporary redis-server processes

libtest-redisserver-perl/stable,stable 0.21-2 all
  redis-server runner for tests

python3-hiredis/stable,stable 1.0.1-1+b2 amd64
  redis protocol reader for Python using hiredis

redis/unknown,unknown,now 6:7.0.0-1rl1~bullseye1 all [installed]
  Persistent key-value database with network interface (metapackage)

redis-server/unknown,now 6:7.0.0-1rl1~bullseye1 amd64 [installed,automatic]
  Persistent key-value database with network interface

Replica

root@database-2gb-nbg1-2:/var/log/redis# redis-server -v
Redis server v=6.0.16 sha=00000000:0 malloc=jemalloc-5.2.1 bits=64 build=6d95e1af3a2c082a

Paketversionen ?

golang-github-stvp-tempredis-dev/stable,stable 0.0~git20160122.0.83f7aae-2.1 all
  Go package to start and stop temporary redis-server processes

libtest-redisserver-perl/stable,stable 0.21-2 all
  redis-server runner for tests

python3-hiredis/stable,stable 1.0.1-1+b2 amd64
  redis protocol reader for Python using hiredis

redis/stable,stable-security,stable,stable-security,now 5:6.0.16-1+deb11u2 all [installed]
  Persistent key-value database with network interface (metapackage)

redis-server/stable,stable-security,stable,stable-security,now 5:6.0.16-1+deb11u2 amd64 [installed,automatic]
  Persistent key-value database with network interface

Gut, die beiden Versionen passen nicht zusammen Nach einem Schluck Kaffee, fällt auf das ich beim MASTER, wohl die Redis Pakete von Redis direkt beziehe.

deb [signed-by=/usr/share/keyrings/redis-archive-keyring.gpg] https://packages.redis.io/deb bullseye main

Ok, das erklärt die Differenz. Da ich jetzt wusste, woher das Problem kam, konnte ich versuchen es zu lösen. Es ergaben sich dabei mehrere Probleme.

Problem 1

Installation nach Anleitung, scheitert.

 root@:/etc/systemd/system# curl -fsSL https://packages.redis.io/gpg | sudo gpg --dearmor -o /usr/share/keyrings/redis-archive-keyring.gpg
 sudo: gpg: command not found
 (23) Failed writing body

Dafür habe ich keine Lösung gefunden, ich habe aber im Kopf das da irgendwann auf Debian Seite was geändert wurde? Da ich mich damit nicht aufhalten wollte, habe ich die Dinge die ich brauchte von dem anderen Server kopiert

Problem 2

Nach

apt update && apt upgrade

startet Redis nicht

root@# systemctl status redis-server.service
● redis-server.service - Advanced key-value store
     Loaded: loaded (/lib/systemd/system/redis-server.service; enabled; vendor preset: enabled)
     Active: failed (Result: protocol) since Sat 2022-05-07 09:07:49 CEST; 5min ago
       Docs: http://redis.io/documentation,
             man:redis-server(1)
    Process: 5467 ExecStart=/usr/bin/redis-server /etc/redis/redis.conf (code=exited, status=0/SUCCESS)
   Main PID: 5467 (code=exited, status=0/SUCCESS)
        CPU: 23ms

May 07 09:07:49 database systemd[1]: redis-server.service: Scheduled restart job, restart counter is at 5.
May 07 09:07:49 database systemd[1]: Stopped Advanced key-value store.
May 07 09:07:49 database systemd[1]: redis-server.service: Start request repeated too quickly.
May 07 09:07:49 database systemd[1]: redis-server.service: Failed with result 'protocol'.
May 07 09:07:49 database systemd[1]: Failed to start Advanced key-value store.

Es hat lange gedauert und viele Test, bis ich raus bekommen hatte das das Problem im redis-server.service lag. Ich habe mich hinterher gefragt, warum startet der Dienst auf dem anderen Server einwandfrei!? Also vergleichen und feststellen, das er etwas anders ist. Die folgende Zeile

 ExecStart=/usr/bin/redis-server /etc/redis/redis.conf

ist Standard(?). Bin mir da nicht 100% sicher, aber so war es angelegt, nachdem ich redis-server mit purge entfernt hatte und danach neu installiert habe. Auf meinem anderen Server sieht das aber wie folgt aus.

 ExecStart=/usr/bin/redis-server /etc/redis/redis.conf --supervised systemd --daemonize no

Danach ein

systemctl daemon-reload

und ich konnte den Dienst wieder erfolgreich starten.

systemctl start redis-server.service

Kontrolle ob die Replication einwandfrei läuft mit

tail -n 45 /var/log/redis/redis-server.log

Ausgabe

6208:S 07 May 2022 09:34:05.469 * Successful partial resynchronization with master.
6208:S 07 May 2022 09:34:05.469 * MASTER <-> REPLICA sync: Master accepted a Partial Resynchronization.
6208:S 07 May 2022 09:39:05.098 * 10 changes in 300 seconds. Saving...
6208:S 07 May 2022 09:39:05.102 * Background saving started by pid 6276
6276:C 07 May 2022 09:39:05.673 * DB saved on disk
6276:C 07 May 2022 09:39:05.675 * Fork CoW for RDB: current 1 MB, peak 1 MB, average 0 MB
6208:S 07 May 2022 09:39:05.703 * Background saving terminated with success
6208:S 07 May 2022 09:44:06.046 * 10 changes in 300 seconds. Saving...
6208:S 07 May 2022 09:44:06.050 * Background saving started by pid 6300
6300:C 07 May 2022 09:44:06.627 * DB saved on disk
6300:C 07 May 2022 09:44:06.629 * Fork CoW for RDB: current 1 MB, peak 1 MB, average 0 MB
6208:S 07 May 2022 09:44:06.652 * Background saving terminated with success

Alles wieder gut. Dauer: Drei Tassen

Und, ich muss an meiner Dokumentation noch einiges verbessern.

F FrankM verschob dieses Thema von Privat am

Anmelden zum Antworten

F

Redis ändert das Lizenz Modell
Beobachtet Ignoriert Geplant Angeheftet Gesperrt Verschoben Redis redis linux
2

0 Stimmen

2 Beiträge

197 Aufrufe

F

Ein Artikel von Heise zum Thema https://www.heise.de/news/Datenbankanbieter-Redis-aendert-sein-Lizenzmodell-erneut-9661949.html?wt_mc=sm.red.ho.mastodon.mastodon.md_beitraege.md_beitraege&utm_source=mastodon
F

Redis ConnectionPool
Beobachtet Ignoriert Geplant Angeheftet Gesperrt Verschoben Redis redis linux ki-generiert
2

0 Stimmen

2 Beiträge

283 Aufrufe

F

Die Antwort von ChatGPT wie der Redis ConnectionPool funktioniert. Ein paar Dinge finde ich komisch. https://chat.openai.com/share/b10fdadc-2c9b-404a-bc99-c883d110d6af
F

Redis - Datenbank Zugriff mit Python
Beobachtet Ignoriert Geplant Angeheftet Gesperrt Verschoben Redis redis python
3

1

0 Stimmen

3 Beiträge

217 Aufrufe

F

Ich bin mit der Lernkurve noch nicht so richtig zufrieden. Eine Frage die sich mir stellte, geht das einfacher? Der Ursprung meiner Datenbank Struktur liegt in einem anderen Projekt, wo ich versucht habe Daten permanent in einem File zu speichern. Dazu hatte ich damals JSON genommen. Deswegen auch diese Zeilen self.project = str(db_client.json().get('settings', '$..project')[0]) or self.project Gut, ich hatte dann mal ChatGPT gefragt, wie macht man das so 'normalerweise'? es kam eine Klasse heraus, die ich dann intensiv ausprobiert habe, ein wenig umgebaut usw. So lange, bis ich der Meinung war, ok ich habe es verstanden. Jetzt nutzte der Code auch mehr Redis Funktionen, wie self.client.hset('settings', name, json.dumps(data)) Es waren jetzt folgende Funktionen drin hset hexists hdel hget Dokumentation -> https://redis.io/commands/hset/ Beim Durchlesen des Codes hatte ich jetzt mehr das Gefühl, so muss das sein In RedisInsight sieht das dann jetzt so aus. [image: 1695479582374-393195f7-1017-4285-8fca-734ee6b4bff7-grafik.png] Klasse class PortfolioSettings: def __init__(self, host='172.17.0.2', port=6379, db=0): if args.test_mode == 1: self.client = redis.StrictRedis(host=SERVER_IP, port=port, db=TEST[0]) else: self.client = redis.StrictRedis(host=SERVER_IP, port=port, db=LIVE[0]) def set_settings(self, name, data): """Init settings if db don't exist""" if not self.client.hexists('settings', name): self.client.hset('settings', name, json.dumps(data)) return True return False def edit_setting(self, name, data): """Edit an entry in settings""" if self.client.hexists('settings', name): self.client.hset('settings', name, json.dumps(data)) return True return False def delete_setting(self, name): """Delete an entry in settings""" return self.client.hdel('settings', name) def get_setting(self, name): """Get an entry in settings""" setting = self.client.hget('settings', name) return json.loads(setting) if setting else None def get_all_settings(self): """Get all entries in settings""" settings = self.client.hgetall('settings') return {k.decode(): json.loads(v) for k, v in settings.items()} Und hier die Initialisierung settings_data = PortfolioSettings() ##################### # Will only be executed if DB is not available! ##################### if not settings_data.get_all_settings(): # Settings initialisieren print("INIT") settings_data.set_settings("project", "Portfolio") settings_data.set_settings("version", "0.0.3") settings_data.set_settings("theme", "dark") settings_data.set_settings("url_list", ["https://www.onvista.de/aktien/Deutsche-Telekom-Aktie-DE0005557508"]) settings_data.set_settings("exchange_list", ['DKB','Smartbroker','BUX']) Teile der Klasse sind [KI-generiert] Ich war zufrieden und habe die Klasse dann in mein Projekt übernommen und den Code überall entsprechend angepasst.
F

Python & Redis-Datenbank
Beobachtet Ignoriert Geplant Angeheftet Gesperrt Verschoben Linux python redis
3

0 Stimmen

3 Beiträge

180 Aufrufe

F

Heute dann die nächste Herausforderung. Mein JSON soll so aussehen, damit ich das entsprechend erweitern kann. Stocks {0: {'stockname': 'Deutsche Telekom Aktie', 'wkn1': '4534543534', 'wkn2': 'sfsdfsdfsfdfd', 'quantity': 100}, 1: {'stockname': 'Henkel', 'wkn1': '4534543534', 'wkn2': 'sfsdfsdfsfdfd', 'quantity': 50}} Die Daten sollen wie oben schon ausprobiert, in einer Redis Datenbank liegen. So weit auch kein großes Problem. ABER, der Zugriff auf diese Daten war dann meine nächste Hürde Ok, ich habe also mehrere Einträge im JSON File bzw. in der Datenbank. Wie komme ich da nun wieder dran. Ein paar später dann die Lösung. Wie komme ich an den einzelnen Eintrag, also über den Index?? r1.json().get('stocks', 1) Gibt als Ergebnis {'stockname': 'Henkel', 'wkn1': '4534543534', 'wkn2': 'sfsdfsdfsfdfd', 'quantity': 50} Ok, das passt schon mal. Somit kann man dann gewohnt auf die einzelnen Elemente zugreifen. print("TESTING", testing['stockname']) Ausgabe TESTING Henkel Ok, Teil 1 erledigt. Jetzt habe ich ja irgendwann mehrere Elemente in der Liste und brauch dann den letzten Index , um damit was machen zu können. Also, z.B. durch die Daten zu loopen. objkeys = r1.json().objkeys('stocks') print("Objkeys", objkeys) Ausgabe Objkeys ['0', '1'] Ok, kommt eine Liste des Index zurück. Damit kann man arbeiten Ich hatte dann zum Testen mittels einer while Schleife die Daten geladen, aber jetzt beim Tippen klingelt es und wir machen das schön mit enumerate @staticmethod def load(): data = {} for count, value in enumerate(objkeys): testing = r1.json().get('stocks', count) data[count] = { "stockname": testing['stockname'], "wkn1": testing['wkn1'], "wkn2": testing['wkn2'], "quantity": testing['quantity']} return data Somit habe ich die Daten aus der Redis Datenbank in einem Objekt und kann damit arbeiten.
F

NodeBB - Zwei Instanzen
Beobachtet Ignoriert Geplant Angeheftet Gesperrt Verschoben NodeBB nodeb redis
1

0 Stimmen

1 Beiträge

135 Aufrufe

Niemand hat geantwortet
F

Nextcloud - Redis Cache
Beobachtet Ignoriert Geplant Angeheftet Gesperrt Verschoben Nextcloud nextcloud redis
1

0 Stimmen

1 Beiträge

471 Aufrufe

Niemand hat geantwortet
F

Redis Replication
Beobachtet Ignoriert Geplant Angeheftet Gesperrt Verschoben Redis linux redis
4

1 Stimmen

4 Beiträge

561 Aufrufe

F

Um die Verbindung zu testen, kann man folgende Befehle nutzen. redis-cli -h 10.1.1.0 -p 6379 -a <PASSWORD> und telnet 10.1.1.0 6379
F

Redis installieren
Beobachtet Ignoriert Geplant Angeheftet Gesperrt Verschoben Redis linux redis
1

0 Stimmen

1 Beiträge

415 Aufrufe

Niemand hat geantwortet