Skip to content

Python & Redis-Datenbank

Verschoben Linux
  • Erste Gehversuche mit einer Redis DB & Python.

    Was ist Redis?

    The open source, in-memory data store used by millions of developers as a database, cache, streaming engine, and message broker.

    Ich nutze Redis schon länger, z.B. in diesem Forum als Datenbank oder als lokaler Cache für meine Nextcloud Installation.

    Die Redis DB läuft als Docker Container zum Testen.

    docker run -d --name redis-stack-server -p 6379:6379 redis/redis-stack-server:latest
    

    und in der Python Umgebung dann

    pip install redis
    

    Erster Test

     import redis
     
     data = {
             'project' : 'Portfolio',
             "version": "0.0.1",
             "settings_path": "/home/frankm/settings_portfolio.json",
             "theme": "dark"
         }
     
     r = redis.Redis(host='localhost', port=6379, db=0)
     r.json().set('settings', '$', data)  # DB setzen und mit Daten (data) füllen
     
     json_settings = r.json().get('settings', '$')
     main_settings = r.json().get('settings', '$.main_settings')
     project_name = r.json().get('settings', '$..project')
     version = r.json().get('settings', '$..version')
     
     print(json_settings)
     # [{'main_settings': {'project': 'Portfolio', 'version': '0.0.1', 'settings_path': '/home/frankm/settings_portfolio.json', 'theme': 'dark'}}]
     
     print(main_settings)
     # [{'project': 'Portfolio', 'version': '0.0.1', 'settings_path': '/home/frankm/settings_portfolio.json', 'theme': 'dark'}]
     
     print(project_name)
     # ['Portfolio']
     
     print(project_name[0])
     # Portfolio
     
     # Wir aktualisieren das data objekt mit einem neuen Wert.
     data.update({"version": "0.0.2"})
     print("DATA", data)
     
     # Wir speichern das data objekt in der Redis Datenbank
     r.json().set('settings', '$', data)  # DB setzen und mit Daten (data) füllen
     # Kontrolle ob Version 0.0.2 ist
     json_settings = r.json().get('settings', '$')
     version = r.json().get('settings', '$..version')
     print(json_settings)
     print(version)
    

    Ausgabe

    /home/frankm/PycharmProjects/redis/venv/bin/python /home/frankm/PycharmProjects/redis/main.py 
    [{'project': 'Portfolio', 'version': '0.0.1', 'settings_path': '/home/frankm/settings_portfolio.json', 'theme': 'dark'}]
    []
    ['Portfolio']
    Portfolio
    DATA {'project': 'Portfolio', 'version': '0.0.2', 'settings_path': '/home/frankm/settings_portfolio.json', 'theme': 'dark'}
    [{'project': 'Portfolio', 'version': '0.0.2', 'settings_path': '/home/frankm/settings_portfolio.json', 'theme': 'dark'}]
    ['0.0.2']
    
    Process finished with exit code 0
    

    Erster Test erfolgreich!

    Zweiter Test

    import redis
    
    data = {
        'main_settings': {
            'project' : 'Portfolio',
            "version": "0.0.1",
            "settings_path": "/home/frankm/settings_portfolio.json",
            "theme": "dark"
        }
    }
        
    r = redis.Redis(host='localhost', port=6379, db=0)
    r.json().set('settings', '$', data)  # DB setzen und mit Daten (data) füllen
    
    json_settings = r.json().get('settings', '$')
    main_settings = r.json().get('settings', '$.main_settings')
    project_name = r.json().get('settings', '$..project')
    version = r.json().get('settings', '$..version')
    
    print(json_settings)
    # [{'main_settings': {'project': 'Portfolio', 'version': '0.0.1', 'settings_path': '/home/frankm/settings_portfolio.json', 'theme': 'dark'}}]
    
    print(main_settings)
    # [{'project': 'Portfolio', 'version': '0.0.1', 'settings_path': '/home/frankm/settings_portfolio.json', 'theme': 'dark'}]
    
    print(project_name)
    # ['Portfolio']
    
    print(project_name[0])
    # Portfolio
    
    # Wir aktualisieren das data objekt mit einem neuen Wert.
    data['main_settings']["version"] = "0.0.2"
    data.update()
    
    #data.update({"version": "0.0.2"})
    print("DATA", data)
    
    # Wir speichern das data objekt in der Redis Datenbank
    r.json().set('settings', '$', data)  # DB setzen und mit Daten (data) füllen
    # Kontrolle ob Version 0.0.2 ist
    json_settings = r.json().get('settings', '$')
    version = r.json().get('settings', '$..version')
    print(json_settings)
    print(version)
    

    Ausgabe

    /home/frankm/PycharmProjects/redis/venv/bin/python /home/frankm/PycharmProjects/redis/main.py 
    [{'main_settings': {'project': 'Portfolio', 'version': '0.0.1', 'settings_path': '/home/frankm/settings_portfolio.json', 'theme': 'dark'}}]
    [{'project': 'Portfolio', 'version': '0.0.1', 'settings_path': '/home/frankm/settings_portfolio.json', 'theme': 'dark'}]
    ['Portfolio']
    Portfolio
    DATA {'main_settings': {'project': 'Portfolio', 'version': '0.0.2', 'settings_path': '/home/frankm/settings_portfolio.json', 'theme': 'dark'}}
    [{'main_settings': {'project': 'Portfolio', 'version': '0.0.2', 'settings_path': '/home/frankm/settings_portfolio.json', 'theme': 'dark'}}]
    ['0.0.2']
    
    Process finished with exit code 0
    
    Process finished with exit code 0
    

    Zweiter Test erfolgreich

    Bitte niemals Redis Datenbanken OHNE Passwort im Netz laufen lassen. Danke!!

  • FrankMF FrankM verschob dieses Thema von Privat am
  • Ok, das o.g dient ja nur der groben Orientierung und dazu zu schauen ob das funktioniert und man es evt. auch verstanden hat 😉

    Das muss man aber ein wenig anders in ein vorhandenes Projekt einbauen. Wir bauen uns mal eine Klasse dafür.

    Wir brauchen eine Initialisierung, damit man mit Redis überhaupt arbeiten kann.

    #####################
    # Init Redis
    #####################
    r = redis.Redis(host='192.168.3.213', port=6379, db=0)
    
    # Redis Server am Leben?
    try:
        response = r.ping()
        print("Client =", r.ping())
        print("Client =", type(r.ping()))
    except redis.ConnectionError:
        exit("Konnte keine Verbindung zum Redis-Server aufbauen")
    

    Ok, hier mal wieder der alt bekannte Fehler. Benutzt bitte durchgehend englische Wörter beim Coden. Es macht das Leben einfacher. Ich verfalle leider beim Ausprobieren von Funktionen und neuen Dingen immer wieder dazu es in deutsch zu beschriften. Macht später dann immer viel Arbeit...Also bitte sofort richtig machen.

    Zum obigen Code. Wir initialisieren die Redis Datenbankverbindung. Danach ein kurzer Test, ob der Docker Container läuft, wenn nicht gibt es eine Fehlermeldung.

    Danach die Klasse und die erste Funktioen. Wir erzeugen einen Eintrag in der DB. Dazu erstellen wir ein Dictonary und speichern es. Die Funktion kommt später.

    ###############################################
    # Class for Redis DB
    ###############################################
    class Redis:
        """ Class to handle Redis DB
        Data ia stored in Docker Container
        atm not persistent
        """
    
        @staticmethod
        def init():
            data = {}
    
            data = {
                'project': 'Portfolio',
                "version": "0.0.1",
                "settings_path": str(settings_path),
                "theme": "dark"
            }
            Redis.save(data)
            return (data)
    

    Nun liegen die Daten in der Redis Datenbank, Doch wir müssen sie ja auch irgendwie in unser Projekt laden.

    @staticmethod
        def load():
            data = {}
            # Wir laden die Daten aus der Redis DB und erzeugen die Dictonary data
            # diese wird zurückgegeben!
    
            project = r.json().get('settings', '$..project')
            version = r.json().get('settings', '$..version')
            settings_path = r.json().get('settings', '$..settings_path')
            theme = r.json().get('settings', '$..theme')
    
            data = {
                'project': str(project[0]),
                "version": str(version[0]),
                "settings_path": str(settings_path[0]),
                "theme": str(theme[0])
            }
            return(data)
    

    Nun die Funktion zum Speichern

    @staticmethod
        def save(file):
    
            try:
                r.json().set('settings', '$', file)  # DB setzen und mit Daten (data) füllen
            except:
                print("Error")
    

    Was macht man, wenn man nur einen Wert ändern möchte?

    @staticmethod
        def update(key, value):
    
            # Example: Redis.update('version', '0.0.9')
    
            settings.update({key: value})
    
            Redis.save(settings)
    

    Und nun, was ich dann noch mache.

    settings = Redis.init()
    

    wenn noch nichts vorhanden ist. Ansonsten

    settings = Redis.load()
    

    Damit lade ich die Daten in das Python Objekt settings.

    Und so spricht man dann die Daten an.

    print("Theme:", settings['theme'])
    print("Version:", settings['version'])
    

    Ändern eines Wertes

    Redis.update('version', '0.0.2')
    

    Und zum Speichern des Ganzen Datensatzes (settings)

    Redis.save(settings)
    
  • Heute dann die nächste Herausforderung. Mein JSON soll so aussehen, damit ich das entsprechend erweitern kann.

    Stocks {0: {'stockname': 'Deutsche Telekom Aktie', 'wkn1': '4534543534', 'wkn2': 'sfsdfsdfsfdfd', 'quantity': 100}, 1: {'stockname': 'Henkel', 'wkn1': '4534543534', 'wkn2': 'sfsdfsdfsfdfd', 'quantity': 50}}
    

    Die Daten sollen wie oben schon ausprobiert, in einer Redis Datenbank liegen. So weit auch kein großes Problem. ABER, der Zugriff auf diese Daten war dann meine nächste Hürde 🙂

    Ok, ich habe also mehrere Einträge im JSON File bzw. in der Datenbank. Wie komme ich da nun wieder dran. Ein paar ☕ später dann die Lösung.

    Wie komme ich an den einzelnen Eintrag, also über den Index??

    r1.json().get('stocks', 1)
    

    Gibt als Ergebnis

    {'stockname': 'Henkel', 'wkn1': '4534543534', 'wkn2': 'sfsdfsdfsfdfd', 'quantity': 50}

    Ok, das passt schon mal. Somit kann man dann gewohnt auf die einzelnen Elemente zugreifen.

    print("TESTING", testing['stockname'])
    

    Ausgabe

    TESTING Henkel
    

    Ok, Teil 1 erledigt. Jetzt habe ich ja irgendwann mehrere Elemente in der Liste und brauch dann den letzten Index , um damit was machen zu können. Also, z.B. durch die Daten zu loopen.

    objkeys = r1.json().objkeys('stocks')
    print("Objkeys", objkeys)
    

    Ausgabe

    Objkeys ['0', '1']
    

    Ok, kommt eine Liste des Index zurück. Damit kann man arbeiten 😉

    Ich hatte dann zum Testen mittels einer while Schleife die Daten geladen, aber jetzt beim Tippen klingelt es und wir machen das schön mit enumerate 😉

    @staticmethod
    def load():
        data = {}
    
        for count, value in enumerate(objkeys):
            testing = r1.json().get('stocks', count)
            data[count] = {
                "stockname": testing['stockname'],
                "wkn1": testing['wkn1'],
                "wkn2": testing['wkn2'],
                "quantity": testing['quantity']}  
       return data
    

    Somit habe ich die Daten aus der Redis Datenbank in einem Objekt und kann damit arbeiten.

  • Redis Stack?

    Redis
    1
    0 Stimmen
    1 Beiträge
    124 Aufrufe
    Niemand hat geantwortet
  • Vorstellung Restic UI Flask

    Restic UI Flask
    1
    0 Stimmen
    1 Beiträge
    170 Aufrufe
    Niemand hat geantwortet
  • Flask - Erste Schritte

    Allgemeine Diskussionen
    3
    0 Stimmen
    3 Beiträge
    210 Aufrufe
    FrankMF

    Mein vorhandenes Projekt war doch etwas größer als ich gedacht hatte. Also musste ich mehr Zeit aufwenden um es nach Flask zu transferieren. Nach einiger Zeit hatte sich eine ganz ansehnliche Zahl von Dateien angesammelt und es kam wie es kommen musste, ich wusste manchmal nicht mehr, welches File ich anfassen musste. Chaos kam auf 🙂

    So fing ich an ein wenig zu recherchieren und kam auf die Funktion Blueprint von Flask. Mich ein wenig eingelesen, ChatGPT mal eben um ein Beispiel gebeten und dann angefangen die Applikation entsprechend umzubauen.

    Auch das hat Zeit gekostet. Aber, jetzt habe ich ein aufgeräumtes Projekt, was es mir wesentlich einfacher macht, daran zu arbeiten.

    5226e90d-aa20-4b20-93af-e50f8f841880-grafik.png

    Wenn ihr also mal vorhabt, so was zu coden, halte ich es für sinnvoll das Projekt von Anfang an zu strukturieren. Und zum Schluss noch ein Screenshot zum Stand des Projektes.

    a7981ffc-0f93-41f4-93e2-c914fdba5e43-grafik.png

    Und weiter geht es, ist nämlich noch nicht fertig 😀

  • Redis - Datenbank Zugriff mit Python

    Redis
    3
    0 Stimmen
    3 Beiträge
    143 Aufrufe
    FrankMF

    Ich bin mit der Lernkurve noch nicht so richtig zufrieden. Eine Frage die sich mir stellte, geht das einfacher? Der Ursprung meiner Datenbank Struktur liegt in einem anderen Projekt, wo ich versucht habe Daten permanent in einem File zu speichern. Dazu hatte ich damals JSON genommen. Deswegen auch diese Zeilen

    self.project = str(db_client.json().get('settings', '$..project')[0]) or self.project

    Gut, ich hatte dann mal ChatGPT gefragt, wie macht man das so 'normalerweise'? es kam eine Klasse heraus, die ich dann intensiv ausprobiert habe, ein wenig umgebaut usw. So lange, bis ich der Meinung war, ok ich habe es verstanden. Jetzt nutzte der Code auch mehr Redis Funktionen, wie

    self.client.hset('settings', name, json.dumps(data))

    Es waren jetzt folgende Funktionen drin

    hset hexists hdel hget

    Dokumentation -> https://redis.io/commands/hset/

    Beim Durchlesen des Codes hatte ich jetzt mehr das Gefühl, so muss das sein 🙂

    In RedisInsight sieht das dann jetzt so aus.

    393195f7-1017-4285-8fca-734ee6b4bff7-grafik.png

    Klasse class PortfolioSettings: def __init__(self, host='172.17.0.2', port=6379, db=0): if args.test_mode == 1: self.client = redis.StrictRedis(host=SERVER_IP, port=port, db=TEST[0]) else: self.client = redis.StrictRedis(host=SERVER_IP, port=port, db=LIVE[0]) def set_settings(self, name, data): """Init settings if db don't exist""" if not self.client.hexists('settings', name): self.client.hset('settings', name, json.dumps(data)) return True return False def edit_setting(self, name, data): """Edit an entry in settings""" if self.client.hexists('settings', name): self.client.hset('settings', name, json.dumps(data)) return True return False def delete_setting(self, name): """Delete an entry in settings""" return self.client.hdel('settings', name) def get_setting(self, name): """Get an entry in settings""" setting = self.client.hget('settings', name) return json.loads(setting) if setting else None def get_all_settings(self): """Get all entries in settings""" settings = self.client.hgetall('settings') return {k.decode(): json.loads(v) for k, v in settings.items()}

    Und hier die Initialisierung

    settings_data = PortfolioSettings() ##################### # Will only be executed if DB is not available! ##################### if not settings_data.get_all_settings(): # Settings initialisieren print("INIT") settings_data.set_settings("project", "Portfolio") settings_data.set_settings("version", "0.0.3") settings_data.set_settings("theme", "dark") settings_data.set_settings("url_list", ["https://www.onvista.de/aktien/Deutsche-Telekom-Aktie-DE0005557508"]) settings_data.set_settings("exchange_list", ['DKB','Smartbroker','BUX'])

    Teile der Klasse sind [KI-generiert]

    Ich war zufrieden und habe die Klasse dann in mein Projekt übernommen und den Code überall entsprechend angepasst.

  • Docker & Redis Datenbank

    Verschoben Linux
    2
    0 Stimmen
    2 Beiträge
    187 Aufrufe
    FrankMF

    @FrankM sagte in Docker & Redis Datenbank:

    save 60 1
    #save 900 1
    save 300 10
    save 60 10000

    Hier kann man auch noch schön sehen, wie ich gekämpft habe, bis ich mal eine dump.rdb gesehen habe. Auch irgendwie logisch, das ich nie eine gesehen hatte, wenn man weiß das

    save 900 1

    bedeutet, das er alle 900 Sekunden speichert, wenn mindestens eine Änderung vorhanden ist. Das kann dann schon was dauern. Ich habe das dann mal verkürzt, damit ich schneller ein Ergebnis habe.

    save 60 1

    Das brachte mich dann dem Ziel näher. Danach konnte ich die dump.rdb auch finden.

    Bitte keine Redis DB ohne Passwort laufen lassen!
  • Redis - Datenbank extern

    Redis
    2
    0 Stimmen
    2 Beiträge
    862 Aufrufe
    FrankMF

    Das habe ich doch oben vergessen reinzuschreiben, also wenn man das mal von extern testen muss um zu schauen ob die Verbindung geht. Keine Firewall blockt usw. dann kann man das ganz einfach so machen.

    root@webserver:~# redis-cli -h 10.10.1.10 -p 6379 10.10.1.10:6379> quit
  • Redis installieren

    Angeheftet Verschoben Redis
    1
    0 Stimmen
    1 Beiträge
    379 Aufrufe
    Niemand hat geantwortet
  • Redis oder MongoDB?

    Verschoben Redis
    1
    0 Stimmen
    1 Beiträge
    483 Aufrufe
    Niemand hat geantwortet