Skip to content

Portfolio - mein kleines Flask Projekt

Python3
  • Der initiale Commit zu diesem kleinen Flask Projekt war laut gitlab.com am 13. Oktober 2023. Ich denke, das ich davor aber schon das Gerippe stehen hatte!? Das hier soll mal den aktuellen Stand präsentieren.

    Was macht es? Es sollte eine Möglichkeit bieten meine Aktien & ETFs zu verwalten. Mein ursprüngliches Ziel, war mir kurz einen Überblick über den aktuellen Stand des Depots zu verschaffen. Da ich nicht alle Wertpapiere an einer Stelle halte, war das mein primäres Ziel.

    Ich brauchte also eine Tabelle, wo die Wertpapiere drin stehen und der aktuelle Wert, irgendwo aus dem Web gezogen wird und dann in der Tabelle aktualisiert angezeigt wird.

    Als Backend zur Datensicherung dient mir eine Redis Datenbank. Dabei benutze ich drei Datenbanken produktiv (0,1,2) und drei (6,7,8) zum Testen.

    Was ihr hier seht, ist meine Test DB. Alle genannten Wertpapiere sind keine Anlageempfehlung!

    Damit hätten wir den rechtlichen Rahmen erledigt 🙂

    Ich habe ja schon ein paar kleinere Projekte mit PyWebIO erstellt, diesmal wollte ich Flask nutzen. Flask dient dazu die Python App zu bauen, damit das auch noch schön aussieht habe ich Bootstrap benutzt. Das kenne ich, da ich damit schon mal eine PHP Webseite gebaut habe.

    Zum Video. Das Video habe ich auf meinem Haupt-PC mit Debian 12 aufgezeichnet. Dieser Desktop läuft nur auf Wayland. Als Grafikkarte wird die eingebaute GPU im AMD Prozessor Ryzen 5 5600G benutzt. Das Tool zum Aufzeichnen war OBS Studio.

    Aktuell ist das Projekt auf gitlab noch nicht öffentlich, denke die Qualität ist auch noch nicht besonders gut. Aber, ich arbeite dran 😉

    An Teilen diesen Codes war ChatGPT beteiligt, mein Personal-Trainer. Da kann ich auch schon viele Geschichten zu erzählen. Ein Beispiel. Ich hatte ChatGPT nach dem Austausch eines Buttons in meiner Tabelle gefragt, um an dieser Stelle einen Spinner anzuzeigen. ChatGPT schlug Code vor, darunter auch ein Javascript. Es klappte aber nicht, der Button wurde ausgetauscht und der Spinner lief dann ewig.

    Mehrmals nachgefragt, ChatGPT behauptete felsenfest, der Code ist richtig und gab Handlungsempfehlungen um den Fehler einzugrenzen. Jo, an dieser Stelle ist man ohne Programmierkenntnisse (Grundlagen) aufgeschmissen. Ich schaute mir dann den Code des Javascriptes genauer an und stolperte über folgende Zeile.

     event.preventDefault(); // Prevent the form from submitting
    

    Ja, wie soll die Form dann den Teil, der zum Bauen des Charts benötigt wird, aufrufen? Ich finde KI spannend, aber Intelligenz in dem Namen, finde ich etwas übertrieben.

    Der nächste logische Schritt meiner Lernphase wäre dann vermutlich ein Django Projekt.

    Ihr seht, für das Alles braucht es keine M$ Tools. 🤓

  • Die Tage zwischen den Feiertagen sind bei mir meistens sehr produktiv, weil ich das Zeit für mein Hobby habe 😉

    Ich habe die Zeit genutzt, mein Tool mit flask-login auszustatten. Ziel soll es irgendwann mal sein, die App auf einem meiner Server laufen zu lassen.

    Der Login Screen, der gleichzeitig / ist.

    b3b91cd2-a6a1-45ef-bd9a-0a1374b27728-grafik.png

    Nach dem Login komme ich jetzt zum Dashboard, die Übersicht der Aktien und Kurse. Außerdem gibt es eine Fehlermeldung, wenn man falsche Daten eingibt.

    e643007d-b62a-48ab-8b79-f84f7b3a1d44-grafik.png

    Nächster Schritt wird dann sein, die Userdaten in eine DB abzuspeichern. Aktuell ist das nur ein Dummy.

    # Dummy user database for demonstration purposes
        users = {
            'user1': {'password': 'password1'},
            'user2': {'password': 'password2'},
        }
    

    Sehr interessanten Artikel zum Thema, der mir erst die Tage in meine Timeline gespült wurde -> https://jacobpadilla.com/articles/Python-Flask-Login-System

  • Die Passwörter werden jetzt in der Redis DB abgespeichert. Habe aus dem interessanten Blogbeitrag, die Argon2 Implementierung übernommen. War gar nicht so schwer 🙂

  • Eben beim Kaffee kam mir die Idee, das man diese App ja auch mit einem SSL/TLS Zertifikat laufen lassen muss, wenn ich diese später auf einem meiner Server laufen lasse möchte.

    ChatGPT empfahl dazu folgendes.

    openssl req -x509 -newkey rsa:4096 -nodes -out cert.pem -keyout key.pem -days 365
    

    Das erzeugt einen selbst erstelltes Zertifikat. Für die Testzwecke in meinem lokalen LAN völlig ausreichend. In einer produktiven Umgebung im Netz natürlich nicht.

    Seine Empfehlung zum Flask Code.

    from flask import Flask
    
    app = Flask(__name__)
    
    @app.route('/')
    def index():
        return 'Hello, HTTPS world!'
    
    if __name__ == '__main__':
        app.run(debug=True, ssl_context=('cert.pem', 'key.pem'))
    

    Schnell mal ausprobiert und funktioniert. Die App ist jetzt unter

    https://127.0.0.1:5000/
    

    erreichbar.

    Gedanken zur Installation auf einem Server im Netz.

    • Redis DB muss mit Passwort laufen!!
    • Zertifikat mit Letsencrypt erstellen.
    • Die Zertikate hier im Beispiel liegen im Projekt Ordner. Ist das gut 🤔
    • NGINX als Proxy nötig
    • Das debug=TRUE MUSS gegen ein debug=FALSE getauscht werden!

    Dann habe ich noch eben gefragt, was ich für die NGINX Installation benötige.

    pip install gunicorn
    

    gunicorn ist ein Webserver. Startet man mit

    gunicorn -w 4 yourapp:app
    

    Die Settings für NGINX

    server {
        listen 80;
        server_name yourdomain.com;
    
        location / {
            proxy_pass http://localhost:8000;
            proxy_set_header Host $host;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
            proxy_set_header X-Forwarded-Proto $scheme;
        }
    }
    

    Hier steht viel, was ich mal hier ungetestet parke. Das wird die nächsten Tage sicherlich ausprobiert und getestet.

  • Hab ChatGPT nochmal nach der Installation auf einem Production Server befragt.

    ChatGPT

    Certainly! Here's a short example of the steps you can follow to deploy a Flask application on a production server using Nginx and Gunicorn:

    1. Prepare your server:

      • Set up a server (e.g., using a cloud provider like AWS, DigitalOcean, or a dedicated server) and ensure it has a clean, up-to-date installation of a Linux distribution (e.g., Ubuntu or CentOS).
    2. Install required software:

      • Install necessary software packages on your server. You'll need Python, pip (Python package manager), Nginx, and Gunicorn. You can use your distribution's package manager (e.g., apt for Ubuntu or yum for CentOS) to install these dependencies.
    3. Deploy your Flask application:

      • Copy your Flask application code and any required dependencies to your server.
    4. Set up a virtual environment (optional but recommended):

      • Create a virtual environment for your Flask application to isolate its dependencies. You can use venv or virtualenv for this purpose.
    5. Install Flask and any required Python packages within your virtual environment:

      pip install flask
      
    6. Test your Flask application:

      • Ensure your Flask application runs correctly within your server's virtual environment.
    7. Configure Gunicorn:

      • Create a Gunicorn configuration file (e.g., gunicorn_config.py) to specify the settings for running your Flask application. Here's a simple example:
      workers = 4  # Number of Gunicorn worker processes
      bind = '0.0.0.0:8000'  # The address and port Gunicorn should listen on
      
    8. Start Gunicorn:

      • Start Gunicorn with your Flask application:
      gunicorn -c gunicorn_config.py your_app:app
      
    9. Configure Nginx:

      • Create an Nginx server block (often located in /etc/nginx/sites-available) to define how Nginx should handle incoming requests. Here's a simplified example:
      server {
          listen 80;
          server_name your_domain.com www.your_domain.com;
      
          location / {
              proxy_pass http://127.0.0.1:8000;  # Pass requests to Gunicorn
              proxy_set_header Host $host;
              proxy_set_header X-Real-IP $remote_addr;
          }
      }
      
    10. Enable the Nginx server block and restart Nginx:

      sudo ln -s /etc/nginx/sites-available/your_config /etc/nginx/sites-enabled/
      sudo nginx -t  # Test Nginx configuration
      sudo systemctl restart nginx
      
    11. Configure your DNS:

      • Point your domain name to your server's IP address.
    12. Secure your server (optional but recommended):

      • Set up SSL/TLS certificates for your domain to enable HTTPS. You can use Let's Encrypt for free SSL certificates.
    13. Monitor your application:

      • Set up monitoring tools and logs to keep track of your application's performance and troubleshoot any issues.

    These are the basic steps to deploy a Flask application on a production server with Nginx and Gunicorn. Please note that this is a simplified example, and there are many additional considerations, such as database configuration, security, and optimization, depending on your specific application and requirements. It's also important to keep your server and software up to date and follow security best practices to ensure the stability and security of your production environment.


    Das werde ich doch mal ausprobieren 😎

  • FrankMF FrankM hat am auf dieses Thema verwiesen

  • MongoDB - Erste Erfahrungen

    Linux
    2
    0 Stimmen
    2 Beiträge
    150 Aufrufe
    FrankMF

    So frisch von der MongoDB Front und wieder viel gelernt, weil beim Üben macht man Fehler 🙂

    Oben war ja mongodump & mongorestore von der KI empfohlen. Hier das wie ich es gemacht habe.

    mongodump frank@redis-stack:~$ mongodump -u frank -p '<password>' --host 192.168.3.9 --authenticationDatabase admin -d portfolio -o mongodump/ 2024-04-06T09:29:25.174+0200 writing portfolio.stockList to mongodump/portfolio/stockList.bson 2024-04-06T09:29:25.175+0200 writing portfolio.users to mongodump/portfolio/users.bson 2024-04-06T09:29:25.175+0200 done dumping portfolio.stockList (8 documents) 2024-04-06T09:29:25.176+0200 writing portfolio.total_sum to mongodump/portfolio/total_sum.bson 2024-04-06T09:29:25.177+0200 done dumping portfolio.total_sum (1 document) 2024-04-06T09:29:25.177+0200 writing portfolio.old_total_sum to mongodump/portfolio/old_total_sum.bson 2024-04-06T09:29:25.177+0200 writing portfolio.stocks to mongodump/portfolio/stocks.bson 2024-04-06T09:29:25.177+0200 done dumping portfolio.users (4 documents) 2024-04-06T09:29:25.178+0200 writing portfolio.settings to mongodump/portfolio/settings.bson 2024-04-06T09:29:25.178+0200 done dumping portfolio.settings (1 document) 2024-04-06T09:29:25.179+0200 done dumping portfolio.old_total_sum (1 document) 2024-04-06T09:29:25.179+0200 done dumping portfolio.stocks (34 documents) mongorestore mongorestore -u frank -p '<password>' --host 192.168.3.9 --authenticationDatabase admin -d portfolio mongodump/meineDatenbank/

    Hier wird die Datensicherung mongodump/meineDatenbank/ in die neue Datenbank portfolio transferiert.

    Grund für das Ganze? Mich hatte der Datenbank Name meineDatenbank gestört.

    Benutzerrechte

    Jetzt der Teil wo man schnell was falsch machen kann 🙂 Ich hatte also die neue Datenbank, konnte sie aber nicht lesen. Fehlten halt die Rechte. Ich hatte dann so was hier gemacht.

    db.updateUser("frank", { roles: [ { role: "readWrite", db: "meineDatenbank" }, { role: "readWrite", db: "portfolio" }]})

    Ging auch prima, kam ein ok zurück. Nun das Problem, ich hatte beim Einrichten, den User frank als admin benutzt. Durch den oben abgesetzten Befehl (frank ist ja admin), wurden die neuen Rechte gesetzt und die Rechte als Admin entzogen!! Das war jetzt nicht wirklich das was ich gebrauchen konnte. LOL

    Ich hatte jetzt keine Kontrolle mehr über die DB. Das war aber nicht so wirklich kompliziert, das wieder zu ändern. Die Authentication temporär abstellen. Also /etc/mongod.conf editieren und

    #security: security.authorization: enabled

    eben mal auskommentieren. Den Daemon neustarten und anmelden an der DB.

    mongosh --host 192.168.3.9

    Danach neuen User anlegen

    db.createUser({ user: "<name>", pwd: "<password>", roles: [ { role: "userAdminAnyDatabase", db: "admin" } ] })

    mongod.conf wieder ändern und neustarten. Danach hat man wieder eine DB mit Authentifizierung und einen neuen Admin. Ich bin diesmal, man lernt ja, anders vorgegangen. Es gibt nun einen Admin für die DB und einen User zum Benutzen der Datenbanken! So wie man es auch auf einem produktiven System auch machen würde. Wenn ich jetzt mal was an den Benutzerrechten des Users ändere, kann mir das mit dem Admin nicht mehr passieren. Hoffe ich 🙂

  • Vorstellung Restic UI Flask

    Restic UI Flask
    1
    0 Stimmen
    1 Beiträge
    181 Aufrufe
    Niemand hat geantwortet
  • Redis - Datenbank Zugriff mit Python

    Redis
    3
    0 Stimmen
    3 Beiträge
    153 Aufrufe
    FrankMF

    Ich bin mit der Lernkurve noch nicht so richtig zufrieden. Eine Frage die sich mir stellte, geht das einfacher? Der Ursprung meiner Datenbank Struktur liegt in einem anderen Projekt, wo ich versucht habe Daten permanent in einem File zu speichern. Dazu hatte ich damals JSON genommen. Deswegen auch diese Zeilen

    self.project = str(db_client.json().get('settings', '$..project')[0]) or self.project

    Gut, ich hatte dann mal ChatGPT gefragt, wie macht man das so 'normalerweise'? es kam eine Klasse heraus, die ich dann intensiv ausprobiert habe, ein wenig umgebaut usw. So lange, bis ich der Meinung war, ok ich habe es verstanden. Jetzt nutzte der Code auch mehr Redis Funktionen, wie

    self.client.hset('settings', name, json.dumps(data))

    Es waren jetzt folgende Funktionen drin

    hset hexists hdel hget

    Dokumentation -> https://redis.io/commands/hset/

    Beim Durchlesen des Codes hatte ich jetzt mehr das Gefühl, so muss das sein 🙂

    In RedisInsight sieht das dann jetzt so aus.

    393195f7-1017-4285-8fca-734ee6b4bff7-grafik.png

    Klasse class PortfolioSettings: def __init__(self, host='172.17.0.2', port=6379, db=0): if args.test_mode == 1: self.client = redis.StrictRedis(host=SERVER_IP, port=port, db=TEST[0]) else: self.client = redis.StrictRedis(host=SERVER_IP, port=port, db=LIVE[0]) def set_settings(self, name, data): """Init settings if db don't exist""" if not self.client.hexists('settings', name): self.client.hset('settings', name, json.dumps(data)) return True return False def edit_setting(self, name, data): """Edit an entry in settings""" if self.client.hexists('settings', name): self.client.hset('settings', name, json.dumps(data)) return True return False def delete_setting(self, name): """Delete an entry in settings""" return self.client.hdel('settings', name) def get_setting(self, name): """Get an entry in settings""" setting = self.client.hget('settings', name) return json.loads(setting) if setting else None def get_all_settings(self): """Get all entries in settings""" settings = self.client.hgetall('settings') return {k.decode(): json.loads(v) for k, v in settings.items()}

    Und hier die Initialisierung

    settings_data = PortfolioSettings() ##################### # Will only be executed if DB is not available! ##################### if not settings_data.get_all_settings(): # Settings initialisieren print("INIT") settings_data.set_settings("project", "Portfolio") settings_data.set_settings("version", "0.0.3") settings_data.set_settings("theme", "dark") settings_data.set_settings("url_list", ["https://www.onvista.de/aktien/Deutsche-Telekom-Aktie-DE0005557508"]) settings_data.set_settings("exchange_list", ['DKB','Smartbroker','BUX'])

    Teile der Klasse sind [KI-generiert]

    Ich war zufrieden und habe die Klasse dann in mein Projekt übernommen und den Code überall entsprechend angepasst.

  • PyPi - Pakete ein Sicherheitsproblem?

    Python3
    1
    0 Stimmen
    1 Beiträge
    93 Aufrufe
    Niemand hat geantwortet
  • Restic UI - Stand Januar 2023

    PyWebIO
    1
    0 Stimmen
    1 Beiträge
    116 Aufrufe
    Niemand hat geantwortet
  • PyWebIO - Footer bearbeiten

    PyWebIO
    1
    0 Stimmen
    1 Beiträge
    88 Aufrufe
    Niemand hat geantwortet
  • Python - Match-Case Statement

    Python3
    1
    0 Stimmen
    1 Beiträge
    110 Aufrufe
    Niemand hat geantwortet
  • PyQt6 - QSettings

    Python3
    3
    0 Stimmen
    3 Beiträge
    335 Aufrufe
    FrankMF
    Möglichkeit 1

    Das hier

    settings = QSettings("Frank_Mankel", "Restic_UI")

    erzeugt unter

    /home/frank/.config/Frank_Mankel/Restic_UI.conf

    die Konfigurationsdatei.

    Möglichkeit 2

    Das hier

    settings = QSettings("Restic_UI")

    erzeugt unter

    /home/frank/.config/Restic_UI.conf

    die Konfigurationsdatei.

    Damit habe ich die grundlegenden Dinge, hoffentlich 😉 , verstanden.

    Für den Rest mal in die Dokumentation schauen.

    Sehr hilfreich war auch mal ein Blick auf die Definition der Klasse. Rechtsklick auf QSettings und dann Go to Definition

    class QSettings(QObject): class Scope(enum.Enum): UserScope = ... # type: QSettings.Scope SystemScope = ... # type: QSettings.Scope class Format(enum.Enum): NativeFormat = ... # type: QSettings.Format IniFormat = ... # type: QSettings.Format InvalidFormat = ... # type: QSettings.Format class Status(enum.Enum): NoError = ... # type: QSettings.Status AccessError = ... # type: QSettings.Status FormatError = ... # type: QSettings.Status [..gekürzt..]