Skip to content

Python3 - class BackupList

Python3
  • Für mein Restic UI habe ich ja alles so weit funktional. Aber eine Sache stört mich irgendwie, das mit dem objektorientierten Coden habe ich noch nicht wirklich umgesetzt. So reifte der Plan, die vorhandene JSON-Datei, mit der ich arbeite und alles drin speichere usw. zu ersetzen. Wollen wir mal schauen, wie weit uns das bringt....

    An die Experten, die hier mitlesen, mein Level ist nicht mehr als Einsteiger Niveau. Alles selber beigebracht 😊 Wenn jemand Schwachsinn findet, freue ich mich immer über Korrekturen!

    Meine JSON-Datei sieht so aus.

    {"0": {"name": "Example1", "repository": "/home/frank/backup1", "source": "/home/frank/source1", "password": "1234", "init": "0", "exclude": ""}, "1": {"name": "Example2", "repository": "/home/frank/backup2", "source": "/home/frank/source2", "password": "123456", "init": "0", "exclude": ""}, "2": {"name": "Example3", "repository": "/home/frank/backup3", "source": "/home/frank/source3", "password": "12345678", "init": "0", "exclude": ""}, "3": {"name": "Add", "repository": "", "source": "", "password": "", "init": "0", "exclude": ""}, "4": {"name": "ADD2", "repository": "", "source": "", "password": "", "init": "0", "exclude": ""}}
    

    Nur Testdaten. Ok, was will ich nun machen? Wir machen daraus mal eben eine Klasse.

    class BackupList():
            
            'Ich baue hier eine neue Klasse um die Backup Liste zu verwalten'
            'Daten liegen in backup_list.json'
            
                   
            def __init__(self, name, repository, source, password, init, exclude):
                self.name = name
                self.repository = repository
                self.source = source
                self.password = password
                self.init = init
                self.exclude = exclude
    

    Gut, das war jetzt nicht so schwer. In allen Beispielen im Netz baut man jetzt ein Objekt.

    # Hier bauen wir das Beispiel File
                
                p1 = BackupList("Example1", str(Path.home()) + "/backup1", str(Path.home()) + "/source1", "1234", "0", "")
                p2 = BackupList("Example2", str(Path.home()) + "/backup2", str(Path.home()) + "/source2", "123456", "0", "")
                p3 = BackupList("Example3", str(Path.home()) + "/backup3", str(Path.home()) + "/source3", "12345678", "0", "")
    

    Damit hätte ich jetzt drei Objekte angelegt, auf die ich z.B. mit

    p1.name
    

    zugreifen könnte.

    print("Ausgabe ", p1.name)
    

    würde

    Ausgabe Example1
    

    ausgeben. Bis hierhin war alles ganz einfach. Ok, wenn man mit einem Programm arbeitet, braucht man Daten dauerhaft. Also muss ich die Daten auch weiterhin abspeichern. Also war der Plan, ich behalte das JSON File.

    • Beim Start aus dem JSON die Klasse mit Objekten befüllen
    • Bei Änderungen diese Daten speichern

    Wir widmen uns mal dem ersten Punkt. Die Daten aus dem JSON sollen also in Objekte überführt werden, mit denen ich dann weiterarbeiten kann. Wo baut man die Daten ein, war mein erstes Problem. Meine Lösung

    class BackupList
    .
    .
    .
    try:
        with open(#backup_list.json') as f:
    

    Ich hoffe das ist verständlich, ob das richtig ist? Funktionieren tut es.

    Teil 1

    try:
            with open('backup_list.json') as f:
                backups = json.load(f)
    

    Nicht wirklich spannend, wir öffnen das JSON File und erzeugen das Objekt backups.

    Teil 2

    Ich brauche die Anzahl der Einträge, die es in der JSON-Datei gibt. Ich mache das so

    liste2 = []
    for key in backups:
        liste2.append(key)
    print(liste2)
    

    Ich erstelle hier eine Liste, in die wir alle Keys aus dem JSON File eintragen. Das ergibt dann so was hier.

    ['0', '1', '2', '3', '4']
    

    Also Zahlen, die als String abgelegt sind. Nix besonderes. Jetzt aber stand ich vor der Hürde und wie geht es jetzt weiter!? Was wusste ich?

    p1 = BackupList(backups[liste2[x]]['name'], backups[liste2[x]]['repository'], backups[liste2[x]]['source'], backups[liste2[x]]['password'], backups[liste2[x]]['init'], backups[liste2[x]]['exclude'])
    

    So sollte es aussehen, ein Objekt zu erstellen. Dabei greife ich auf das JSON File zu und fülle das Objekt p1 der Klasse BackupList mit den Daten aus dem File, ab (backups....)

    Ich musste mit einer for Schleife arbeiten. Dafür hatte ich oben die Einträge ermittelt, die stehen in liste2. Also, so was in der Art.

    x = 0
    for i in liste2:
        px = BackupList(backups[liste2[x]]['name'], backups[liste2[x]]['repository'], backups[liste2[x]]['source'], backups[liste2[x]]['password'], backups[liste2[x]]['init'], backups[liste2[x]]['exclude'])
        x = x + 1
    

    Der geübte Coder erkennt sicherlich mein Problem 😉 Was mache ich mit p1 ??? Das muss ich irgendwie hochzählen, aber wie? An dieser Stelle würde ich mich um die richtige Vorgehensweise freuen, ich habe es wie folgt gelöst.

    p[x] = BackupList(backups[liste2[x]]['name'], backups[liste2[x]]['repository'], backups[liste2[x]]['source'], backups[liste2[x]]['password'], backups[liste2[x]]['init'], backups[liste2[x]]['exclude'])
    

    Jetzt tauchte aber folgendes Problem auf.

    IndexError: list assignment index out of range
    

    Ok, mal abschalten und eine Stunde nachgedacht. Was versuche ich zu machen? Ich erstelle eine Liste mit X Elementen. Die Länge dieser Liste ist aber nicht definiert, also musste ich das so lösen.

    p = list(range(10))
    

    Das die Liste jetzt maximal 10 Elemente haben darf, soll jetzt nicht das Problem sein. Das kann man sicher noch eleganter lösen. Nun funktionierte es.

    Test der Ausgabe der Daten

    # Test Ausgabe aller Daten!!
    print(p[0].name)
    print(p[0].repository)
    print(p[0].source)
    print(p[0].password)
    print(p[0].init)
    print(p[0].exclude)
    print("----------------")
    

    Das klappt so weit ganz gut, aber ich werde irgendwie nicht das Gefühl los, das ich hier grundlegend was falsch mache!? Wenn ich mir folgende Zeile in VSCodium anschaue

     p1 = BackupList(backups[liste2[x]]['name'], backups[liste2[x]]['repository'], backups[liste2[x]]['source'], backups[liste2[x]]['password'], backups[liste2[x]]['init'], backups[liste2[x]]['exclude'])
    

    kann ich erkennen, das wenn die Maus auf p1 steht, er folgendes anzeigt.

    p1: BackupList
    

    Bei

    p[x] = BackupList(backups[liste2[x]]['name'], backups[liste2[x]]['repository'], backups[liste2[x]]['source'], backups[liste2[x]]['password'], backups[liste2[x]]['init'], backups[liste2[x]]['exclude'])
    

    zeigt er folgendes an

    p an p: list und bei x x: int
    

    Meine Schlussfolgerung, das p ein Objekt der Klasse BackupList ist. Das "p[x]" ist eine Liste mit x Einträgen zugehörig zur Klasse BackupList?? Hier stehe ich voll auf dem Schlauch. Auch hunderte Webseiten konnten mein Unwissen nicht erhellen. Wer kann helfen? Ich würde es gerne verstehen!

    Anmerkung, der Code läuft, so weit ich das bis jetzt testen konnte, einwandfrei.

  • Mir hat heute jemand auf Twitter zu meinem Problem geantwortet.

    Das habe ich natürlich direkt, bei einer Tasse Kaffee, ausprobiert. Geht einwandfrei und ein Problem ist damit Vergangenheit. Bei meiner Konstruktion musste ich immer eine Länge für die Liste p vorgeben.

    p = list(range(10))
    

    Das wird jetzt nicht mehr benötigt. Schön 🙂

    Jetzt muss ich mir das noch in Ruhe anschauen, nachlesen und verstehen.

    Danke für den netten Hinweis!

  • Python - Frameworks

    Python3
    2
    0 Stimmen
    2 Beiträge
    76 Aufrufe
    FrankMF

    Und mal hier parken

  • Example Class

    Angeheftet Python3
    3
    0 Stimmen
    3 Beiträge
    103 Aufrufe
    FrankMF

    In meinem PywebIO Projekt tauchte heute ein alter Bekannter auf. Wenn ich einen Eintrag (innerhalb der Liste) löschte, war das etwas durcheinander 🤔

    Ja, den Fehler kenne ich schon was länger und stolper immer mal wieder drüber. Heute z.B.

    Also mal grübeln 🤓

    Das mache ich, wenn ich einen Eintrag lösche

    case 'Yes': # delete entrie BackupList.delete((line - 1)) # save json BackupList.save_json() # Load data from filesystem BackupList.load_json() # Reload Tab Backup backup()

    Ich mache folgendes

    lösche den Eintrag speicher die Liste lade die Liste baue den Tab wieder auf

    Das führt aber dazu, das meine Liste die als Objekt im Speicher steht nicht aktuell ist. Im Gegenteil, da ist dann etwas Unordnung. Ich brauchte also die Möglichkeit mein Objekt backups irgendwie zurückzusetzen.

    Mal gegoogelt und die Dinge sind manchmal wirklich total easy 🙂

    # clear dict backups.clear()

    Das leert das Objekt und im nächsten Schritt kann ich es wieder befüllen.

    Lösung case 'Yes': # delete entrie BackupList.delete((line - 1)) # save json BackupList.save_json() # clear dict backups.clear() # Load data from filesystem BackupList.load_json() # Reload Tab Backup backup()

    Problem erledigt. Damit ich das noch finde, wenn mein Kopf das nicht mehr hergibt, notiere ich das hier.

  • Python - Match-Case Statement

    Python3
    1
    0 Stimmen
    1 Beiträge
    84 Aufrufe
    Niemand hat geantwortet
  • Restic UI - QThread

    Restic UI
    1
    0 Stimmen
    1 Beiträge
    95 Aufrufe
    Niemand hat geantwortet
  • Python3 - HTML Text ausgeben

    Python3
    1
    0 Stimmen
    1 Beiträge
    121 Aufrufe
    Niemand hat geantwortet
  • Python3 - subprocess.run

    Python3
    2
    0 Stimmen
    2 Beiträge
    177 Aufrufe
    FrankMF

    Ich möchte das Thema noch mal ausgraben. Bin beim Recherchieren über diese Links gestolpert, die mein Interesse geweckt haben.

    Link Preview Image Python Pipes to Avoid Shells — OpenStack Security Advisories 0.0.1.dev268 documentation

    favicon

    (security.openstack.org)

    B603: subprocess_without_shell_equals_true — Bandit documentation

    favicon

    (bandit.readthedocs.io)

    Da ich aktuell nur eine Desktop Anwendung entwickle, ist das Thema Sicherheit nicht ganz so wichtig, weil wer hackt sich schon selber!? Aber, da man ja nie weiß, wie so ein Tool evt. mal benutzt wird, sollte man von Anfang an auf ein paar Dinge achten.

    Ok, schauen wir uns das mal genauer an.

    Link 1 - shell=True

    Ich kopiere mal das Beispiel aus dem Link.

    def count_lines(website): return subprocess.check_output('curl %s | wc -l' % website, shell=True)

    Ok, das Problem ist

    shell=True

    Ein Beispiel aus meinem Projekt

    result = subprocess.run(['restic', '-r', backup_data[row].repository, 'stats'], input=pass_word.pw[0], capture_output=True, text=True)

    Gesetzt wird der in meinem Beispiel nicht. Besuchen wir mal die Webseite vom subprocess.run

    https://docs.python.org/3/library/subprocess.html?highlight=subprocess run#subprocess.run

    Wenn ich das jetzt richtig verstehe,

    subprocess.run(args, *, stdin=None, input=None, stdout=None, stderr=None, capture_output=False, shell=False, cwd=None, timeout=None, check=False, encoding=None, errors=None, text=None, env=None, universal_newlines=None, **other_popen_kwargs)

    dann ist standardmäßig

    shell=False

    gesetzt. Damit ist das in meinem Projekt kein Problem.

    Link 2 - B603: subprocess_without_shell_equals_true

    Ein Tool auf gitlab.com wirft Security Warnings aus, dabei war diese. Schauen wir mal, was uns das sagen möchte.

    Python possesses many mechanisms to invoke an external executable. However, doing so may present a security issue if appropriate care is not taken to sanitize any user provided or variable input.

    Ok, es geht also um die Prüfung von Eingaben bzw. Variablen. Der Merksatz "Keine Benutzereingabe wird ungeprüft übernommen!" ist doch mit das Wichtigste, wenn man irgendwas programmiert. Nochmal mein Beispiel von oben.

    result = subprocess.run(['restic', '-r', backup_data[row].repository, 'stats'], input=pass_word.pw[0], capture_output=True, text=True)

    Ich übergebe dem Prozess einige Eingaben / Variablen.

    backup_data[row].repository pass_word.pw[0]

    Lesen wir wieder ein wenig in der Dokumentation von subprocess.run

    args is required for all calls and should be a string, or a sequence of program arguments. Providing a sequence of arguments is generally preferred, as it allows the module to take care of any required escaping and quoting of arguments (e.g. to permit spaces in file names). If passing a single string, either shell must be True (see below) or else the string must simply name the program to be executed without specifying any arguments.

    Das Wichtigste in Kürze Providing a sequence of arguments is generally preferred

    Der Aufruf von subprocess.run erwartet als erste Übergabe args

    subprocess.run(args, *, ....

    Mein Beispiel

    result = subprocess.run(['restic', '-r', backup_data[row].repository, 'stats'], ....

    Das zwischen den eckigen Klammern ist args. Laut der Anleitung ist es empfohlen, das als ein Argument zu übergeben, also so. Somit ist dafür gesorgt, das das Modul die Argumente selbst ein wenig "überwacht".

    as it allows the module to take care of any required escaping and quoting of arguments (e.g. to permit spaces in file names).

    Somit hätten man schon mal was für sie "Sicherheit" getan.

    args = ['restic', '-r', backup_data[row].repository, 'stats'] result = subprocess.run(args, ....

    Man sollte trotzdem auf diese beiden Variablen

    * backup_data[row].repository * pass_word.pw[0]

    ein Auge behalten. Ich denke, das habe ich in meinem Projekt eingehalten, indem ich Pfadangabe mit den Systemwerkzeugen auswählbar mache, keine Texteingaben! Passwörter und andere Bezeichnung werden mit regex auf korrekte Eingaben geprüft usw.

    Fazit

    Wieder viel gelernt und ich denke, es passt so weit alles. Bei der ganzen Spielerei, dann noch entdeckt, das ich im Code dieses Argument drin hatte.

    check=False

    Das ist aber Standard, somit kann das weg. Habe das im kompletten Projekt dann entfernt und mir fällt gerade auf, da der Code immer gleich ist, muss das jetzt eigentlich alles in eine Funktion 😉 Mal auf die ToDo-Liste drauf schreiben.

  • 0 Stimmen
    2 Beiträge
    209 Aufrufe
    FrankMF

    Dinge entwickeln sich. Es sieht alles schon wieder was anders aus 🙂

    Hauptfenster
    270b5c68-3d64-44ca-9a01-e3f24ba4a26c-grafik.png

    Setup Fenster zum Erstellen der wg0.conf
    27c3cb28-50f5-4e00-b03d-de47c07372a0-grafik.png

    Und alles funktioniert so weit 🤓

  • Python und GUI

    Verschoben Python3
    1
    0 Stimmen
    1 Beiträge
    155 Aufrufe
    Niemand hat geantwortet