Skip to content

Python3 - Popen und seine Geheimnisse ;)

Python3
  • Eine der letzten Baustellen in meinem Tool Restic UI war die Funktion zum Mounten eines Restic Backups.

    Das größte Problem dabei war, das dieser Prozess nicht beendet wird sonder offen bleibt. Das kennt ihr, wenn ihr das schon mal über die Konsole gemacht habt, dann erscheint das folgende

    reading repository password from stdin
    repository 6859cd64 opened successfully, password is correct
    Now serving the repository at /home/frank/m5
    When finished, quit with Ctrl-c or umount the mountpoint.
    

    Jetzt kann man in meinem Tool das Passwort mittlerweile abspeichern oder wahlweise auch jedes mal eingeben. Aber, was mache ich wenn das Passwort falsch eingegeben wurde? Ich habe tagelang versucht, die Fehler abzufangen, das geht aber meiner Meinung nach nicht, da der Prozess am Laufen ist. Was machen?

    Ich habe so ziemlich jede Seite im Netz zum Thema Popen durch 😉 Nichts davon brachten den gewünschten Erfolg.

    Ok, fangen wir von vorne an, was sagt die Dokumentation von Restic?

    EXIT STATUS
    ===========
    
    Exit status is 0 if the command was successful, and non-zero if there was any error.
    

    Gut, wenn ich den richtigen Fehlercode nicht abfangen kann, dann kann ich evt. ermitteln ob der Prozess läuft oder einen Fehler ausgibt. Das würde mir zu mindestens helfen, den User zu informieren.

    Bei den hunderten von Webseiten, hatte ich irgendwo was über p.poll() aufgeschnappt. Das steht in der Python Dokumentation.

    Popen.poll()

    Check if child process has terminated. Set and return returncode attribute. Otherwise, returns None.
    

    Das sollte für meinen Zweck ausreichend sein. Erster Versuch

    # no passwd in backup_data? Ok, we ask for one
    if len(backup_data[row].password) == 0:
        pwd = get_password(self) ## pwd ('1234', True)
        if pwd[1] is False:
            return False
    
    try:
        cmd = ['restic',
                                        '-r',
                                        backup_data[row].repository,
                                        'mount',
                                        mount_path]
        
       
        # We create the object, here with stdin and open the asynchronous subprocess
        p1 = subprocess.Popen(cmd,stdin=subprocess.PIPE,stderr=subprocess.PIPE) 
        p1.stdin.write(pwd[0].encode()))
        p1.stdin.close()
    
    except Exception:
        pass
    
    finally:
        try:
            if p1.poll() == 1:                          
                 raise Exception("The Restic mount command was not successful. Probable cause: wrong password or no key found")
            else:
                msg_box(self, "Successful mount of the Repository!")    
        except Exception as e:
            msg_box_error(self, repr(e))
    

    Ich hoffe man versteht was ich hier mache.

    • Wir holen uns das Passort über eine Usereingabe
    • Wir bauen den Restic Befehl cmd
    • Wir starten den subprocess.Popen
    • Wir senden das Passwort auf stdin
    • Wir schließen stdin
    • In finally machen wir den p1.poll() und werten diesen aus.

    Bei den vielen, vielen, super vielen Test war mir aufgefallen, das das klappte.

    p1.poll() gab einmal None aus und einmal eine 1

    None war ein laufender Prozess, also erfolgreich gemountet.
    Eine 1 war ein Fehler, hier falsche Passwort Eingabe.

    Nach einigen weiteren Tests, ging es auf einmal nicht mehr. Ich wusste aber ganz genau, das es ging, ich konnte das in der Konsole noch lesen. Also meine Kontrollausgaben. Was war passiert. Eine halbe Stunde Grübeln und ich kam zu der Überzeugung, das muss ein Zeitproblem sein. Ok, also eine Bremse 🙂 einbauen. Im finally vor dem try kommt das rein.

    print("POLL", p1.poll()) 
    import time
    time.sleep(1.0)
    

    Kleine Kontrollausgabe, wir importieren das Modul time (ja, gehört nicht an diese Stelle, ich weiß...) und dann lassen wir den Prozess 1 Sekunde pausieren. Wir geben hier jetzt dem subprocess die Gelegenheit, das falsche Passwort zu erkennen und den richtigen Exit Status zu setzen. Und Bingo es ging so wie ich es mir vorgestellt hatte. 🤓

    Wieder extrem viel gelernt.

    Hinweis

    Der Code oben ist nur ein Ausschnitt, ich hoffe das er nachvollziehbar ist. Wenn nicht einfach hier drunter kommentieren, es gibt das dann in lang 😉

    Für Profis, die evt. hier mal drüber stolpern. Ich nehme jede Verbesserung gerne auf und probiere es auch aus.

    Wünsche mir eigentlich immer noch, das ich die Ausgabe

    Fatal: wrong password or no key found
    

    vernünftig abfangen und weiterverarbeiten kann. So wie mit

    output = process.stdout
    

    bei einem subprocess.run.

  • Restic v0.17.2 released

    Restic restic linux
    1
    0 Stimmen
    1 Beiträge
    147 Aufrufe
    Niemand hat geantwortet
  • Restic v0.17.0 released

    Restic restic linux
    1
    0 Stimmen
    1 Beiträge
    148 Aufrufe
    Niemand hat geantwortet
  • Vorstellung Restic UI als PyWebIO Version

    PyWebIO restic-ui pywebio python
    7
    0 Stimmen
    7 Beiträge
    278 Aufrufe
    FrankMF
    https://gitlab.com/Bullet64/restic_ui_pywebio/-/commit/45c83cd8c38f466e427046b0f123c23def1bd7ca
  • Restic v0.14.0 released

    Restic restic
    5
    0 Stimmen
    5 Beiträge
    245 Aufrufe
    FrankMF
    @berthold GUI v1.5.0 released mit Unterstützung für restic 0.14.0 und dem Migrations Tool. Bitte zum Testen evt. nicht auf die wichtigsten Daten loslassen Mein Test mit meinem Repo auf dem REST-Server war erfolgreich.
  • Python3 - enumerate()

    Python3 python3
    2
    1
    0 Stimmen
    2 Beiträge
    163 Aufrufe
    FrankMF
    Ich habe noch was Code gefunden, den ich mal dringend aufräumen musste Wenn ich mit dem Restic UI die Snapshots anzeige, dann sieht das so aus. reading repository password from stdin ID Time Host Tags Paths ---------------------------------------------------------------------------- 4e769748 2021-12-31 21:48:34 frank-MS-7C37 /home/frank/Bilder 34298934 2022-01-26 20:15:53 frank-MS-7C37 /home/frank/Bilder 0d5d88f2 2022-01-27 21:05:07 frank-MS-7C37 /home/frank/Bilder f0e7d5a7 2022-01-29 13:46:12 frank-MS-7C37 /home/frank/Bilder 79918d70 2022-01-29 13:52:56 frank-MS-7C37 /home/frank/Bilder d74272a3 2022-01-30 11:54:20 frank-MS-7C37 /home/frank/Bilder 11b0b5ad 2022-01-30 11:57:44 frank-MS-7C37 /home/frank/Bilder 4a7450d2 2022-02-20 09:35:56 frank-MS-7C37 /home/frank/Bilder c1a4a51d 2022-02-20 09:36:43 frank-MS-7C37 /home/frank/Bilder d178ded5 2022-02-20 09:38:53 frank-MS-7C37 /home/frank/Bilder 997e2259 2022-02-20 16:35:57 frank-MS-7C37 /home/frank/Bilder 3320ad5c 2022-02-20 16:49:19 frank-MS-7C37 /home/frank/Bilder ---------------------------------------------------------------------------- 12 snapshots Mich interessieren die IDs, weil ich bei der Eingabe der IDs überprüfen möchte, ob die eingegebene ID existiert. Also muss ich das irgendwie auslesen und speichern. Das habe ich bis jetzt so gemacht. def id_append(self, result): # We split the result into individual lines. # Result was passed. And create an list. result_list = result.split('\n') # We count the number of repositories and search for 'source'. count = result.count(backup_data[row].source) # Offset added, first interesting line is line 3! count = count + 3 # We loop through the list and output the ID's and store in snapshot_id x = 3 while x < count: a = result_list[x] y = a[0:8] snapshot_id.append(y) x = x + 1 Das erschien mir heute, beim erneuten Betrachten, Spaghetticode zu sein. Machen wir das mal etwas ordentlicher. Ich nehme die Ausgabe (stdout) und erzeuge eine Liste, jede Zeile ein Element. result_list = result.split('\n') Sieht so aus ['reading repository password from stdin', 'ID Time Host Tags Paths', '----------------------------------------------------------------------------', '4e769748 2021-12-31 21:48:34 frank-MS-7C37 /home/frank/Bilder', '34298934 2022-01-26 20:15:53 frank-MS-7C37 /home/frank/Bilder', '0d5d88f2 2022-01-27 21:05:07 frank-MS-7C37 /home/frank/Bilder', 'f0e7d5a7 2022-01-29 13:46:12 frank-MS-7C37 /home/frank/Bilder', '79918d70 2022-01-29 13:52:56 frank-MS-7C37 /home/frank/Bilder', 'd74272a3 2022-01-30 11:54:20 frank-MS-7C37 /home/frank/Bilder', '11b0b5ad 2022-01-30 11:57:44 frank-MS-7C37 /home/frank/Bilder', '4a7450d2 2022-02-20 09:35:56 frank-MS-7C37 /home/frank/Bilder', 'c1a4a51d 2022-02-20 09:36:43 frank-MS-7C37 /home/frank/Bilder', 'd178ded5 2022-02-20 09:38:53 frank-MS-7C37 /home/frank/Bilder', '997e2259 2022-02-20 16:35:57 frank-MS-7C37 /home/frank/Bilder', '3320ad5c 2022-02-20 16:49:19 frank-MS-7C37 /home/frank/Bilder', '----------------------------------------------------------------------------', '12 snapshots', ''] Diesmal benutzen wir die enumerate() Funktion for count, value in enumerate(result_list): print(count, value) Das was raus kommt, sieht so aus 0 reading repository password from stdin 1 ID Time Host Tags Paths 2 ---------------------------------------------------------------------------- 3 4e769748 2021-12-31 21:48:34 frank-MS-7C37 /home/frank/Bilder 4 34298934 2022-01-26 20:15:53 frank-MS-7C37 /home/frank/Bilder 5 0d5d88f2 2022-01-27 21:05:07 frank-MS-7C37 /home/frank/Bilder 6 f0e7d5a7 2022-01-29 13:46:12 frank-MS-7C37 /home/frank/Bilder 7 79918d70 2022-01-29 13:52:56 frank-MS-7C37 /home/frank/Bilder 8 d74272a3 2022-01-30 11:54:20 frank-MS-7C37 /home/frank/Bilder 9 11b0b5ad 2022-01-30 11:57:44 frank-MS-7C37 /home/frank/Bilder 10 4a7450d2 2022-02-20 09:35:56 frank-MS-7C37 /home/frank/Bilder 11 c1a4a51d 2022-02-20 09:36:43 frank-MS-7C37 /home/frank/Bilder 12 d178ded5 2022-02-20 09:38:53 frank-MS-7C37 /home/frank/Bilder 13 997e2259 2022-02-20 16:35:57 frank-MS-7C37 /home/frank/Bilder 14 3320ad5c 2022-02-20 16:49:19 frank-MS-7C37 /home/frank/Bilder 15 ---------------------------------------------------------------------------- 16 12 snapshots 17 Mich interessieren nur die Zeilen mit /home/frank/Bilder Das kann man so abfragen if backup_data[row].source in value: Und jetzt nur die ID entsprechend abspeichern snapshot_id.append(value[0:8]) Sieht jetzt komplett so aus result_list = result.split('\n') for count, value in enumerate(result_list): if backup_data[row].source in value: snapshot_id.append(value[0:8]) print(count, value[0:8]) Somit speichert er jetzt nur noch die IDs, der folgenden Ausgabe. 3 4e769748 4 34298934 5 0d5d88f2 6 f0e7d5a7 7 79918d70 8 d74272a3 9 11b0b5ad 10 4a7450d2 11 c1a4a51d 12 d178ded5 13 997e2259 14 3320ad5c Diese IDs, kann ich dann weiterverarbeiten.
  • Python3 - PyQt6 installieren

    Python3 pyqt6 python3
    1
    0 Stimmen
    1 Beiträge
    427 Aufrufe
    Niemand hat geantwortet
  • Restic v0.12.1 released

    Restic restic
    1
    0 Stimmen
    1 Beiträge
    187 Aufrufe
    Niemand hat geantwortet
  • Restic - Backblaze B2 Cloud Storage

    Restic backblaze linux restic
    1
    2
    0 Stimmen
    1 Beiträge
    413 Aufrufe
    Niemand hat geantwortet