Skip to content

Python3 - subprocess.run

Python3
2 1 299
  • Für mein Restic UI benutze ich sehr intensiv

    subprocess.run
    

    Nun, da ich alles so weit funktionell habe, wollte ich mich ans Feintuning machen. So Sachen wie Exception Handling usw. lasse ich immer links liegen. Aber das muss natürlich rein, also wollte ich die Fehlermeldungen abfangen. So weit, so gut, leider war das gar nicht so einfach. So sieht das aus, wenn ich mit Restic einen Init machen möchte.

    result = subprocess.run(['restic','-r',backup_data[row].repository,'init'], input = backup_data[row].password, stdout=subprocess.PIPE,  universal_newlines=True]
    

    Mein erster Ansatz war jetzt folgendes.

    result = subprocess.run(['restic','-r',backup_data[row].repository,'init'], input = backup_data[row].password, stdout=subprocess.PIPE, stderr=subprocess.PIPE,  universal_newlines=True]
    

    Also einfach stderr so abfangen, wie ich das auch mit dem Output schon gemacht hatte. Ergebnis, egal was ich machte, da kam nix 🤔

    Nach Lösungen im Internet gesucht und dann irgendwann mal über das hier gestolpert.

    result = subprocess.run(['restic','-r',backup_data[row].repository,'init'], input = backup_data[row].password, capture_output=True, text=True)
    result.check_returncode()
    

    Die Funktion

    result.check_returncode()
    

    brachte mich in die Lage, die Ausgaben abzufangen und auszugeben.

    Beispiel der Ausgabe der Fehlermeldungen.

    msg_box_error(self, result.stderr)
    

    Der Output wird so ausgegeben

    print(result.stdout)
    

    Es gibt auch noch folgendes

     print("Return-Code: ", result.returncode)
    

    Gibt den Returncode aus. Beispiel

    Return-Code:  1
    

    Außerdem habe ich gelernt, das es sinnvoller ist den ganzen Code anders zu strukturieren.

    try:
        # Hier checken wir die Daten.
        pass
    except:
        # Exception Handling
        pass
    else:
         # Normaler Vorgang, wenn kein Fehler
        pass
    finally:
        # Code der zum Schluß noch ausgeführt wird. 
        pass
    

    Jetzt muss ich das noch in viele andere Funktionen einbauen und testen usw.

  • Ich möchte das Thema noch mal ausgraben. Bin beim Recherchieren über diese Links gestolpert, die mein Interesse geweckt haben.

    Da ich aktuell nur eine Desktop Anwendung entwickle, ist das Thema Sicherheit nicht ganz so wichtig, weil wer hackt sich schon selber!? Aber, da man ja nie weiß, wie so ein Tool evt. mal benutzt wird, sollte man von Anfang an auf ein paar Dinge achten.

    Ok, schauen wir uns das mal genauer an.

    Link 1 - shell=True

    Ich kopiere mal das Beispiel aus dem Link.

    def count_lines(website):
        return subprocess.check_output('curl %s | wc -l' % website, shell=True)
    

    Ok, das Problem ist

    shell=True
    

    Ein Beispiel aus meinem Projekt

    result = subprocess.run(['restic',
                            '-r',
                            backup_data[row].repository,
                            'stats'],
                            input=pass_word.pw[0],
                            capture_output=True,
                            text=True)
    

    Gesetzt wird der in meinem Beispiel nicht. Besuchen wir mal die Webseite vom subprocess.run

    Wenn ich das jetzt richtig verstehe,

    subprocess.run(args, *, stdin=None, input=None, stdout=None, stderr=None, capture_output=False, shell=False, cwd=None, timeout=None, check=False, encoding=None, errors=None, text=None, env=None, universal_newlines=None, **other_popen_kwargs)
    

    dann ist standardmäßig

    shell=False
    

    gesetzt. Damit ist das in meinem Projekt kein Problem.

    Link 2 - B603: subprocess_without_shell_equals_true

    Ein Tool auf gitlab.com wirft Security Warnings aus, dabei war diese. Schauen wir mal, was uns das sagen möchte.

    Python possesses many mechanisms to invoke an external executable. However, doing so may present a security issue if appropriate care is not taken to sanitize any user provided or variable input.

    Ok, es geht also um die Prüfung von Eingaben bzw. Variablen. Der Merksatz "Keine Benutzereingabe wird ungeprüft übernommen!" ist doch mit das Wichtigste, wenn man irgendwas programmiert. Nochmal mein Beispiel von oben.

        result = subprocess.run(['restic',
                                '-r',
                                backup_data[row].repository,
                                'stats'],
                                input=pass_word.pw[0],
                                capture_output=True,
                                text=True)
    

    Ich übergebe dem Prozess einige Eingaben / Variablen.

    • backup_data[row].repository
    • pass_word.pw[0]

    Lesen wir wieder ein wenig in der Dokumentation von subprocess.run

    args is required for all calls and should be a string, or a sequence of program arguments. Providing a sequence of arguments is generally preferred, as it allows the module to take care of any required escaping and quoting of arguments (e.g. to permit spaces in file names). If passing a single string, either shell must be True (see below) or else the string must simply name the program to be executed without specifying any arguments.

    Das Wichtigste in Kürze Providing a sequence of arguments is generally preferred

    Der Aufruf von subprocess.run erwartet als erste Übergabe args

    subprocess.run(args, *, ....
    

    Mein Beispiel

    result = subprocess.run(['restic', '-r', backup_data[row].repository, 'stats'], ....
    

    Das zwischen den eckigen Klammern ist args. Laut der Anleitung ist es empfohlen, das als ein Argument zu übergeben, also so. Somit ist dafür gesorgt, das das Modul die Argumente selbst ein wenig "überwacht".

    as it allows the module to take care of any required escaping and quoting of arguments (e.g. to permit spaces in file names).

    Somit hätten man schon mal was für sie "Sicherheit" getan.

    args = ['restic', '-r', backup_data[row].repository, 'stats']
    result = subprocess.run(args, ....
    

    Man sollte trotzdem auf diese beiden Variablen

     * backup_data[row].repository
     * pass_word.pw[0]
    

    ein Auge behalten. Ich denke, das habe ich in meinem Projekt eingehalten, indem ich Pfadangabe mit den Systemwerkzeugen auswählbar mache, keine Texteingaben! Passwörter und andere Bezeichnung werden mit regex auf korrekte Eingaben geprüft usw.

    Fazit

    Wieder viel gelernt und ich denke, es passt so weit alles. Bei der ganzen Spielerei, dann noch entdeckt, das ich im Code dieses Argument drin hatte.

    check=False
    

    Das ist aber Standard, somit kann das weg. Habe das im kompletten Projekt dann entfernt und mir fällt gerade auf, da der Code immer gleich ist, muss das jetzt eigentlich alles in eine Funktion 😉 Mal auf die ToDo-Liste drauf schreiben.

  • Python - mehrsprachiges GUI

    Python3 python3
    1
    1
    0 Stimmen
    1 Beiträge
    237 Aufrufe
    Niemand hat geantwortet
  • Restic UI - QThread

    Restic UI restic-ui python3
    1
    0 Stimmen
    1 Beiträge
    168 Aufrufe
    Niemand hat geantwortet
  • Python3 - QT_QPA_PLATFORM

    Python3 pyqt5 python3
    2
    2
    0 Stimmen
    2 Beiträge
    443 Aufrufe
    FrankMF
    Nachdem ich ja mittlerweile schon lange weder auf Cinnamon bin, hatte ich nach einem Update von VSCodium wieder ein anderes Design. Ok, schauen wir rein. (venv) frank@frank-MS-7C37:~/restic-ui-public$ env | grep "QT" QT_ACCESSIBILITY=1 QT_QPA_PLATFORMTHEME=qt5ct Wenn ich das auf QT_QPA_PLATFORMTHEME=gnome3 ändere, sieht es wie auf meinem Linux Mint Cinnamon Desktop aus.
  • Python3 - Global variable 'widget' undefined at the module level

    Python3 python3
    3
    0 Stimmen
    3 Beiträge
    484 Aufrufe
    FrankMF
    Kein globalen Variablen mehr im Projekt Das Widget ließ sich relativ einfach erledigen. Vorher #----QPlainTextEdit ----# layout = QVBoxLayout() widget = QTextEdit() widget.setReadOnly(True) widget.setLayout(layout) setCentralWidget(widget) Nachher #----QPlainTextEdit ----# layout = QVBoxLayout() self.widget = QTextEdit() self.widget.setReadOnly(True) self.widget.setLayout(layout) self.setCentralWidget(self.widget) Aufruf dann nicht mehr mit # UI widget.setHtml("") sondern mit # UI mainWin.widget.setHtml("") Problem erledeigt und hoffentlich auch verstanden
  • Python3 - class BackupList

    Python3 python3
    2
    0 Stimmen
    2 Beiträge
    295 Aufrufe
    FrankMF
    Mir hat heute jemand auf Twitter zu meinem Problem geantwortet. https://twitter.com/OliverTheUnique/status/1381888728080211968 Das habe ich natürlich direkt, bei einer Tasse Kaffee, ausprobiert. Geht einwandfrei und ein Problem ist damit Vergangenheit. Bei meiner Konstruktion musste ich immer eine Länge für die Liste p vorgeben. p = list(range(10)) Das wird jetzt nicht mehr benötigt. Schön Jetzt muss ich mir das noch in Ruhe anschauen, nachlesen und verstehen. Danke für den netten Hinweis!
  • Python3 - String-Operatoren

    Python3 python3
    1
    0 Stimmen
    1 Beiträge
    181 Aufrufe
    Niemand hat geantwortet
  • Python3 - JSON

    Python3 python3
    3
    1
    0 Stimmen
    3 Beiträge
    277 Aufrufe
    FrankMF
    [image: 1603645936018-ede1a88a-5183-4f85-a602-27650362d532-grafik.png] Die Backups sollen Namen haben, also habe ich das erweitert. Jetzt sollen diese als Liste rechts angezeigt werden. Das mache ich wie folgt. for key in backups: print(backups[key]['name'], key) liste = backups[key]['name'] + " ID: " + key self.listWidget.addItem(liste) Mittels des Keys kann ich auf den Namen zugreifen und die Liste damit füllen. Aktuell habe ich noch den Key hinten angefügt, weil ich noch keine Idee habe, wie ich die Backups anders verarbeiten soll. Aber, Stück für Stück. Der Backup-Name wird nach Auswahl in der Statusbar angezeigt. So weit klappt das so wie ich mir das vorstelle. Für heute ist Feierabend
  • Wichtige Links

    Angeheftet Python3 python3
    1
    0 Stimmen
    1 Beiträge
    231 Aufrufe
    Niemand hat geantwortet