Skip to content

Python3 - enumerate()

Python3
  • Heute mal wieder was aus der Rubtik "Coden für Anfänger" 😉

    Am Anfang hatte ich mit verschiedenen Aufgaben, so meine Probleme.

    x = 0
    for _ in keys_list:
        mainWin.listWidget.addItem(backup_data[x].name)
        x += 1
    

    Ich habe eine Liste, die die Datensätze in meiner JSON Datei darstellen soll. Beispiel

    ['1', '7', '8', '9', '10']
    

    So sieht ein Teil meiner JSON-Datei aus

    268dc6a5-3c4e-4602-99d3-683db2ee7707-grafik.png

    Es gibt weitere Datensätze mit der Nummer 7,8,9 und 10. Diese Daten verwalte ich in einer Liste namens keys_list. Wenn ich die Daten ausgebe, sieht das aus.

    0 1
    1 7
    2 8
    3 9
    4 10
    

    Hier sieht man die Datensätze, die durchnummeriert werden. Die Datensätze der JSON-Datei lade ich bei Programmstart und erzeuge eine Klasse und fülle diese mit Objekten. Dazu muss ich aber wissen, wie viele Datensätze vorhanden sind. Also zählen wir die Einträge durch.

    Da ich im Python Forum immer sehr aufmerksam mitlese, habe ich dort erfahren, das man das wie ganz oben so nicht macht. Das kann man besser mit der Funktion enumerate() lösen.

    for count, value in enumerate(keys_list):
        mainWin.listWidget.addItem(backup_data[count].name)
        print(count, value)
    

    Hier das Beispiel von oben, umgesetzt mit der Funktion enumerate(). Man spart sich die Variable x, das erledigt die Funktion von alleine. Der Code von oben hat 4 Zeilen, mit enumerate() hat er nur noch 2 Zeilen. (print Anweisung nicht berücksichtigt). Der Code ist schlanker und subjektiv auch besser lesbar.

  • Ich habe noch was Code gefunden, den ich mal dringend aufräumen musste 🙂 Wenn ich mit dem Restic UI die Snapshots anzeige, dann sieht das so aus.

    reading repository password from stdin
    ID        Time                 Host           Tags        Paths
    ----------------------------------------------------------------------------
    4e769748  2021-12-31 21:48:34  frank-MS-7C37              /home/frank/Bilder
    34298934  2022-01-26 20:15:53  frank-MS-7C37              /home/frank/Bilder
    0d5d88f2  2022-01-27 21:05:07  frank-MS-7C37              /home/frank/Bilder
    f0e7d5a7  2022-01-29 13:46:12  frank-MS-7C37              /home/frank/Bilder
    79918d70  2022-01-29 13:52:56  frank-MS-7C37              /home/frank/Bilder
    d74272a3  2022-01-30 11:54:20  frank-MS-7C37              /home/frank/Bilder
    11b0b5ad  2022-01-30 11:57:44  frank-MS-7C37              /home/frank/Bilder
    4a7450d2  2022-02-20 09:35:56  frank-MS-7C37              /home/frank/Bilder
    c1a4a51d  2022-02-20 09:36:43  frank-MS-7C37              /home/frank/Bilder
    d178ded5  2022-02-20 09:38:53  frank-MS-7C37              /home/frank/Bilder
    997e2259  2022-02-20 16:35:57  frank-MS-7C37              /home/frank/Bilder
    3320ad5c  2022-02-20 16:49:19  frank-MS-7C37              /home/frank/Bilder
    ----------------------------------------------------------------------------
    12 snapshots
    

    Mich interessieren die IDs, weil ich bei der Eingabe der IDs überprüfen möchte, ob die eingegebene ID existiert. Also muss ich das irgendwie auslesen und speichern. Das habe ich bis jetzt so gemacht.

    def id_append(self, result):
    
    
    
            # We split the result into individual lines.
            # Result was passed. And create an list.
            result_list = result.split('\n')
    
            # We count the number of repositories and search for 'source'.
            count = result.count(backup_data[row].source)
    
            # Offset added, first interesting line is line 3!
            count = count + 3
    
            # We loop through the list and output the ID's and store in snapshot_id
    
            x = 3
            while x < count:
                a = result_list[x]
                y = a[0:8]
                snapshot_id.append(y)
                x = x + 1
    

    Das erschien mir heute, beim erneuten Betrachten, Spaghetticode zu sein. Machen wir das mal etwas ordentlicher.

    Ich nehme die Ausgabe (stdout) und erzeuge eine Liste, jede Zeile ein Element.

    result_list = result.split('\n')
    

    Sieht so aus

    ['reading repository password from stdin', 'ID        Time                 Host           Tags        Paths', '----------------------------------------------------------------------------', '4e769748  2021-12-31 21:48:34  frank-MS-7C37              /home/frank/Bilder', '34298934  2022-01-26 20:15:53  frank-MS-7C37              /home/frank/Bilder', '0d5d88f2  2022-01-27 21:05:07  frank-MS-7C37              /home/frank/Bilder', 'f0e7d5a7  2022-01-29 13:46:12  frank-MS-7C37              /home/frank/Bilder', '79918d70  2022-01-29 13:52:56  frank-MS-7C37              /home/frank/Bilder', 'd74272a3  2022-01-30 11:54:20  frank-MS-7C37              /home/frank/Bilder', '11b0b5ad  2022-01-30 11:57:44  frank-MS-7C37              /home/frank/Bilder', '4a7450d2  2022-02-20 09:35:56  frank-MS-7C37              /home/frank/Bilder', 'c1a4a51d  2022-02-20 09:36:43  frank-MS-7C37              /home/frank/Bilder', 'd178ded5  2022-02-20 09:38:53  frank-MS-7C37              /home/frank/Bilder', '997e2259  2022-02-20 16:35:57  frank-MS-7C37              /home/frank/Bilder', '3320ad5c  2022-02-20 16:49:19  frank-MS-7C37              /home/frank/Bilder', '----------------------------------------------------------------------------', '12 snapshots', '']
    

    Diesmal benutzen wir die enumerate() Funktion

    for count, value in enumerate(result_list):
        print(count, value)
    

    Das was raus kommt, sieht so aus

    0 reading repository password from stdin
    1 ID        Time                 Host           Tags        Paths
    2 ----------------------------------------------------------------------------
    3 4e769748  2021-12-31 21:48:34  frank-MS-7C37              /home/frank/Bilder
    4 34298934  2022-01-26 20:15:53  frank-MS-7C37              /home/frank/Bilder
    5 0d5d88f2  2022-01-27 21:05:07  frank-MS-7C37              /home/frank/Bilder
    6 f0e7d5a7  2022-01-29 13:46:12  frank-MS-7C37              /home/frank/Bilder
    7 79918d70  2022-01-29 13:52:56  frank-MS-7C37              /home/frank/Bilder
    8 d74272a3  2022-01-30 11:54:20  frank-MS-7C37              /home/frank/Bilder
    9 11b0b5ad  2022-01-30 11:57:44  frank-MS-7C37              /home/frank/Bilder
    10 4a7450d2  2022-02-20 09:35:56  frank-MS-7C37              /home/frank/Bilder
    11 c1a4a51d  2022-02-20 09:36:43  frank-MS-7C37              /home/frank/Bilder
    12 d178ded5  2022-02-20 09:38:53  frank-MS-7C37              /home/frank/Bilder
    13 997e2259  2022-02-20 16:35:57  frank-MS-7C37              /home/frank/Bilder
    14 3320ad5c  2022-02-20 16:49:19  frank-MS-7C37              /home/frank/Bilder
    15 ----------------------------------------------------------------------------
    16 12 snapshots
    17 
    

    Mich interessieren nur die Zeilen mit /home/frank/Bilder Das kann man so abfragen

    if backup_data[row].source in value:
    

    Und jetzt nur die ID entsprechend abspeichern

    snapshot_id.append(value[0:8])
    

    Sieht jetzt komplett so aus

    result_list = result.split('\n')
    
    for count, value in enumerate(result_list):
        if backup_data[row].source in value:
            snapshot_id.append(value[0:8])
            print(count, value[0:8])
    

    Somit speichert er jetzt nur noch die IDs, der folgenden Ausgabe.

    3 4e769748
    4 34298934
    5 0d5d88f2
    6 f0e7d5a7
    7 79918d70
    8 d74272a3
    9 11b0b5ad
    10 4a7450d2
    11 c1a4a51d
    12 d178ded5
    13 997e2259
    14 3320ad5c
    

    Diese IDs, kann ich dann weiterverarbeiten.

  • Python3 - Pipenv für die virtuelle Entwicklungsumgebung

    Python3
    2
    0 Stimmen
    2 Beiträge
    333 Aufrufe
    FrankMF

    Ich ko... immer, wenn ich mein VSCodium neu installieren muss. Das größte Problem dabei ist immer, das ich fast immer vergesse den Python Interpreter zu setzen.

    "CTRL+SHIFT+P" and choose the correct python interpreter.

    46f85075-4dbc-414c-94c2-abc5bb6009b6-grafik.png

    Danach startet das Python Programm auch wieder aus der richtigen Entwicklungsumgebung 🙂

  • Restic UI - Documentation

    Restic UI
    1
    0 Stimmen
    1 Beiträge
    264 Aufrufe
    Niemand hat geantwortet
  • Python3 - Umzug nach Fedora 34

    Python3
    1
    0 Stimmen
    1 Beiträge
    159 Aufrufe
    Niemand hat geantwortet
  • Python3 - subprocess.run

    Python3
    2
    0 Stimmen
    2 Beiträge
    194 Aufrufe
    FrankMF

    Ich möchte das Thema noch mal ausgraben. Bin beim Recherchieren über diese Links gestolpert, die mein Interesse geweckt haben.

    Link Preview Image Python Pipes to Avoid Shells — OpenStack Security Advisories 0.0.1.dev286 documentation

    favicon

    (security.openstack.org)

    B603: subprocess_without_shell_equals_true — Bandit documentation

    favicon

    (bandit.readthedocs.io)

    Da ich aktuell nur eine Desktop Anwendung entwickle, ist das Thema Sicherheit nicht ganz so wichtig, weil wer hackt sich schon selber!? Aber, da man ja nie weiß, wie so ein Tool evt. mal benutzt wird, sollte man von Anfang an auf ein paar Dinge achten.

    Ok, schauen wir uns das mal genauer an.

    Link 1 - shell=True

    Ich kopiere mal das Beispiel aus dem Link.

    def count_lines(website): return subprocess.check_output('curl %s | wc -l' % website, shell=True)

    Ok, das Problem ist

    shell=True

    Ein Beispiel aus meinem Projekt

    result = subprocess.run(['restic', '-r', backup_data[row].repository, 'stats'], input=pass_word.pw[0], capture_output=True, text=True)

    Gesetzt wird der in meinem Beispiel nicht. Besuchen wir mal die Webseite vom subprocess.run

    https://docs.python.org/3/library/subprocess.html?highlight=subprocess run#subprocess.run

    Wenn ich das jetzt richtig verstehe,

    subprocess.run(args, *, stdin=None, input=None, stdout=None, stderr=None, capture_output=False, shell=False, cwd=None, timeout=None, check=False, encoding=None, errors=None, text=None, env=None, universal_newlines=None, **other_popen_kwargs)

    dann ist standardmäßig

    shell=False

    gesetzt. Damit ist das in meinem Projekt kein Problem.

    Link 2 - B603: subprocess_without_shell_equals_true

    Ein Tool auf gitlab.com wirft Security Warnings aus, dabei war diese. Schauen wir mal, was uns das sagen möchte.

    Python possesses many mechanisms to invoke an external executable. However, doing so may present a security issue if appropriate care is not taken to sanitize any user provided or variable input.

    Ok, es geht also um die Prüfung von Eingaben bzw. Variablen. Der Merksatz "Keine Benutzereingabe wird ungeprüft übernommen!" ist doch mit das Wichtigste, wenn man irgendwas programmiert. Nochmal mein Beispiel von oben.

    result = subprocess.run(['restic', '-r', backup_data[row].repository, 'stats'], input=pass_word.pw[0], capture_output=True, text=True)

    Ich übergebe dem Prozess einige Eingaben / Variablen.

    backup_data[row].repository pass_word.pw[0]

    Lesen wir wieder ein wenig in der Dokumentation von subprocess.run

    args is required for all calls and should be a string, or a sequence of program arguments. Providing a sequence of arguments is generally preferred, as it allows the module to take care of any required escaping and quoting of arguments (e.g. to permit spaces in file names). If passing a single string, either shell must be True (see below) or else the string must simply name the program to be executed without specifying any arguments.

    Das Wichtigste in Kürze Providing a sequence of arguments is generally preferred

    Der Aufruf von subprocess.run erwartet als erste Übergabe args

    subprocess.run(args, *, ....

    Mein Beispiel

    result = subprocess.run(['restic', '-r', backup_data[row].repository, 'stats'], ....

    Das zwischen den eckigen Klammern ist args. Laut der Anleitung ist es empfohlen, das als ein Argument zu übergeben, also so. Somit ist dafür gesorgt, das das Modul die Argumente selbst ein wenig "überwacht".

    as it allows the module to take care of any required escaping and quoting of arguments (e.g. to permit spaces in file names).

    Somit hätten man schon mal was für sie "Sicherheit" getan.

    args = ['restic', '-r', backup_data[row].repository, 'stats'] result = subprocess.run(args, ....

    Man sollte trotzdem auf diese beiden Variablen

    * backup_data[row].repository * pass_word.pw[0]

    ein Auge behalten. Ich denke, das habe ich in meinem Projekt eingehalten, indem ich Pfadangabe mit den Systemwerkzeugen auswählbar mache, keine Texteingaben! Passwörter und andere Bezeichnung werden mit regex auf korrekte Eingaben geprüft usw.

    Fazit

    Wieder viel gelernt und ich denke, es passt so weit alles. Bei der ganzen Spielerei, dann noch entdeckt, das ich im Code dieses Argument drin hatte.

    check=False

    Das ist aber Standard, somit kann das weg. Habe das im kompletten Projekt dann entfernt und mir fällt gerade auf, da der Code immer gleich ist, muss das jetzt eigentlich alles in eine Funktion 😉 Mal auf die ToDo-Liste drauf schreiben.

  • Python3 - String-Operatoren

    Python3
    1
    0 Stimmen
    1 Beiträge
    140 Aufrufe
    Niemand hat geantwortet
  • Python3 - virtuelle Entwicklungsumgebung

    Angeheftet Python3
    3
    0 Stimmen
    3 Beiträge
    328 Aufrufe
    FrankMF

    Nach Systemwechsel erneut Probleme. Hier noch mal aufgelistet.

    Aufpassen, das kein venv Ordner vorhanden ist! Neu anlegen!

    python3 -m venv venv

    Dann meckert mein Linux Mint Cinnamon

    The virtual environment was not created successfully because ensurepip is not available. On Debian/Ubuntu systems, you need to install the python3-venv package using the following command. apt install python3.8-venv You may need to use sudo with that command. After installing the python3-venv package, recreate your virtual environment. Failing command: ['/home/frank/Restic_UI_Produktiv/restic-ui-public/venv/bin/python3', '-Im', 'ensurepip', '--upgrade', '--default-pip']

    Ok, das ist einfach 😉

    apt install python3.8-venv python3 -m venv venv

    Danach aktivieren

    source venv/bin/activate Installation von PyQt5 (venv) frank@frank-MS-7C37:~/Restic_UI_Produktiv/restic-ui-public$ pip3 install PyQt5 Collecting PyQt5 Downloading PyQt5-5.15.4-cp36.cp37.cp38.cp39-abi3-manylinux2014_x86_64.whl (8.3 MB) |████████████████████████████████| 8.3 MB 1.7 MB/s Collecting PyQt5-Qt5>=5.15 Downloading PyQt5_Qt5-5.15.2-py3-none-manylinux2014_x86_64.whl (59.9 MB) |████████████████████████████████| 59.9 MB 18.3 MB/s Collecting PyQt5-sip<13,>=12.8 Downloading PyQt5_sip-12.9.0-cp38-cp38-manylinux1_x86_64.whl (332 kB) |████████████████████████████████| 332 kB 46.1 MB/s Installing collected packages: PyQt5-Qt5, PyQt5-sip, PyQt5 Successfully installed PyQt5-5.15.4 PyQt5-Qt5-5.15.2 PyQt5-sip-12.9.0

    Danach meckert er über ein fehlendes Modul requests

    (venv) frank@frank-MS-7C37:~/Restic_UI_Produktiv/restic-ui-public$ python3 restic_ui.py Traceback (most recent call last): File "restic_ui.py", line 41, in <module> from functions import ( File "/home/frank/Restic_UI_Produktiv/restic-ui-public/functions.py", line 19, in <module> import requests as req ModuleNotFoundError: No module named 'requests' Installation requests (venv) frank@frank-MS-7C37:~/Restic_UI_Produktiv/restic-ui-public$ pip3 install requests Collecting requests Downloading requests-2.25.1-py2.py3-none-any.whl (61 kB) |████████████████████████████████| 61 kB 802 kB/s Collecting chardet<5,>=3.0.2 Downloading chardet-4.0.0-py2.py3-none-any.whl (178 kB) |████████████████████████████████| 178 kB 2.7 MB/s Collecting certifi>=2017.4.17 Downloading certifi-2021.5.30-py2.py3-none-any.whl (145 kB) |████████████████████████████████| 145 kB 14.0 MB/s Collecting idna<3,>=2.5 Downloading idna-2.10-py2.py3-none-any.whl (58 kB) |████████████████████████████████| 58 kB 9.4 MB/s Collecting urllib3<1.27,>=1.21.1 Downloading urllib3-1.26.6-py2.py3-none-any.whl (138 kB) |████████████████████████████████| 138 kB 11.5 MB/s Installing collected packages: chardet, certifi, idna, urllib3, requests Successfully installed certifi-2021.5.30 chardet-4.0.0 idna-2.10 requests-2.25.1 urllib3-1.26.6

    Und schwupps, geht mein Tool wieder 🙂

    4968ce42-7c66-4c8a-a2ad-424b9a529d87-grafik.png

  • Python3 - subprocess.Popen

    Python3
    1
    0 Stimmen
    1 Beiträge
    269 Aufrufe
    Niemand hat geantwortet
  • Python3 - JSON

    Python3
    3
    0 Stimmen
    3 Beiträge
    197 Aufrufe
    FrankMF

    ede1a88a-5183-4f85-a602-27650362d532-grafik.png

    Die Backups sollen Namen haben, also habe ich das erweitert. Jetzt sollen diese als Liste rechts angezeigt werden. Das mache ich wie folgt.

    for key in backups: print(backups[key]['name'], key) liste = backups[key]['name'] + " ID: " + key self.listWidget.addItem(liste)

    Mittels des Keys kann ich auf den Namen zugreifen und die Liste damit füllen. Aktuell habe ich noch den Key hinten angefügt, weil ich noch keine Idee habe, wie ich die Backups anders verarbeiten soll. Aber, Stück für Stück. Der Backup-Name wird nach Auswahl in der Statusbar angezeigt. So weit klappt das so wie ich mir das vorstelle. Für heute ist Feierabend 😇