Skip to content

Restic UI - mein zweites Python3 Projekt

Python3
5 2 916
  • Ich habe mal ein kleines UI für Restic erstellt. Das ist das Resultat, wenn man sich ein wenig Python3 und PyQt5 versucht beizubringen 🙂

    Der Code wird vermutlich keinen professionellen Ansprüchen genügen, mir hat er aber sehr viel Wissen neu vermittelt.

    Sollte so zu 98% fertig sein und neue Ideen zur Verbesserung sind auch schon im Kopf.

    Funktionen

    • init
    • backup
    • mount
    • restore
    • check
    • prune
    • snapshots

    sind drin und eine Funtion, mehrere Backups zu verwalten.

  • Noch ein kurzes Video zum Tool.

  • Ja, ich bin immer noch dran mich in Python3 und PyQT5 einzuarbeiten bzw. zu erlernen 😉

    Nachdem ich am Anfang alles mit einem JSON-File gemacht habe, habe ich die letzten Tage alles umgebaut. Ich nutze nun eine Klasse um mit den Daten zu hantieren, das JSON-File dient noch zur dauerhaften Speicherung der Daten.

    Es waren wieder interessante Stunden, in denen ich hoffentlich viel gelernt habe. Da ich aber bei solchen Dingen immer wieder feststelle, das man es besser machen kann 🙂 werde ich wohl bald mal anfangen es von vorne anzugehen.

    Hier ein paar Eindrücke.

    Start.png

    add.png

    add2.png

    init2.png

    backup.png

    snapshot.png

    snapshot2.png

    Das soll mal reichen 😉

  • Hallo,
    das interessiert mich brennend!
    Kann man das Ganze denn mal selbst probieren?
    VG

  • Hallo,
    das interessiert mich brennend!
    Kann man das Ganze denn mal selbst probieren?
    VG

    @berthold Hallo Berthold. Ich bin eigentlich immer noch nicht mit meinem Code zufrieden. Ist man das jemals? Da ich auch noch ein kleines Problem habe, würde ich da ungerne jemanden reinschauen lassen. Der Code ist stellenweise in deutsch kommentiert, stellenweise in englisch. Kennt man ja, man will es irgendwann mal ordentlich machen und dann kommt das nächste Problem auf einen zu.

    Hast Du Python3 Vorkenntnisse? Wenn Du "brennend" dran interessiert bist, könnte ich Dir evt. Zugang zu meinem Gitlab-Projekt geben.

    Wenn Du interessiert bist und ich dich nicht los werde :), dann schreib mir eine PN.

  • Minio - Objektspeicher selbst gehostet

    Linux minio linux restic
    1
    1
    0 Stimmen
    1 Beiträge
    221 Aufrufe
    Niemand hat geantwortet
  • Forgejo Installation mit Restic nach Hetzner S3 sichern

    Verschoben Forgejo restic linux forgejo
    2
    2
    0 Stimmen
    2 Beiträge
    361 Aufrufe
    FrankMF
    Ich habe ja im obigen Beispiel, den gesamten Ordner von der Postgres Installation gesichert. backup_pfad_postgres="/home/pguser/db-data" Ich habe dann mal ein wenig in der Dokumentation gelesen und das hier gefunden. https://www.postgresql.org/docs/current/app-pgdump.html Einfach den Ordner zu sichern, ist ja bei jeder Datenbank ein gewisses Risiko. Die Konsistenz der Daten ist nicht gesichert. Darum gibt es bei den Datenbanken auch immer Tools, mit denen man die Daten sichern kann. In der Doku steht folgendes. pg_dump — extract a PostgreSQL database into a script file or other archive file Aber wichtiger ist das hier. pg_dump is a utility for backing up a PostgreSQL database. It makes consistent backups even if the database is being used concurrently. pg_dump does not block other users accessing the database (readers or writers). Das macht also konsistente Backups. Wichtig noch zu wissen ist folgendes. pg_dump only dumps a single database. To back up an entire cluster, or to back up global objects that are common to all databases in a cluster (such as roles and tablespaces), use pg_dumpall. Ok, das scheint gut geeignet zu sein, um die Datenbank zu sichern. Aber, wie? Auf meinen Eingangsbeitrag kam es zu folgendem Dialog auf Mastodon. https://nrw.social/deck/@nebucatnetzer@social.linux.pizza/114132208440509237 Das war der Anstoß sich mit dem Thema zu beschäftigen. Und ich hatte dann folgende Lösung. podman exec -it postgres pg_dump -U postgres -f /var/lib/postgresql/data/dump.txt Ok, was mache ich hier? Wir führen einen Befehl vom Host aus gesehen, im Container aus. podman exec -it postgres Der Teil führt den folgenden Befehl im Container aus. pg_dump -U postgres -f /var/lib/postgresql/data/dump.txt pg_dump - Das Tool fürs Backup -U postgres - Der Befehl wird als User postgres ausgeführt -f /var/lib/postgresql/data/dump.txt - Das Dump File wird im Data Ordner abgelegt, den haben wir ja persistent auf dem Host. Somit kann ich das jetzt einfach in mein Backup Script einbauen und brauchen nicht mehr den ganzen Ordner zu kopieren, sondern nur noch das Dump File. Ich werde diese Änderungen in das obige Script einbauen.
  • Restic v0.17.0 released

    Restic restic linux
    1
    0 Stimmen
    1 Beiträge
    174 Aufrufe
    Niemand hat geantwortet
  • Rest-Server v0.11.0

    Restic rest-server restic
    1
    0 Stimmen
    1 Beiträge
    163 Aufrufe
    Niemand hat geantwortet
  • Restic v0.12.1 released

    Restic restic
    1
    0 Stimmen
    1 Beiträge
    194 Aufrufe
    Niemand hat geantwortet
  • Python3 - HTML Text ausgeben

    Python3 python3
    1
    0 Stimmen
    1 Beiträge
    186 Aufrufe
    Niemand hat geantwortet
  • Python3 - subprocess.run

    Python3 python3
    2
    0 Stimmen
    2 Beiträge
    301 Aufrufe
    FrankMF
    Ich möchte das Thema noch mal ausgraben. Bin beim Recherchieren über diese Links gestolpert, die mein Interesse geweckt haben. https://security.openstack.org/guidelines/dg_avoid-shell-true.html https://bandit.readthedocs.io/en/latest/plugins/b603_subprocess_without_shell_equals_true.html Da ich aktuell nur eine Desktop Anwendung entwickle, ist das Thema Sicherheit nicht ganz so wichtig, weil wer hackt sich schon selber!? Aber, da man ja nie weiß, wie so ein Tool evt. mal benutzt wird, sollte man von Anfang an auf ein paar Dinge achten. Ok, schauen wir uns das mal genauer an. Link 1 - shell=True Ich kopiere mal das Beispiel aus dem Link. def count_lines(website): return subprocess.check_output('curl %s | wc -l' % website, shell=True) Ok, das Problem ist shell=True Ein Beispiel aus meinem Projekt result = subprocess.run(['restic', '-r', backup_data[row].repository, 'stats'], input=pass_word.pw[0], capture_output=True, text=True) Gesetzt wird der in meinem Beispiel nicht. Besuchen wir mal die Webseite vom subprocess.run https://docs.python.org/3/library/subprocess.html?highlight=subprocess run#subprocess.run Wenn ich das jetzt richtig verstehe, subprocess.run(args, *, stdin=None, input=None, stdout=None, stderr=None, capture_output=False, shell=False, cwd=None, timeout=None, check=False, encoding=None, errors=None, text=None, env=None, universal_newlines=None, **other_popen_kwargs) dann ist standardmäßig shell=False gesetzt. Damit ist das in meinem Projekt kein Problem. Link 2 - B603: subprocess_without_shell_equals_true Ein Tool auf gitlab.com wirft Security Warnings aus, dabei war diese. Schauen wir mal, was uns das sagen möchte. Python possesses many mechanisms to invoke an external executable. However, doing so may present a security issue if appropriate care is not taken to sanitize any user provided or variable input. Ok, es geht also um die Prüfung von Eingaben bzw. Variablen. Der Merksatz "Keine Benutzereingabe wird ungeprüft übernommen!" ist doch mit das Wichtigste, wenn man irgendwas programmiert. Nochmal mein Beispiel von oben. result = subprocess.run(['restic', '-r', backup_data[row].repository, 'stats'], input=pass_word.pw[0], capture_output=True, text=True) Ich übergebe dem Prozess einige Eingaben / Variablen. backup_data[row].repository pass_word.pw[0] Lesen wir wieder ein wenig in der Dokumentation von subprocess.run args is required for all calls and should be a string, or a sequence of program arguments. Providing a sequence of arguments is generally preferred, as it allows the module to take care of any required escaping and quoting of arguments (e.g. to permit spaces in file names). If passing a single string, either shell must be True (see below) or else the string must simply name the program to be executed without specifying any arguments. Das Wichtigste in Kürze Providing a sequence of arguments is generally preferred Der Aufruf von subprocess.run erwartet als erste Übergabe args subprocess.run(args, *, .... Mein Beispiel result = subprocess.run(['restic', '-r', backup_data[row].repository, 'stats'], .... Das zwischen den eckigen Klammern ist args. Laut der Anleitung ist es empfohlen, das als ein Argument zu übergeben, also so. Somit ist dafür gesorgt, das das Modul die Argumente selbst ein wenig "überwacht". as it allows the module to take care of any required escaping and quoting of arguments (e.g. to permit spaces in file names). Somit hätten man schon mal was für sie "Sicherheit" getan. args = ['restic', '-r', backup_data[row].repository, 'stats'] result = subprocess.run(args, .... Man sollte trotzdem auf diese beiden Variablen * backup_data[row].repository * pass_word.pw[0] ein Auge behalten. Ich denke, das habe ich in meinem Projekt eingehalten, indem ich Pfadangabe mit den Systemwerkzeugen auswählbar mache, keine Texteingaben! Passwörter und andere Bezeichnung werden mit regex auf korrekte Eingaben geprüft usw. Fazit Wieder viel gelernt und ich denke, es passt so weit alles. Bei der ganzen Spielerei, dann noch entdeckt, das ich im Code dieses Argument drin hatte. check=False Das ist aber Standard, somit kann das weg. Habe das im kompletten Projekt dann entfernt und mir fällt gerade auf, da der Code immer gleich ist, muss das jetzt eigentlich alles in eine Funktion Mal auf die ToDo-Liste drauf schreiben.
  • Rest-Server aufsetzen

    Angeheftet Restic rest-server restic linu
    9
    0 Stimmen
    9 Beiträge
    2k Aufrufe
    M
    @FrankM Hallo Frank, vielen Dank für deine Antwort. Die Clients greifen alle via REST-Schnittstelle auf den restic-Server zu. Da der restic-Server im append-only Modus läuft, können die Clients prinzipiell keine Snapshots entfernen, ihnen fehlt das Recht. Derzeit teste ich ein lokales, auf dem REST-Server liegendes Skript, welches per cron ausgeführt wird. Dieses Skript stellt eine lokale Verbindung zum REPO her, also nicht über die REST-Schnittstelle. Damit würde erstmal das Löschen älterer Snapshots funktionieren. Vielleicht hat ja noch jemand eine andere Idee??