Proxmox - Umzug auf neue Hardware ASRock N100DC-ITX

[FrankM]

Mittlerweile habe ich den Proxmox auf die Version 8.0.3. hochgezogen.

Lief bis heute Morgen einwandfrei. Dann gab es einen Crash. Irgendwas mit der internen LAN-Schnitstelle.

r8169 rtl_chipmod_con 001

Hmm? Proxmox Forum durchsucht und das hier gefunden.

Hab das mal so angelegt, non-free habe ich hinzugefügt.

deb http://ftp.de.debian.org/debian bookworm main contrib non-free non-free-firmware

deb http://ftp.de.debian.org/debian bookworm-updates main contrib non-free non-free-firmware

# security updates
deb http://security.debian.org bookworm-security main contrib non-free non-free-firmware

deb http://download.proxmox.com/debian/pve bookworm pve-no-subscription

Danach

root@pve:~# apt update
root@pve:~#  apt install  r8168-dkms
Reading package lists... Done
Building dependency tree... Done
Reading state information... Done
The following additional packages will be installed:
  build-essential cpp cpp-12 dkms dpkg-dev fakeroot g++ g++-12 gcc gcc-12 libabsl20220623 libalgorithm-diff-perl libalgorithm-diff-xs-perl
  libalgorithm-merge-perl libaom3 libasan8 libatomic1 libavif15 libc-dev-bin libc-devtools libc6-dev libcc1-0 libcrypt-dev libdav1d6 libde265-0 libdeflate0
  libdpkg-perl libfakeroot libfile-fcntllock-perl libgav1-1 libgcc-12-dev libgd3 libgomp1 libheif1 libisl23 libitm1 libjbig0 liblerc4 liblsan0 libmpc3 libmpfr6
  libnsl-dev libquadmath0 librav1e0 libstdc++-12-dev libsvtav1enc1 libtiff6 libtirpc-dev libtsan2 libubsan1 libwebp7 libx265-199 libxpm4 libyuv0 linux-libc-dev
  lsb-release make manpages-dev patch pve-headers-6.2 pve-headers-6.2.16-4-pve rpcsvc-proto sudo
Suggested packages:
  cpp-doc gcc-12-locales cpp-12-doc menu debian-keyring g++-multilib g++-12-multilib gcc-12-doc gcc-multilib autoconf automake libtool flex bison gdb gcc-doc
  gcc-12-multilib glibc-doc git bzr libgd-tools libstdc++-12-doc make-doc ed diffutils-doc
The following NEW packages will be installed:
  build-essential cpp cpp-12 dkms dpkg-dev fakeroot g++ g++-12 gcc gcc-12 libabsl20220623 libalgorithm-diff-perl libalgorithm-diff-xs-perl
  libalgorithm-merge-perl libaom3 libasan8 libatomic1 libavif15 libc-dev-bin libc-devtools libc6-dev libcc1-0 libcrypt-dev libdav1d6 libde265-0 libdeflate0
  libdpkg-perl libfakeroot libfile-fcntllock-perl libgav1-1 libgcc-12-dev libgd3 libgomp1 libheif1 libisl23 libitm1 libjbig0 liblerc4 liblsan0 libmpc3 libmpfr6
  libnsl-dev libquadmath0 librav1e0 libstdc++-12-dev libsvtav1enc1 libtiff6 libtirpc-dev libtsan2 libubsan1 libwebp7 libx265-199 libxpm4 libyuv0 linux-libc-dev
  lsb-release make manpages-dev patch pve-headers-6.2 pve-headers-6.2.16-4-pve r8168-dkms rpcsvc-proto sudo
0 upgraded, 64 newly installed, 0 to remove and 0 not upgraded.
Need to get 85.7 MB of archives.
After this operation, 375 MB of additional disk space will be used.
Do you want to continue? [Y/n] 

Danach muss der Proxmox durchgestartet werden. Und jetzt warten wir mal ab....

[nei]

Hallo Frank,
vielen Dank für den Testbericht. Ich bin aktuell auch am planen für ein N100DC-ITX mit Proxmox. Bei Asrock habe ich gesehen, dass sie einen SATA Power Connector (SATA_PWR1) auf dem Motherboard haben. Es scheint eine 4 Pin SATA Stromversorgung zu sein, dies in einer "Small" Ausführung, also kleiner als Molex. Daher meine Frage. Liegt dem Motherboard auch schon ein SATA-Stromkabel bei? Wenn dem so ist, ist es dann gerade auch ein Y- Stomkabel, so dass beide SATA Ports mit Strom versorgt werden können?
Vielen Dank im Voraus,
Nei

[FrankM]

@nei Ja liegt bei, als Y-Ausführung.

[nei]

Vielen Dank für prompte und informative Antwort

[maltejahn]

Hallo,

ich möchte mir ebenfalls ein N100 (DC oder nicht DC.....?) Mainboard von Asrock zulegen und hätte da ein paar Fragen.
Eigentlich will ich mehrere Raspberrys ersetzen und unter Proxmox zusammenführen. Ich will mein SmartHome Raspberry und meinen Webserver und ggf. noch einen extra Raspberry im VMs unter Proxmox sammeln. Ab 3 Raspberry habe ich das locker bzgl. der Leistungsaufnahme wieder drinnen)

Das ganze mit ZFS (mirror) - bisher haben die Raspberrys keinen Schutz gegen Ausfall eines Datenspeichers

Frage 1:
Reichen die maximal 16 Gb Ram aus für (gefühlswert):
ZFS, 2TB. 24/7
Wordpress, Nextcloud, Backup Smartphone - eine überschaubbare Anzahl User
SmartHome (FHEM/NodeRed/Zigbee/Mqtt) -> ständige Datenbankzugriffe
Vermutlich noch ein Windows VM, aber das würde nur selten genutzt

Frage 2:
Eigentlich würde ich gerne WD Red NVMEs nehmen -> schneller und kosten quasi das gleiche wie SSDs
Nun hat der Asrock "nur" ein NVME
Idee:
-> NVME onboard + NVME per PCIE Slot für ZFS
-> Onboard: M.2 (PCIe Gen3x2)
-> Zusatz: PCIe 3.0 x16 (x2 mode)
-> Proxmox auf ne kleine SSD

Es ist schwer etwas in Foren zu finden, da die meisten sich mit N100 für Firewallanwendungen beschäftigen (servethehome.com z.B.)
Deswegen finde ich es toll das ich was "deutschsprachiges" gefunden habe

Grüße
Malte

[FrankM]

@maltejahn Ich versuche mal etwas Licht ins Dunke zu bringen.

Meine aktuelle Konfiguration. Der RAM dürfte zuerst ausgehen, denke ich. Aber, für das was ich hier mache, reicht das alle Male. Aber, ich habe auch so gut wie keinen Traffic, keine User usw. Ab und zu laufen mal ein paar Backups usw. Eher, ein Datengrab. Die pfSense schaufelt meinen gesamten Traffic, das wars.

Ja, mit Platten Anschlüssen ist das Board nicht sehr üppig ausgestattet. Man könnte noch einen SATA-Adapter in den PCIe Slot bauen, dann kann man locker noch mehr Platten dran hängen, vorausgesetzt das Gehäuse ist groß genug. Ich brauchte den PCIe Slot für Netzwerkkarten, wegen der pfSense. Mir reicht das aber so.

Sys ist auf dem M.2 Slot, würde ich auch unbedingt so empfehlen. Man will ja etwas Spaß haben. Dann habe ich zwei SSD Platten an den SATA-Ports. Und eine externe USB-Platte intern am USB3 Anschluss mit Adapter (für Backups).

Die beiden SSD-Platten dienen mir als NAS (ZFS).

Das läuft jetzt schon eine ganze Weile, fast störungsfrei. Nach Upgrade auf V8 des Proxmos hatte ich mal Probleme mit dem Netzwerk, habe ich das hier dokumentiert? Dazu gab es aber eine Lösung, seit dem läuft alles rund.

DC oder nicht, hattest Du noch gefragt? Geschmackssache. Ich wollte das mal ausprobieren um von dem PICO PSU Netzteil wegzukommen (die problemlos funktionieren ) Günstiger ist das Board ohne DC - logisch.

Also wie immer, kommt drauf an, was man machen will.

[maltejahn]

Guten Morgen Frank,

danke für die Antwort.

RAM: Ich war irgendwie auf 16GB fixiert (Intel Angabe). Dann hier gesehen das Du 32GB verwendest. Google benutzt -> Reddit: "wäre instabil". Aber Asrock selbst gib ja 32 GB Module als kompatibel an. Hattest Du mal irgendwie ein Memtest oder so gemacht?
Weil, dann ist RAM gar kein Problem:

• Proxmox min. 2 GB
• ZFS 2GB (gehe zur Zeit von 1GB/TB)
• ich habe meine 3 RPis angesehen die ich ersetzen will. Zusammen kommen die mit 8 GB Ram aus. Hätte also noch Luft bis 32GB

DC Variante oder nicht. Die "nicht" DC Variante hat einen zusätzlichen PCIE 3.0x1 (angeblich irgendwo 1 GByte/s). PfSense habe ich mich noch nicht beschäftigt... aber alle scheinen das zu tun. Wäre vielleicht auch ein Bastelprojekt
-> vielleicht eine Netzwerkkarte in den 3x1 Slot. Wird zwar kein GByte erreichen, aber als Karte Richtung Außenwelt sollte es reichen. Richtung internes Netzwerk den internen Netzwerkchip nutzen (ja, habe das mit dem Realtek Chip Problem hier im Forum gelesen)
-> ich tendiere zur nicht DC Variante

NVME oder nicht als Datengrab:

• "ich" vermute: Da ich eher viele kleine Datenhäppchen habe (Datenbankzugriffe) würde mit eine Festplatte mit hoher IOPS helfen. Ob das die CPU nutzen kann steht auf einem anderen Blatt
• Proxmox, wenn es läuft, ja nicht mehr viel zu tun hat -> deswegen das auf eine "langsame" SSD

Ich versuche mir nach dem Urlaub so ein Teil anzuschaffen. Das Teil ist auf alle Fälle eine Verbesserung gegenüber meinem Pi-Zoo. Vor allem in Richtung Datensicherheit. Und das ich VMs einfach Backupen kann.

Grüße
Malte

[bernd]

Hallo,

ich hoffe das ich hier mal zwei Frage zu dem MB stellen darf.
Vor ein paar Tagen habe ich auch das MB bekommen und es mit einer M.2 von Samsung 970 EVO Plus 1TB, 16GB Samsung RAM und einer Wlan M.2 AX201 Karte bestückt.
Zum testen habe ich erstmal Win 11 installiert (Später soll aber Linux drauf).
Nun das Problem:
Wenn der Rechner nur im Desktop ist (also wenig Leistung) kann man ein seltsames spratzeln hören.
Sobald der Rechner belastet wird z.B. mit Stress My PC von Software OK ist das Geräusch verschwunden.
Stoppt der Test ist es wieder da.
Könnte das jemand mal bei seinem MB überprüfen?

Dann die zweite Frage:
Das soll ja ein Fanless MB sein aber nach kurzer Zeit unter Belastung ca 10-15 Minuten fängt die CPU an zu trotteln.
Sie fällt dann auf 2294MHz herunter Temperatur ist dann 97C° mit einem Gehäuselüfter 120mm der bei Belastung mit ca. 800rpm dreht bleibt die CPU stabil bei 2693MHz und einer Temperatur von ca. 52C°.
Wie habt ihr das, mit oder ohne extra Lüfter?

Ich wäre dankbar wenn das mal einer an seinem System überprüfen könnte.

Danke und Gruß
Bernd

[FrankM]

@bernd Willkommen im Forum

Ja, Du darfst hier gerne Fragen zu dem Board stellen.

Zu deinen Geräuschen kann ich eigentlich nicht viel sagen, ich hatte es lange direkt neben mir auf dem Schreibtisch liegen, eingeschaltet und in Betrieb. Mir ist da nichts aufgefallen, obwohl ich auf solche Geräusche sehr allergisch reagiere.

Zu den Temperaturen.

Mein Proxmox sagt dazu folgendes. Ob das wirklich aussagekräftig ist, weiß ich nicht. Bin da bei sehr neuen Boards immer skeptisch. Ja, der Prozessor wurde schon ordentlich warm. Aber direkt über meinem Gehäuse, habe ich eben noch mal mit der Hand geprüft, leicht warme Luft. Ich mache mir da wenig Sorgen drüber. Ich habe keinen Gehäuselüfter verbaut, ich hasse Lüfter. Sind nur im Haupt-PC erlaubt

Ich habe selten große Lasten auf der CPU, wenn das für Dich ein normaler Anwendungsfall ist, würde ich den Gehäuselüfter verbaut lassen.

[bernd]

@FrankM

Erstmal danke für das Willkommen und für die schnelle Antwort.
Die Geräusche hört man wenn man nicht weiter als ca. 25cm über dem MB ist.
Eventuell sind die Geräusche nicht zu hören wenn man mehr Verbraucher dran hat.
Du hast ja wahrscheinlich noch weitere Festplatten verbaut.
Mal sehen ob ich da mal was anschließen kann um zu hören ob sich dann noch was verändert.

Zur Temperatur habe ich das mal im Desktop Modus beobachtet da wird die CPU maximal 65C° warm und im durchschritt läuft die bei ca. 50 C°.
Beim abspielen eines Videos 320x240 erreicht die CPU max. 77 C° und im Durchschnitt 65 C°.
Aber bei den Temperaturen heizt sich die SSD leider auch mit auf, ca. 64 C°.
Wenn man die Leistungsbewertung nochmal laufen lässt " Winsat formal" kommt die CPU auf 79C°.

Die M.2 SSD sitzt etwas zu nahe an der CPU/Kühlkörper.

Gruß
Bernd

[Andy]

@FrankM sind die 20Watt mit HDDs?

Mein alter HP Gen8 nimmt 22Watt im idle mit 4x3TB platten im standby.

Wollte den eigentlich mal durch ein n100 ersetzen.

[FrankM]

@Andy Ja, mit Platten. Auslastung Proxmox sieht aktuell so aus.

[Andy]

Das ist dann aber schon ziemlich gut mit HDD im Betrieb braucht der hp 40Watt.

[FrankM]

Der Verbrauch ist im Idle, also nicht wirklich Last drauf. Also z.B. auch keine Schreibzugriffe usw. Sollte aber auch nur etwas höher unter Last werden, da ich zwei SSD als Raid1 einsetze und eine 3,5 Zoll HDD als Backup Medium.

[RaSc]

Guten Morgen. Ich würde zu den SSD gern eine Frage stellen. Ich möchte von meinem RasPi auch auf das Board umsteigen. Nun habe ich mich etwas in Proxmox und ZFS eingelesen. Das soll große Schreiblasten verursachen und die SSD ordentlich stressen bzw. kaputschreiben.

Hast Du Enterprise - SSD? Oder anders gefragt, welche Erfahrungen konntest Du bislang mit SSDs in Verbindung mit Proxmox machen?

Danke sehr und allen einen schönen Sonntag.

[FrankM]

@RaSc sagte in Proxmox - Umzug auf neue Hardware ASRock N100DC-ITX:

Nun habe ich mich etwas in Proxmox und ZFS eingelesen. Das soll große Schreiblasten verursachen und die SSD ordentlich stressen bzw. kaputschreiben.

Hallo @RaSc und Willkommen im Forum. Ja, das kann passieren, vor allen Dingen im Zusammenhang mit dem Proxmox Backup Server. Das ist aber für mein Setup unerheblich, warum? Eine Erklärung.

Mein Proxmox Setup basiert auf einer verbauten NVMe SSD. Soll heißen, der Proxmox Host läuft auf dieser NVMe und beinhaltet ein normales ext4.

/dev/mapper/pve-root: UUID="0aad6271-9162-479a-a724-cde690acfb10" BLOCK_SIZE="4096" TYPE="ext4"

Ok, alles gut. Läuft also wie immer. Warum jetzt ZFS im Proxmox? Proxmox bietet über sein GUI nur eine Raid Installation mittels ZFS an. So weit ich weiß, bietet man auch nur dafür Support an.

Man könnte das auch noch über die Konsole machen, Stichwort mdadm, aber ich erinnere mich das das nicht so wollte wie es sollte. So habe ich am Ende doch zu ZFS gegriffen.

Noch ein kurzes Beispiel, wer noch so alles zu ZFS greift. pfSense nutzt das mittlerweile auch.

Zurück zu meinem NAS. Jetzt habe ich zwei SSD-Platten WD Red an den SATA-Ports angeschlossen. Diese beiden SSDs sind zu einem Raid 1 (ZFS) zusammengefasst.

Da passiert erst mal gar nichts, weil was soll da groß drauf schreiben? Ist nur meine persönliche Datenablage.

Was bei ZFS sehr wichtig ist, ist genug RAM. Da ZFS sehr viel RAM für die Verwaltung benötigt. (Bin da kein Experte für)

Aber auch das sehe ich ganz entspannt.

Es laufen aktuell 5 Debian Bookworm 12 VMs.

Was wichtig ist, aber das ist es immer, Backups! Die lege ich auf eine angeschlossene 2,5 Zoll HDD ab. Da kommen die Backups der VMs und mein Restic Backup des NAS drauf.

Ich fühle mich damit eigentlich ganz wohl

[RaSc]

Vielen Dank. Das heißt, Du nutzt für Proxmox an sich keine Redundanz und verzichtest auf eine Sicherheitsfeatures, die ZFS bringen würde. Wie oft sicherst Du denn mit Deinem Setup Proxmox und die VMs? Wenn tatsächlich mal etwas aus dem Backup zurückgespielt werden muss, wird das gesamte Paket, also Proxmox und VMs zurückgespielt?

Danke sehr.

[FrankM]

Man muss hier sehr unterscheiden, ob ich Proxmox zu Hause laufen habe oder im Internet. Eine Installation im Internet würde vollkommen anders aussehen. Hier dreht es sich aber um eine Installation bei mir zu Hause. Und auch auf Hardware, die nur eine begrenzte Anzahl von Platten aufnehmen kann.

Ich habe mit dem jetzigen Setup keine Probleme. Was soll passieren? Worst Case wäre, die NVMe des Proxmox würde kaputt gehen. Ja, das wäre blöd. Also frisch ran, neue Hardware rein, neu aufsetzen und dann die VMs aus dem Backup wieder herstellen.

Die VMs sichere ich täglich, mit der Proxmox Backup Funktion. Das NAS meistens nur wöchentlich.

[RaSc]

Das klingt nach einem guten Verhältnis zwischen Aufwand und Risiko. Hat mir alles sehr geholfen hier.

Danke schön.

[maltejahn]

Hallo,

ich habe mir vor ein paar Wochen ebenfalls das Asrock Board zugelegt. Allerdings das N100M anstatt die "DC" Variante.

Als Netzteil habe ich ein altes ITS PSU mit ich glaube 120 W genommen.
Verbaut sind 2x WD SA500 2TB SSD als ZFS Mirror und ein 500GB NVME für das Proxmox System. Als 32GB Ram Modul habe ich das gleiche verwendet und hat läuft auch ohne Probleme.
Hab ein 2.5Gb USB PCIe Netzwerkkarte gegönnt. Damit komme ich auf irgendwo schreibend 200 Mb/s, lesend 270 Mb/s (Samba share). Hatte bisher auf meinem "großen" Nas mit drehenden Platten ein Austausch+SVN drauf. Das werde ich auf den kleinen Rechner umziehen damit ich den großen NAS öfters ausschalten kann

Backup: Die VMs werden auf das NAS gesichert -> SMB
-> unschön: Würde gerne jedes Backup in einem Unterordner sehen. Aber alle erscheinen unter /backupziel/dump. Geht wohl nur wenn ich in Proxmox mehrere Backup Ziele/Storages einrichte

Bisher laufen mehrere VMs

1. Wordpress*Nextcloud -> von außen erreichbare Anwendungen
2. interne Anwedungen wie "Teile Manager", Wiki, Unifi Controller
3. Smart Home: Ich nutze hier FHEM, Grafana, MariaDB,....
4. Homeassistant läuft noch nebenher, unter Raspberry hatte ich damit Probleme und bin deshalb bei FHEM geblieben

Alles "VMs", keine LXC Container. Hatte immer das aktuelle Ubuntu Server Image verwendet

Die ganze Kiste läuft irgendwo zwischen 15..17 W im Idle. Wobei das Netzteil alleine schon zwischen 4 und 5 W benötigt - selbst wenn es nicht am PC eingesteckt ist. Hatte ein 150W "klassisches" Netzteil probiert - das war aber keineswegs besser.

Tolles kleines Board, das jetzt schon 2 Raspberrys ersetzt.

Grüße
Malte