NanoPi R5S - Hardware

[FrankM]

Da ich mich nun mal endlich mit dem NanoPi R5S beschäftigen kann, fange ich mal mit der Hardware an.

Die genauen Spezifikationen, kann man hier nachlesen.

Übel mit dem Staub, den sieht man auch nur auf den Bildern

Zum Gehäuse, das habe ich ja auch schon bei den anderen NanaoPis erwähnt, die sind endgeil. Die haben eine absolut gute Qualität, da passt alles und da es direkt der Kühlkörper ist - um so besser.

Der NanoPi R5S wird schon gut warm, das sieht dann in der Software so aus.

Die Stromaufnahme stellt sich wie folgt dar, heute ein sehr entscheidender Faktor bei den steigenden Strompreisen.

Da läuft nur das FriendlyWrt in Standardauslieferung (eMMC).

[FrankM]

eMMC

Ich bin kein Fan von eMMC Speicher, hier der Grund.

root@FriendlyWrt:~# dd if=/dev/zero of=sd.img bs=1M count=2048 conv=fdatasync
2048+0 records in
2048+0 records out
2147483648 bytes (2.1 GB, 2.0 GiB) copied, 39.4746 s, 54.4 MB/s

Für ein OpenWrt Gerät evt. ausreichend, mich reizt so was nicht. Zu langsam...

Verbaut ist ein 8GB eMMC-Modul.

USB3

An USB3 eine Samsung Portable SSD T5 angeschlossen.

Disk /dev/sda: 465.76 GiB, 500107862016 bytes, 976773168 sectors
Disk model: Portable SSD T5 
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 33553920 bytes
Disklabel type: gpt
Disk identifier: EFF8AC7F-C9F0-4E7C-88B7-28FBA65213B9

Und kurz ein kleiner Test

root@FriendlyWrt:/tmp/test/home/frank# dd if=/dev/zero of=sd.img bs=1M count=2048 conv=fdatasync
2048+0 records in
2048+0 records out
2147483648 bytes (2.1 GB, 2.0 GiB) copied, 9.57794 s, 224 MB/s

Laut Samsung Webseite kann die SSD bis zu 540 MB/s. Laut Wiki soll die USB3 Schnittstelle 3.2 Gen 1 sein.

USB: two USB 3.2 Gen 1 Type-A ports

Laut Wiki wären dann maximal 400 MB/s möglich.

[Dude]

Hallo Frank,

Stromaufnahme sieht gut aus, ist das bei den Standartwerten 600MHz-1992MHz conservative governor gemessen ?
wie sieht das ganze aus wenn der R5S im idle Nachts über bei 408MHz läuft,

lässt sich im Kernel Manager einstellen

http://192.168.x.x/cgi-bin/luci/admin/services/cpufreq

Wäre interessant zu wissen wie schnell die Samsung Portable SSD T5 am Desktop PC ist, ich komme mit einer 3,5zoll HDD auf höhere werte ~250mb/s

Hier mal noch meine Erfahrungen zum R5S:

Temperaturen sind bei mir ähnlich 38-42°C,
( hab den R5S auf den Dachboden an den Switch verfrachtet, tagsüber Umgebungstemperatur größer 30-35°C steigt die Temperatur im R5S auch nicht über 42°C )

USB3.0 - SSD
Hatte zu erst zum testen eine alte SSD Patriot Blast 240GB, SATA mit einem USB3.0 Adapter/Controller dran der Controller selbst konnte aber nur ~100mb/s

USB3.0 - HDD 3,5" ( Seagate Expansion Drive, ext4 4k sectoren )

root@FriendlyWrt:/# dd if=/dev/zero of=/mnt/nvme0n1p1/ARCHiV/test.dat bs=1M count=2048 oflag=direct,nonblock
2048+0 records in
2048+0 records out
2147483648 bytes (2.1 GB, 2.0 GiB) copied, 8.17761 s, 263 MB/s

HDD Spindown lässt sich per hd-idle realisieren
die 3,5 Zoll festplatte erreicht am Desktop PC ähnliche werte

M.2 - SSD ( WD Blue SN570 )

root@FriendlyWrt:/# dd if=/dev/zero of=/mnt/nvme0n1p1/test.dat bs=1M count=2048 oflag=direct,nonblock
2048+0 records in
2048+0 records out
2147483648 bytes (2.1 GB, 2.0 GiB) copied, 6.43451 s, 334 MB/s

zu erwähnen wäre hier mit dem 5.10.66 Kernel hatte ich Probleme, Festplatte war zwar noch erreichbar aber 500kb/s oder weniger
mit dem letzten update auf 5.10.110 läuft es stabil bisher keine Aussetzer oder Einbrüche

Backups von der M2 SSD zur USB HDD laufen netto mit ~220mb/s (+/- hdd spinup/down)

Ich denke mal da werden bestimmt auch bald Netzwerktests kommen, hier schon mal meine Erfahrungen dazu

mit einem CAT6 Kabel 1m direkt am Desktop PC spuckt iperf3 ~2Gbit aus

Die Verdrahtung im Haus ist leider schon 25Jahre alt mit CAT5 ohne alle ca. 20m kommen da recht viel fehler Retry's an bei ca 1,5-1,7Gbit

Netto bekomme ich dann über 1Gbit Verbindung 100-110mb/s Download und 95-98mb/s Upload hin

mit 2,5Gbit Verbindung erhöht sich das noch etwas auf ca 140mb/s aber wie gesagt da hab ich zu viele Fehler durch die alten Kabel

die Werte gemessen über nfs
samba ist da langsamer und ging nur mit 60-70mb/s

[FrankM]

@Dude sagte in NanoPi R5S - Hardware:

Stromaufnahme sieht gut aus, ist das bei den Standartwerten 600MHz-1992MHz conservative governor gemessen ?

Hallo @Dude ,

danke für Deine ausführliche Antwort. Eine Menge Infos, die ich erstmal verdauen muss.

Zu dem oben zitierten, ja war alles Standard eingestellt. Also, so wie das Image angekommen ist.

[FrankM]

@Dude sagte in NanoPi R5S - Hardware:

Wäre interessant zu wissen wie schnell die Samsung Portable SSD T5 am Desktop PC ist, ich komme mit einer 3,5zoll HDD auf höhere werte ~250mb/s

Mit deinen Einstellungen sieht das so aus.

root@FriendlyWrt:/tmp/test/home/frank# dd if=/dev/zero of=sd.img bs=1M count=2048 oflag=direct,nonblock
2048+0 records in
2048+0 records out
2147483648 bytes (2.1 GB, 2.0 GiB) copied, 6.45963 s, 332 MB/s

Und an meinem Haupt-PC

[frank-ms7c37 ~]# dd if=/dev/zero of=sd.img bs=1M count=2048 oflag=direct,nonblock
2048+0 Datensätze ein
2048+0 Datensätze aus
2147483648 Bytes (2,1 GB, 2,0 GiB) kopiert, 3,3454 s, 642 MB/s
[frank-ms7c37 ~]# dd if=/dev/zero of=sd.img bs=1M count=2048 oflag=direct,nonblock
2048+0 Datensätze ein
2048+0 Datensätze aus
2147483648 Bytes (2,1 GB, 2,0 GiB) kopiert, 4,04071 s, 531 MB/s
[frank-ms7c37 ~]# dd if=/dev/zero of=sd.img bs=1M count=2048 oflag=direct,nonblock
2048+0 Datensätze ein
2048+0 Datensätze aus
2147483648 Bytes (2,1 GB, 2,0 GiB) kopiert, 3,53397 s, 608 MB/s

[FrankM]

Das liegt aber mit Sicherheit an den Spezifikationen der USB-Schnittstellen.

NanoPi R5S

[ 8293.564439] usb 8-1: new SuperSpeed Gen 1 USB device number 2 using xhci-hcd
[ 8293.589845] usb 8-1: New USB device found, idVendor=04e8, idProduct=61f5, bcdDevice= 1.00
[ 8293.589896] usb 8-1: New USB device strings: Mfr=2, Product=3, SerialNumber=1
[ 8293.589918] usb 8-1: Product: Portable SSD T5
[ 8293.589938] usb 8-1: Manufacturer: Samsung

Haupt-PC

[35067.992782] usb 4-1: new SuperSpeed Plus Gen 2x1 USB device number 2 using xhci_hcd
[35068.017037] usb 4-1: New USB device found, idVendor=04e8, idProduct=61f5, bcdDevice= 1.00
[35068.017040] usb 4-1: New USB device strings: Mfr=2, Product=3, SerialNumber=1
[35068.017042] usb 4-1: Product: Portable SSD T5
[35068.017043] usb 4-1: Manufacturer: Samsung

SuperSpeed Gen 1 vs. SuperSpeed Plus Gen 2x1

Also, nicht fair der Vergleich.

[Dude]

ach das oben war mit fdatasync hatte ich nicht mit übernommen,
hatte das mit direct getestet,

die 332 MB/s von deiner SSD am USB3.0 und die 334 MB/s von der M2 SSD sehen mir recht gleich,
denke mal die Schnittstellen scheinen hier nicht zu limitieren

hatte zwar auch mehr erwartet bei der M2 Schnittstelle, aber habe das erstmal dabei belassen da ich über das Netzwerk nicht schneller drauf zu greifen kann und die Backups erstellen zu einer HDD am USB Port auch ausreichend schnell gingen.

Nachtrag: eben gerade mal noch getestet einmal dd laufen lassen und die Auslastung angeschaut 25% logisch ist ja nur ein Thread und der eine Kern der genutzt wird ist voll ausgelastet, lasse ich dd 4x gleichzeitig laufen bekommt man die CPUs besser ausgelastet jedoch ~400MB/s von den 500 möglichen.

Temperaturen muss ich auch noch mal nach oben korrigieren liegt aber am Wetter 46-47°C läuft aber noch stabil und Performance ist auch noch da

[FrankM]

@Dude Danke für die Infos. Aktuell liegt mein Augenmerk darauf, mit dem NanoPi R5S meine Proxmox Maschine hier zu ersetzen. Das geht nicht für alles was ich damit mache, aber für das Meiste.

Die Proxmox Maschine verbrät 40 Watt, der NanoPi R5S so ca. 5 - 6 Watt. Bei den aktuellen Energiepreisen lohnt sich das, vor allen Dingen bei einem Gerät was 24/7 läuft.

1. Step dabei war, die angeschlossene HDD am USB3-Port als NFS-Freigabe für ein Netzwerk zu benutzen. Das klappt so weit. Probleme bereitete mir, wie man das USB Device beim Start mounten kann. Habe erst mit /etc/fstab rumgemurkst, das ging aber nicht!? Eine Suche im Netz brachte dann den Erfolg.

Datei /etc/config/fstab

config global
        option anon_swap '0'
        option anon_mount '0'
        option auto_swap '1'
        option auto_mount '1'
        option delay_root '5'
        option check_fs '0'

config mount
        option uuid '22323032-f620-4142-b43f-afbc53fc1115'
        option enabled '1'
        option target '/mnt/sda1'
        option fstype 'ext4'
        option enabled_fsck '0'

2. Step ist die vollständige IPv6 Funktionalität. Ja, man muss immer ordentlich rum wurschteln, wenn man es nicht 100% durchschaut, aber ich habe es mal wieder hinbekommen

Dazu habe ich die vorhandene Netzwerkbrücke, die beiden LAN-Schnittstellen waren zusammen geschaltet, aufgelöst. Ich brauch zwei verschiedene Netzwerke hier bei mir zu Hause.

[FrankM]

Da habe ich doch glatt vergessen, das man in den NanoPi R5S eine NVMe SSD einbauen kann Dann mal los.

fdisk -l

Disk /dev/nvme0n1: 931.51 GiB, 1000204886016 bytes, 1953525168 sectors
Disk model: Samsung SSD 980 1TB                     
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 16384 bytes / 131072 bytes

Wenn ich die NVMe SSD mal mit einem ext4 Filesystem einhänge und dd drüber laufen lasse, sieht das wie folgt aus.

root@FriendlyWrt:/mnt/nvme# dd if=/dev/zero of=sd.img bs=1M count=2048 oflag=direct,nonblock
2048+0 records in
2048+0 records out
2147483648 bytes (2.1 GB, 2.0 GiB) copied, 7.71164 s, 278 MB/s
root@FriendlyWrt:/mnt/nvme# dd if=/dev/zero of=sd.img bs=1M count=2048 oflag=direct,nonblock
2048+0 records in
2048+0 records out
2147483648 bytes (2.1 GB, 2.0 GiB) copied, 7.89502 s, 272 MB/s

Weit weg, von dem was da gehen würde, da ich vermute das nur eine PCIe Lane angeschlossen ist, ist das aber nachvollziehbar.

[Dude]

@FrankM
Ja da ist nur eine PCIe2.1 x1 angeschlossen, wichtig wäre die hatten scheinbar Fehler in ihren ersten Versionen

12.1.1 FriendlyWrt & FriendlyCore: quelle

• Improved pci-e stability

aber dennoch ja das könnte schneller sein,

[FrankM]

@Dude Habe das aktuelle Testimage

sd-friendlywrt-22.03-docker.....

mal auf eine SD-Karte gebügelt und getestet.

root@FriendlyWrt:/mnt/nvme# dd if=/dev/zero of=sd.img bs=1M count=2048 oflag=direct,nonblock
2048+0 records in
2048+0 records out
2147483648 bytes (2.1 GB, 2.0 GiB) copied, 8.21167 s, 262 MB/s

Ne, das bringt gar nichts. Ich denke auch das da nicht viel mehr gehen wird. Aber 260MB/s als Speichermöglichkeit IN dem Gerät, ist ja auch nicht so schlecht.

[FrankM]

Das Ganze mal auf die Spitze getrieben, verbaute NVMe, externe 2,5Zoll HDD und mit Restic Backup der Daten von der HDD auf die NVMe.

203 GB Backup macht die Kiste ganz ordentlich warm

Raumtemperatur 26 Grad.

[FrankM]

Ich habe den NanoPi R5S heute Morgen in Betrieb genommen und den Proxmox mal geparkt.

Die LAN-Buchsen sind getrennt, hatte ich schon geschrieben. Einmal LAN, einmal DMZ.

Dazu ein Samba-Server, der am LAN hängt und mir eine USB-Platte als NAS zur Verfügung stellt. Warum Samba? Der NFS-Server war aus Geschwindigkeitsgründen nicht nutzbar. Der Samba-Server ist auch nicht so doll, da ich aber das NAS nur als Datengrab benutze, sollte das passen.

Außerdem ist noch eine NVMe-SSD verbaut, die mir als Datensicherung des Samba-Verzeichnisses dient. Gesichert werden die Daten mittels Restic und eines Cron Jobs vollautomatisch. So wie ich das schon Jahre mache.

Die Firewall habe ich so eingestellt, wie ich mir das wünsche. Von DMZ kein Zugriff aufs LAN, aber gerne anders rum. Ansonsten nicht so viel. Die Regeln zum Zugriff über WAN muss ich noch raus werfen!

Jetzt werde ich das die Woche mal ausgiebig testen, ob das so für mich passt. Wenn das läuft, werde ich an einem WE die Version auf ein aktuelleres Image upgraden, natürlich mit der Docker-Version

Bis jetzt gefällt mir das, auch wenn es natürlich deutlich Einschränkungen gegenüber eines vollwertigen Rechners hat. Aber, in heutigen Zeiten ist jedes gesparte Watt wichtig - für die Geldbörse!

[FrankM]

Mal ein erster iperf3 Test

root@FriendlyWrt:~# iperf3 -c 192.168.3.12
Connecting to host 192.168.3.12, port 5201
[  5] local 192.168.3.1 port 38496 connected to 192.168.3.12 port 5201
[ ID] Interval           Transfer     Bitrate         Retr  Cwnd
[  5]   0.00-1.00   sec   240 MBytes  2.00 Gbits/sec    0    233 KBytes       
[  5]   1.00-2.00   sec   249 MBytes  2.09 Gbits/sec    0    262 KBytes       
[  5]   2.00-3.00   sec   248 MBytes  2.08 Gbits/sec    0    262 KBytes       
[  5]   3.00-4.00   sec   249 MBytes  2.08 Gbits/sec    0    262 KBytes       
[  5]   4.00-5.00   sec   248 MBytes  2.08 Gbits/sec    0    262 KBytes       
[  5]   5.00-6.00   sec   249 MBytes  2.09 Gbits/sec    0    262 KBytes       
[  5]   6.00-7.00   sec   248 MBytes  2.08 Gbits/sec    0    262 KBytes       
[  5]   7.00-8.00   sec   244 MBytes  2.04 Gbits/sec    0    262 KBytes       
[  5]   8.00-9.00   sec   248 MBytes  2.08 Gbits/sec    0    262 KBytes       
[  5]   9.00-10.00  sec   242 MBytes  2.03 Gbits/sec    0    478 KBytes       
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bitrate         Retr
[  5]   0.00-10.00  sec  2.40 GBytes  2.07 Gbits/sec    0             sender
[  5]   0.00-10.00  sec  2.40 GBytes  2.06 Gbits/sec                  receiver

iperf Done.
root@FriendlyWrt:~# iperf3 -R -c 192.168.3.12
Connecting to host 192.168.3.12, port 5201
Reverse mode, remote host 192.168.3.12 is sending
[  5] local 192.168.3.1 port 38500 connected to 192.168.3.12 port 5201
[ ID] Interval           Transfer     Bitrate
[  5]   0.00-1.00   sec   270 MBytes  2.26 Gbits/sec                  
[  5]   1.00-2.00   sec   277 MBytes  2.33 Gbits/sec                  
[  5]   2.00-3.00   sec   274 MBytes  2.30 Gbits/sec                  
[  5]   3.00-4.00   sec   273 MBytes  2.29 Gbits/sec                  
[  5]   4.00-5.00   sec   267 MBytes  2.24 Gbits/sec                  
[  5]   5.00-6.00   sec   268 MBytes  2.25 Gbits/sec                  
[  5]   6.00-7.00   sec   276 MBytes  2.32 Gbits/sec                  
[  5]   7.00-8.00   sec   274 MBytes  2.29 Gbits/sec                  
[  5]   8.00-9.00   sec   275 MBytes  2.31 Gbits/sec                  
[  5]   9.00-10.00  sec   274 MBytes  2.30 Gbits/sec                  
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bitrate         Retr
[  5]   0.00-10.01  sec  2.67 GBytes  2.29 Gbits/sec  10599             sender
[  5]   0.00-10.00  sec  2.66 GBytes  2.29 Gbits/sec                  receiver

iperf Done.

Zur Erklärung, mein Haupt-PC hängt mit 10G an einem Switch, an diesem Switch ist der NanoPi R5S angeschlossen (2,5G). Der Test erfolgte auf der Konsole des NanoPis.

Nicht so schlecht

[Andy]

Ich hab mal ein 120 Lüfter drauf gelegt die Temperatur ist runter auf 32°C. Im "normal" Betrieb.

[Andy]

Hat jemand eine Idee wie man die GPU deaktivieren kann?

[FrankM]

@Andy Was ist der Plan und warum? Wenn ich das machen wollte, würde ich das dtbs File bearbeiten.