Skip to content

NVMe - Booten jetzt möglich

Angeheftet ROCKPro64
  • Macht das Bitte nur, wenn ihr wisst was der SPI ist und wenn ihr wisst, was ihr im Fehlerfall machen müsst. Danke!

    Da sich ja schon seit längerer Zeit so nicht mehr richtig viel tut, schau ich nur noch gelegentlich ins Pine64-Forum. Das war gestern Abend mal wieder der Fall und da schreibt jemand, das er den neuen u-boot für den ROCKPro64 fertig hat. Das weckt natürlich meine Neugierde 🙂 Es handelt sich um diesen u-boot

    U-Boot TPL 2020.01-rc5-01969-g0bfd4738c6 (Jan 03 2020 - 15:46:36)
    

    Der liebe Kamil hatte das ja schon vor Monaten angekündigt, aber leider nicht umgesetzt. Gut, das wir uns im Open Source Umfeld bewegen, da haben mehrere Menschen Zugriff auf die Daten. Ok, weiter

    Hier der Link zum Forum.

    Ich oute mich mal, die Binaries die er dort vorstellt, sagen mir zwar was, ich weiß aber nicht so richtig was ich damit anfangen soll. Ein paar Versuche hier waren leider erfolglos. Also habe ich den ganzen Beitrag nochmal aufmerksam gelesen und bin dann über das Script

    flash_spi.img.gz
    

    gestolpert. Dazu hat der Autor sigmaris eine Github Seite mit Anleitung erstellt.

    Ok, das bekommen wir hin 🙂

    Also, das Script entpackt und auf eine SD-Karte geschrieben. Den ROCKPro64 damit gestartet und wir sehen einen u-boot Yeah!

    U-Boot TPL 2020.01-rc5-01969-g0bfd4738c6 (Jan 03 2020 - 15:46:36)               
    Channel 0: LPDDR4, 50MHz                                                        
    BW=32 Col=10 Bk=8 CS0 Row=15 CS=1 Die BW=16 Size=1024MB                         
    Channel 1: LPDDR4, 50MHz                                                        
    BW=32 Col=10 Bk=8 CS0 Row=15 CS=1 Die BW=16 Size=1024MB                         
    256B stride                                                                     
    256B stride                                                                     
    lpddr4_set_rate: change freq to 400000000 mhz 0, 1                              
    lpddr4_set_rate: change freq to 800000000 mhz 1, 0                              
    Trying to boot from BOOTROM                                                     
    Returning to boot ROM...              
    

    Ein paar schnelle Versuche mit verschiedenen Datenträgern war nicht so erfolgreich. Da es spät war, habe ich abgebrochen. Heute Morgen dann beim ersten Kaffee noch mal richtig drüber nachdenken....

    Ok, wenn ich von der PCIe NVMe SSD starten möchte, brauche ich dort das komplette Image drauf. Doch wie stelle ich das dann jetzt an? Man könnte den Adapter in einen PC einbauen, man könnte die Karte in einen freien Slot einbauen, wäre beides möglich bei mir. Aber, ich bin faul. Morgens unterm Schreibtisch rum rutschen? Nö.

    Wir schreiben uns das aktuelle Image vom Kamil auf eine SD-Karte. In den Homeordner kopieren wir das entpackte Image vom Kamil.

    buster-minimal-rockpro64-0.9.16-1163-arm64.img
    

    Damit starten wir jetzt den ROCKPro64. Nach Passwortwechsel, das kennt ihr ja sicherlich bereits alles, befinden wir uns im Homeordner. Dort liegt nun unser Image. Das soll nun auf die PCI NVMe SSD.

    Schauen wir mal, ob alles da ist.

    sudo fdisk -l
    [sudo] password for rock64: 
    Disk /dev/ram0: 4 MiB, 4194304 bytes, 8192 sectors
    Units: sectors of 1 * 512 = 512 bytes
    Sector size (logical/physical): 512 bytes / 4096 bytes
    I/O size (minimum/optimal): 4096 bytes / 4096 bytes
    
    
    Disk /dev/mtdblock0: 384 KiB, 393216 bytes, 768 sectors
    Units: sectors of 1 * 512 = 512 bytes
    Sector size (logical/physical): 512 bytes / 512 bytes
    I/O size (minimum/optimal): 512 bytes / 512 bytes
    
    
    Disk /dev/mtdblock1: 3.6 MiB, 3768320 bytes, 7360 sectors
    Units: sectors of 1 * 512 = 512 bytes
    Sector size (logical/physical): 512 bytes / 512 bytes
    I/O size (minimum/optimal): 512 bytes / 512 bytes
    
    
    Disk /dev/mtdblock2: 32 KiB, 32768 bytes, 64 sectors
    Units: sectors of 1 * 512 = 512 bytes
    Sector size (logical/physical): 512 bytes / 512 bytes
    I/O size (minimum/optimal): 512 bytes / 512 bytes
    
    
    Disk /dev/mtdblock3: 12 MiB, 12582912 bytes, 24576 sectors
    Units: sectors of 1 * 512 = 512 bytes
    Sector size (logical/physical): 512 bytes / 512 bytes
    I/O size (minimum/optimal): 512 bytes / 512 bytes
    
    
    Disk /dev/nvme0n1: 232.9 GiB, 250059350016 bytes, 488397168 sectors
    Units: sectors of 1 * 512 = 512 bytes
    Sector size (logical/physical): 512 bytes / 512 bytes
    I/O size (minimum/optimal): 512 bytes / 512 bytes
    
    
    Disk /dev/mmcblk0: 59.5 GiB, 63864569856 bytes, 124735488 sectors
    Units: sectors of 1 * 512 = 512 bytes
    Sector size (logical/physical): 512 bytes / 512 bytes
    I/O size (minimum/optimal): 512 bytes / 512 bytes
    Disklabel type: gpt
    Disk identifier: 4252573B-53A6-4918-89A6-7802D8D8031F
    
    Device          Start       End   Sectors  Size Type
    /dev/mmcblk0p1     64      8063      8000  3.9M Linux filesystem
    /dev/mmcblk0p2   8064      8191       128   64K Linux filesystem
    /dev/mmcblk0p3   8192     16383      8192    4M Linux filesystem
    /dev/mmcblk0p4  16384     24575      8192    4M Linux filesystem
    /dev/mmcblk0p5  24576     32767      8192    4M Linux filesystem
    /dev/mmcblk0p6  32768    262143    229376  112M Microsoft basic data
    /dev/mmcblk0p7 262144 124735454 124473311 59.4G Linux filesystem
    

    Image ?

    rock64@rockpro64:~$ ls
    buster-minimal-rockpro64-0.9.16-1163-arm64.img
    

    Gut, alles vorhanden. Dann mal los.

    rock64@rockpro64:~$ sudo dd of=/dev/nvme0n1 if=/home/rock64/buster-minimal-rockpro64-0.9.16-1163-arm64.img bs=1M
    2045+0 records in
    2045+0 records out
    2144337920 bytes (2.1 GB, 2.0 GiB) copied, 36.9288 s, 58.1 MB/s
    

    Hier, der dd Befehl incl. Erfolgsmeldung. Damit wäre das Image jetzt auf der PCIe NVMe SSD. Wir können nun die SD-Karte entfernen und mit der NVMe Karte booten.

    U-Boot TPL 2020.01-rc5-01969-g0bfd4738c6 (Jan 03 2020 - 15:46:36)              
    Channel 0: LPDDR4, 50MHz                                                        
    BW=32 Col=10 Bk=8 CS0 Row=15 CS=1 Die BW=16 Size=1024MB                        
    Channel 1: LPDDR4, 50MHz                                                        
    BW=32 Col=10 Bk=8 CS0 Row=15 CS=1 Die BW=16 Size=1024MB                        
    256B stride                                                                    
    256B stride                                                                    
    lpddr4_set_rate: change freq to 400000000 mhz 0, 1                              
    lpddr4_set_rate: change freq to 800000000 mhz 1, 0                              
    Trying to boot from BOOTROM                                                    
    Returning to boot ROM...                                                        
                                                                                   
    U-Boot SPL 2020.01-rc5-01969-g0bfd4738c6 (Jan 03 2020 - 15:46:36 +0000)        
    Trying to boot from SPI                                                        
    NOTICE:  BL31: v2.2(release):v2.2-277-gb1af2a51                                
    NOTICE:  BL31: Built : 15:44:18, Jan  3 2020                                    
                                                                                   
                                                                                   
    U-Boot 2020.01-rc5-01969-g0bfd4738c6 (Jan 03 2020 - 15:46:36 +0000)            
                                                                                   
    Model: Pine64 RockPro64                                                        
    DRAM:  2 GiB                                                                    
    PMIC:  RK808                                                                    
    MMC:   dwmmc@fe320000: 1, sdhci@fe330000: 0                                    
    Loading Environment from SPI Flash... SF: Detected gd25q128 with page size 256 B
    *** Warning - bad CRC, using default environment                                
                                                                                   
    In:    serial@ff1a0000                                                          
    Out:   serial@ff1a0000                                                          
    Err:   serial@ff1a0000                                                          
    Model: Pine64 RockPro64                                                        
    rockchip_dnl_key_pressed: adc_channel_single_shot fail!                        
    Net:   eth0: ethernet@fe300000                                                  
    Hit any key to stop autoboot:  0                                                
    Card did not respond to voltage select!                                        
    Card did not respond to voltage select!                                        
                                                                                   
    Device 0: Vendor: 0x144d Rev: 1B2QEXE7 Prod: S466NX0K606125A                    
               Type: Hard Disk                                                    
               Capacity: 476940.0 MB = 465.7 GB (976773168 x 512)                  
    ... is now current device                                                      
    Scanning nvme 0:7...                                                            
    Found /boot/extlinux/extlinux.conf                                              
    Retrieving file: /boot/extlinux/extlinux.conf                                  
    2073 bytes read in 4 ms (505.9 KiB/s)                                          
    select kernel                                                                  
    1:      kernel-4.4.202-1237-rockchip-ayufan-gfd4492386213                      
    2:      kernel-4.4.202-1237-rockchip-ayufan-gfd4492386213-memtest              
    3:      kernel-4.4.197-1236-rockchip-ayufan-g30faab37e339                      
    4:      kernel-4.4.197-1236-rockchip-ayufan-g30faab37e339-memtest  
    [...gekürzt...]
    

    YEAH! Der ROCKPro64 bootet direkt von der PCIe NVMe SSD. Dazu bedarf es jetzt nur noch, das der u-boot im SPI Speicher drin ist.

    Noch kurz das Filesystem anzeigen lassen

    rock64@rockpro64:~$ df -h
    Filesystem      Size  Used Avail Use% Mounted on
    udev            960M     0  960M   0% /dev
    tmpfs           193M  7.7M  185M   4% /run
    /dev/nvme0n1p7  1.9G  1.1G  669M  62% /
    tmpfs           963M     0  963M   0% /dev/shm
    tmpfs           5.0M  4.0K  5.0M   1% /run/lock
    tmpfs           963M     0  963M   0% /sys/fs/cgroup
    /dev/nvme0n1p6  112M  4.0K  112M   1% /boot/efi
    tmpfs           193M     0  193M   0% /run/user/1000
    

    Somit sollte sich auch der Kernel Problem los aktualisieren lassen, was ja vorher immer recht mühsam war.

    Aktuell nutzt der ROCKPro64 dieses Image

    Linux rockpro64 4.4.197-1236-rockchip-ayufan-g30faab37e339 #1 SMP Tue Oct 22 11:35:10 UTC 2019 aarch64
    

    Dann installieren wir mal 4.4.202-1237-rockchip-ayufan
    https://github.com/ayufan-rock64/linux-kernel/releases/

    Nach dem Reboot

                    _                     __   _  _   
      _ __ ___   ___| | ___ __  _ __ ___  / /_ | || |  
     | '__/ _ \ / __| |/ / '_ \| '__/ _ \| '_ \| || |_ 
     | | | (_) | (__|   <| |_) | | | (_) | (_) |__   _|
     |_|  \___/ \___|_|\_\ .__/|_|  \___/ \___/   |_|  
                         |_|                           
     Linux rockpro64 4.4.202-1237-rockchip-ayufan-gfd4492386213 #1 SMP Sat Nov 23 13:55:47 UTC 2019 aarch64
    

    So muss das funktionieren. Sehr lange drauf gewartet!

    Vielen Dank an sigmaris für die tolle Arbeit!

    Und jetzt mal Schauen, ob das auch von USB3 geht, das ging gestern Abend auch nicht.....

    Wie ich gerade sehe, muss das Root Filesystem noch vergrößert werden.

    Ok, Problem gelöst. Bitte hier nachlesen.

  • Jetzt müssen wir mal schauen, ob das Ganze auch stabil läuft...

  • Nachdem ich jetzt ein wenig rumgespielt habe, folgende Empfehlung.

    Der u-boot ist ja zum Testen da, mit einer PCIe NVMe SSD oder einer SD-Karte bootet er einwandfrei. Mit meiner eMMC-Karte nicht, so wie auch nicht an USB2 und USB3. Sollte ihr also so ein Gerät zum Booten benutzen, müsst ihr den gewohnten Weg gehen.

  • Sigmaris hat eine neue Version seines u-boot released.
    https://forum.frank-mankel.org/topic/746/u-boot

    Diese neue Version soll einen Boot von einer PCIe SATA Platte ermöglichen. Yeah!

    I have updated the OP with info about a new release, based on mainline U-Boot v2020.01, and now with PCIe SATA drive boot support as well as NVMe.

    Das muss ich dann mal testen 😉

  • Ich habe dann heute mal den uboot getestet um zu sehen, ob von einer SATA HDD gebootet wird.

    Start

    U-Boot TPL 2020.01-01987-g335875f1f5 (Feb 01 2020 - 15:02:32)                   
    Channel 0: LPDDR4, 50MHz                                                        
    BW=32 Col=10 Bk=8 CS0 Row=15 CS=1 Die BW=16 Size=1024MB                         
    Channel 1: LPDDR4, 50MHz                                                        
    BW=32 Col=10 Bk=8 CS0 Row=15 CS=1 Die BW=16 Size=1024MB                         
    256B stride                                                                     
    256B stride                                                                     
    lpddr4_set_rate: change freq to 400000000 mhz 0, 1                              
    lpddr4_set_rate: change freq to 800000000 mhz 1, 0                              
    Trying to boot from BOOTROM                                                     
    Returning to boot ROM...                                                        
                                                                                    
    U-Boot SPL 2020.01-01987-g335875f1f5 (Feb 01 2020 - 15:02:32 +0000)             
    Trying to boot from SPI                                                         
    NOTICE:  BL31: v2.2(release):v2.2-271-g9a943ba43                                
    NOTICE:  BL31: Built : 15:00:49, Feb  1 2020                                    
                                                                                    
                                                                                    
    U-Boot 2020.01-01987-g335875f1f5 (Feb 01 2020 - 15:02:32 +0000)                 
                                                                                    
    Model: Pine64 RockPro64                                                         
    DRAM:  2 GiB                                                                    
    PMIC:  RK808                                                                    
    MMC:   dwmmc@fe320000: 1, sdhci@fe330000: 0                                     
    Loading Environment from SPI Flash... SF: Detected gd25q128 with page size 256 B
    *** Warning - bad CRC, using default environment                                
                                                                                    
    In:    serial@ff1a0000                                                          
    Out:   serial@ff1a0000                                                          
    Err:   serial@ff1a0000                                                          
    Model: Pine64 RockPro64                                                         
    Net:   eth0: ethernet@fe300000                                                  
    Hit any key to stop autoboot:  0                                                
    Card did not respond to voltage select!                                         
    Card did not respond to voltage select!                                         
    PCIE-0: Link up (Bus0)                                                          
                                                                                    
    Device 0: unknown device                                                        
    scanning bus for devices...                                                     
    Target spinup took 0 ms.                                                        
    SATA link 1 timeout.                                                            
    AHCI 0001.0200 32 slots 2 ports 6 Gbps 0x3 impl SATA mode                       
    flags: 64bit ncq stag led clo pmp pio slum part ccc sxs                         
      Device 0: (0:0) Vendor: ATA Prod.: ST2000LM015-2E81 Rev: SDM1                 
                Type: Hard Disk                                                     
                Capacity: 1907729.0 MB = 1863.0 GB (3907029168 x 512)               
                                                                                    
    Device 0: (0:0) Vendor: ATA Prod.: ST2000LM015-2E81 Rev: SDM1                   
                Type: Hard Disk                                                     
                Capacity: 1907729.0 MB = 1863.0 GB (3907029168 x 512)               
    ... is now current device                                                       
    Scanning scsi 0:7...                                                            
    Found /boot/extlinux/extlinux.conf                                              
    Retrieving file: /boot/extlinux/extlinux.conf                                   
    1055 bytes read in 49 ms (20.5 KiB/s)                                           
    select kernel                                                                   
    1:      kernel-4.4.197-1236-rockchip-ayufan-g30faab37e339                       
    2:      kernel-4.4.197-1236-rockchip-ayufan-g30faab37e339-memtest               
    Enter choice: 1:        kernel-4.4.197-1236-rockchip-ayufan-g30faab37e339       
    Retrieving file: /boot/initrd.img-4.4.197-1236-rockchip-ayufan-g30faab37e339    
    5143934 bytes read in 110 ms (44.6 MiB/s)                                       
    Retrieving file: /boot/vmlinuz-4.4.197-1236-rockchip-ayufan-g30faab37e339       
    20545544 bytes read in 346 ms (56.6 MiB/s)                                      
    append: rw panic=10 init=/sbin/init coherent_pool=1M ethaddr=62:03:b0:d6:dc:b3 4
    Retrieving file: /boot/dtbs/4.4.197-1236-rockchip-ayufan-g30faab37e339/rockchipb
    96273 bytes read in 32 ms (2.9 MiB/s)                                           
    ## Flattened Device Tree blob at 01f00000                                       
       Booting using the fdt blob at 0x1f00000                                      
       Loading Ramdisk to 7da14000, end 7defbd7e ... OK                             
    

    Disks

    rock64@rockpro64:~$ df -h
    Filesystem      Size  Used Avail Use% Mounted on
    udev            960M     0  960M   0% /dev
    tmpfs           193M  7.7M  185M   4% /run
    /dev/sda7       1.8T  1.1G  1.8T   1% /
    tmpfs           963M     0  963M   0% /dev/shm
    tmpfs           5.0M  4.0K  5.0M   1% /run/lock
    tmpfs           963M     0  963M   0% /sys/fs/cgroup
    /dev/sda6       112M  4.0K  112M   1% /boot/efi
    tmpfs           193M     0  193M   0% /run/user/1000
    

    Wieder ein Stück weiter 😉

  • Hallo Frank,

    verstehe ich das richtig das du dann auf dem weder eine SDcard noch einen eMMC Chip dazu brauchst?

    Wird das System dann performanter, ist das meßbar?

    M

  • Hallo @mabs,

    ja. Der uboot wird in den SPI Speicher geladen. Der sucht dann beim Starten nach einem bootfähigem Device. So wie auf einem ganz normalen PC. Eine richtig coole Sache, wo ich mich freue, das das langsam mal funktioniert.

    Die Performance wird ja dann sicherlich von dem Device bestimmt. Dazu gibt es ja genug Messungen. Ich würde eine NVMe SSD immer einer SATA Platte vorziehen. Es kommt aber auf den Anwendungsfall an.

    Für ein NAS dann eher zwei oder mehr SATA Platten, und von USB3 HDD booten 🙂 So wie ich das schon lange betreibe.

    Aber, da hat auch jeder andere Vorstellungen und Vorlieben für.

  • ROCKPro64 - Release 0.10.6 Was geht?

    Angeheftet ROCKPro64
    1
    0 Stimmen
    1 Beiträge
    401 Aufrufe
    Niemand hat geantwortet
  • ROCKPro64 - Anpassen resize_rootfs.sh

    Angeheftet ROCKPro64
    3
    0 Stimmen
    3 Beiträge
    458 Aufrufe
    FrankMF

    Seit Release 0.10.10 ist das automatische Vergrößern der Root Partition mit drin 🙂

    0.10.10: Support automated resize when booting from nvme

    Einfach das Image auf die NVMe SSD schreiben, ab in den ROCKPro64 und fertig! Nach dem Booten wird die Partition dann automatisch auf die maximal mögliche Größe erweitert.

    Kamil hat das Script auch ein wenig angepasst.

    case $dev in /dev/mmcblk?p?) DISK=${dev:0:12} PART=${dev:13} NAME="sd/emmc" ;; /dev/sd??) DISK=${dev:0:8} PART=${dev:8} NAME="hdd/ssd" ;; /dev/nvme?n?p?) DISK=${dev:0:12} PART=${dev:13} NAME="pcie/nvme" ;;

    Das Resultat bei einer Samsung 979 EVO mit 500GB Speicher

    rock64@rockpro64:~$ df -h Filesystem Size Used Avail Use% Mounted on udev 918M 0 918M 0% /dev tmpfs 192M 5.2M 187M 3% /run /dev/nvme0n1p4 459G 1.2G 439G 1% / tmpfs 957M 0 957M 0% /dev/shm tmpfs 5.0M 4.0K 5.0M 1% /run/lock tmpfs 957M 0 957M 0% /sys/fs/cgroup /dev/nvme0n1p3 229M 44M 169M 21% /boot /dev/nvme0n1p2 12M 0 12M 0% /boot/efi tmpfs 192M 0 192M 0% /run/user/1000

    Perfekt. Danke Kamil!

  • ROCKPro64 - USB3

    ROCKPro64
    1
    0 Stimmen
    1 Beiträge
    281 Aufrufe
    Niemand hat geantwortet
  • Kamil hat mal wieder Zeit?

    ROCKPro64
    1
    0 Stimmen
    1 Beiträge
    458 Aufrufe
    Niemand hat geantwortet
  • ROCKPro WLan Modul

    Verschoben ROCKPro64
    1
    0 Stimmen
    1 Beiträge
    726 Aufrufe
    Niemand hat geantwortet
  • Bionic Minimal 0.7.8

    ROCKPro64
    2
    0 Stimmen
    2 Beiträge
    567 Aufrufe
    FrankMF

    Testin Testing

  • ROCKPro64 - Schaltplan v2.1 veröffentlicht

    ROCKPro64
    1
    0 Stimmen
    1 Beiträge
    854 Aufrufe
    Niemand hat geantwortet
  • [HOWTO] ROCKPro64 - PCIe NVMe Karte mit Samsung 960 EVO m.2

    Verschoben Hardware
    2
    0 Stimmen
    2 Beiträge
    2k Aufrufe
    FrankMF
    Ergänzung

    Eine andere SATA-Karte und eine Riser-Karte mit angeschlossener GPU startet nicht.

    rock64@rockpro64v2_1:~$ uname -a Linux rockpro64v2_1 4.4.132-1075-rockchip-ayufan-ga83beded8524 #1 SMP Thu Jul 26 08:22:22 UTC 2018 aarch64 aarch64 aarch64 GNU/Linux