LV. 44
GP 4k

【其他】新一代「洋垃圾」,AMD EPYC Rome 家用實驗用伺服器主機開箱

樓主 Mars7788(1937) Mars7788
GP171 BP-
又有好一陣子沒開箱了,新工作也適應中。
不過新東西還是要繼續開的。
今次開箱是我新的LAB電腦,先說一下是用來做甚麼的吧。

【做LAB】

通常你第一次使用某個服務或者系統的時候,虛擬化環境是一個很好的方式來練習,免去一些硬體上的基礎報署麻煩,加快你的學習速度。
另外,現在大部份公司的部署中除非一些工作長時間都有一定流量,否則都會使用虛擬化來節省機櫃空間了。

這台是我第三台LAB電腦,之前的兩台還在服役使用中。分別為:
Xeon E3 1230V3 + 32GB(8GB x4) +1.5TB Intel DC SSD
Intel i5 6500 + 32GB(16GB x2)+1.5TB SSD(500+1T)
問題是上邊兩台電腦都是屬於家用電腦的範疇,缺乏了一些伺服器功能,例如REG ECC/IPMI 和大量的PCI-E通道。
這個亦都是為什麼我不選擇新一代的家用電腦平台。
當然部份的原因就是購買舊的伺服器平台,記憶體的成本可以節省不少,相比購買 DDR5 64GB/128GB DIMM,8通道的伺服器平台能以更低成本堆更多RAM。
(IPMI 獨立於操作系統以外的子系統, 可以模擬輸入監控畫面,以及電源管理(重點),不受你主系統影響也有單獨的NIC和介面(絕大部份,部份和NIC0共用))

因為虛擬化的操作中RAM比CPU重要,一些服務有最低的記憶體要求,並沒有分配給足夠的給替他直接不給你運作,反而處理器分配能很少就能運作,最多就慢一點。
【【這是一台LAB,不是打算長期服務的設備】】
正因如此,東西二手是可以接受,再說,除錯也算是學習的一部份。

另外, 現在家用給平台的PCIE通道數,基本上只是為了照顧顯示卡和第一固態硬碟,扣除這兩個之後剩下的通度,通常就由南橋分配的了。
那麼當你配置高速的(10Gbps)網絡卡、第二顯示卡或者更多固態硬碟的時候就會出現通道數量不足的問題,要不你自己買PLX PCI-E交換器。
但是直接上高級工作站(HEDT)或者伺服器平台(Server)是最直接的方式。
除此之外,H11SSL-I自帶16個SATA(部分需轉換),我基本上不需要買RAID卡/HBA卡了。

說了那麼多,現在介紹一下我的新的實驗用平台。
CPU: AMD EPYC 7302P (ROMA)
MB: Supermicro H11SSL-i (Ver2)
RAM: 256GB(目前128GB), Samsung 2400Mhz ECC REG 32GB x8(4)
額外NIC: Intel X540-T2 10Gbps NIC(運輸中)
GPU:  Sapphire AMD RX6600 GPU x2(忘了拍第二張)
PSU: Antec Neo 750W Gold
Case: Antec P10-S

一項一項來說,CPU 是AMD EPYC 中第二代的 Rome架構,P代表單路處理器。
在一樣的價錢中,原本考慮的是一代的 Naples架構,一樣的價錢下可以買到 32Core的 7551P,想想就興奮。
只不過,過了頭幾天的興奮後買東西之前開始冷靜下來想一想,一代的 Naples架構我當年也買過的(當年開箱文傳送門)。

當年考慮過的問題現在開始回想起來,包裝當年的IF總線結構並不是現在AMD主力的I/O Die + CPU Die的設計,而是每個Die各自有自己的RAM控制器(每個DIE控制兩個通道),導致需要以NUMA方式運作,對很多應用不太有利或需事前良好規劃。

所以Roma開始變成I/O Die + CPU Die的設計。
另一方面ZEN和 ZEN2 之間的進步巨大,制造從GF變成GF(I/O Die)+TSMC(CPU Die), 7302P 16核有著7551P的 80%效能,所以除非很愛數方格或者你的應用會以線程數作為安裝檢查條件之一,否則要很認真考慮一下NUMA你真的能完全用上。

*(一般來說3D農場(只求大量PCI-E通道)、虛擬化應用(不超過一個NODE的Core/Ram數為前題下)和大型數學/流體/化學演算模型(很多的RAM,設計之初就有大規模平行運算打算)等容易切割或原生大量運算能需求為NUMA應用場景。 )

所以,最後還是選擇了7302P為我LAB的處理器,雖然因為只選了一代主板,部份ROMA新主板特性用不上了。
(Genoa支援12通道了,就算以後拾垃圾220港一根也要2700港/11000台才能基本插滿。)

接下來到RAM,也是我為什麼會配這一台伺服器的主要原因。我的些LAB會需要到模擬一個公司的基礎設備,雖然我只需要能動的程度就好,但是OS開機了RAM還是會用到的。
而且最近在學 Nutanix,他們CE版本光是安裝和開機就用掉 16GB RAM。
再加上基本的Windows Server DC/模擬用户和服務等等,RAM就用光了。

由於買貨的問題,這一刻只安裝了128GB RAM(4根32GB),目前的目標是 8根32GB RAM,應該夠我應該大部份的LAB用安裝和使用了。
這邊我只選擇了 2400Mhz,原因很簡單,2666/3200Mhz太貴了。
一根看上去好像差不多,乘以8就很多錢了,實際上RAM的成本佔了這台LAB機 40%的成本。

如果那天需要512/1T RAM 這CPU和主機板還是能夠支援到的,只不過我也可能整套轉手換了而不是只換RAM,想像一下兩三年後再買1TB DDR4 2400 RAM,那256GB 舊RAM大機率不會找到下一手人家接了,整套打包賣的機會還比較大。

到MB(主機板),這個就精彩了。
首先,由於AMD EPYC的主機板都有跨代升級的能力,加上三大套裝機中的DELL/LENOVO都會鎖CPU(就是CPU會物理熔斷,那處理器只能用在那牌子主板上。
同時。不。能。升。級。,那個CPU就算是半殘的了,所以不考慮套裝機了。
解釋影片:

所以,牌子就剩下妖廠(ASRockRack)、超微(SuperMicro)和G家(Gigabyte),當中又以 Gigabyte有板能一口氣支援全部SP3插座的EPYC(Naples/Roma/Milan & Milan-X),不過G家伺服器還是有版本的問題,最後就妖廠和超微中選了SuperMicro的H11SSL-I。

這塊是EPYC一代主板,支援二代的Roma但是PCI-E 4.0 用不了。不過,新一代的H12SSL-I,又太貴(貴一倍以上),那LAB嘛就不花這個錢了。

主板上有很USB PORT,那個位置是給人用來存放系統,TRUE NAS/FREENAS/ESXI(7.0或以前)都能這樣來佈署,省很多安裝時間,你能把系統做好設定好直接插上開機就行。

這個看空了的位置,應該是10G NIC的位置,我估吧,其他東西應該沒熱到要壓散熱片。

顯卡部份,我自己想試一下VM SteamOS + GPU直通能不能做到私人雲端遊戲服務和VM中建立有GPU的Media Server。

網絡部分的,這是我的網絡速度。
網絡卡部份比較多,除了IPMI為固定外,其他都會因為LAB的情況來變動。
1Gbps x3(主板+IPMI) + 2.5Gbps x2(蟹卡) + 10Gbps x2(Intel卡)

電源部份,就純粹倉庫中找出來的,真的不夠才換1000W上去,我估NVME/HDD列陣才有機會用到了。我都忘了那年買的了。
不過組好了之後發現待機時PSU的排氣比CPU還暖,或者有空就換吧 - -。。。

最後,機箱。
原本想網上買的,不過最後還是怕收爛貨,所以還是去了腦場買,90%箱子都玻璃側的主打靜的箱子都不例外。
原本看中了COOL媽的某個箱,但是原來香港沒入金屬側板版本,只能換一個了。
由於我是放到一角的,樣子和燈光真的不需要,最在Actec P10-S和P101之間摸了一陣子,就抱了P10-S回家。

由於有NAS,機內配置就只要夠LAB就好。
前幾天Amazon買了一只TeamGroup 1TB SATA SSD,結果。。。間歇性不認碟,還會影響到NVME SSD,果然不能商用板不能配太CHEAP的SSD嘛?
還有美光 P3 1TB NVME,這個是系統碟。
最後把抽屜中的1TB MX500和 Intel DC 4300 SSD放進去,當資料分區和切換用分區。


IPMI
IPMI,這個是我不選HEDT/家用平台的原因,家用主板你不要光害的話都中低階板,妖廠的話有出B/X晶片組帶IPMI的主板, 只是你不是用公司的名義購買,作為一個二手用家的角度,那個東西又貴有沒有特別的好處,通道數和功能只是比一般家用主機板好一點點, 我覺得不值得那個價錢。

說了那麼多這個東西的用途,就是在主機板上增加一個子系統。 這個系統只要你的電腦接通了電源,他就會啟動,他能夠作為遠端操作/開關電源/連接網絡媒體當DVD經過網絡讀ISO甚至乎更新BIOS。
甚至當你玩壞了主系統的時候,還可以找他來救亡。
功能上並不複雜,但是是絕對實用的,比起安裝在主要系統的遠端操作還要方便多了,但是要注意就是這個東西他的保安程度並不高,並不適宜直接網絡轉址或者放到互聯網, VPN是必須的。

散熱
香港SP3/TR4 的散熱有夠難買,就找不到,最後去網上買了一個。
買了Thermalright TR-TA120EX TR4,看他介紹附了一根TX7就沒多想了。
結果居然~~~~~~不~~~~~~~~夠~~~~~~~用。
混膏也差一點不夠用了,買是買了新的MX4了,不過下次加RAM時才把他換掉吧。

組裝
這部份就沒特別,甚麼都大,好裝好放就是佔安裝。
LTTs dot com


ESXI
嘛,我的Windows Server 授權還在另一台機使用中,這台就來個ESXI CE版吧。
反正都是做實驗用,ESXI也算普遍,不過就不用VCenter。

ESXI中的東西就會一直變,這𥚃就不多介紹了,反正就比Hyper-V 好的VM底層系統。

題外話,ESXI的APP很爛遠端時位置都對不上。


總結
這東西算是新一代的「洋垃圾」,但是整體來說比起XEON年代環境好不少,我目前未有看到AMD EPYC有寨板和重組板。
當然,這個某程度上和 EPYC已經 SoC化了有關,主板上已經沒有橋能給你重組,說主板是PCI-E + I/O 板也算正確的。
主板普遍還是二手主板為主,當然你能買全新主板的,只是玩二手大多不會這樣弄了。現在來看EPYC 便宜貨大概比數據中心慢兩代左右。上年年尾AMD 把SP3換成SP5 (SP4給了 Embedded平台用)正式進入了Zen 4的 Genoa 架構,這個應該要等到 Turin(Zen 5)推出才到我們玩的了。

如果,我還有下次機會的話,我應該會選擇 Milan-X/ Genoa-X的型號,也就是X3D的型號,Milan-X有768MB 的L3,比我第一台 PIII 的電腦的RAM還要大了。

缺點,高頻敏感/超頻/玩燈就不要考慮了。

最後,如果你有意學習各種 HCI / 虛擬化 / 架構與網絡又有 20000TND/5000HKD 上下的預算,你除了租用雲端平台來做LAB外,自己有一台也是一個選擇,特別能碰到硬體直通/GPU虛擬化的部份(需要看顯卡支援vGPU的程度)。
甚至符你只是一台「大電腦」能分身你家中所有電腦設備也能考慮一下。
8Core+16GB+GPU個人用PC用光纖TB3/USB拉到房間。(100%安靜)
1Core+4GB+NIC 1Gbps x2。(超強的軟路由,需配合Switch 和Access point)
3Core+16GB+ 10TB x5+2TB SSD。(TrueNAS 當NAS)
還剩 4core 不少的RAM和很多PCI-E能自行分配/因用途加大(加多一台直播?)。WWW

今次分享就到這𥚃,說多一次,二手硬體有風險,沒有排除問題能力的千萬不要碰,雖然風險比「左打i7右打i9」神~機低,但是一般來說伺服器你能問的人更少的哦。

171
-
3
未登入的勇者,要加入討論嗎?
板務人員:

face基於日前微軟官方表示 Internet Explorer 不再支援新的網路標準,可能無法使用新的應用程式來呈現網站內容,在瀏覽器支援度及網站安全性的雙重考量下,為了讓巴友們有更好的使用體驗,巴哈姆特即將於 2019年9月2日 停止支援 Internet Explorer 瀏覽器的頁面呈現和功能。
屆時建議您使用下述瀏覽器來瀏覽巴哈姆特:
。Google Chrome(推薦)
。Mozilla Firefox
。Microsoft Edge(Windows10以上的作業系統版本才可使用)

face我們了解您不想看到廣告的心情⋯ 若您願意支持巴哈姆特永續經營,請將 gamer.com.tw 加入廣告阻擋工具的白名單中,謝謝 !【教學】