最近小U在HKEPC論壇看到一篇帖子：“你沒看錯亦沒寫錯, 不是100Mbps, 也不是10Gbps, 是100Gbps”的家庭局域網佈設分享 ，就順便把今天Multi-gigabits超千類的佈網設備和成本找了一下，涵蓋2.5Gbps ~ 100Gbps，相信大家總有一天也會用到。
閱讀全文: 2.5Gbps還嫌不夠？10~100GbE Multi-gigs佈網技術和成本一覽摘要節點
Multi-gigs 接口介紹
由於Multi-gigs通常用到光纖接口，所以先來總結一下不同接口的規格和速度：
- SFP (Small Form-factor Pluggable)
- 最高速度: 依賴於具體的版本，基本的 SFP 通常支持最高 1 Gbps 的速率。
- SFP+ (Small Form-factor Pluggable Plus)
- 最高速度: 10 Gbps。它是 SFP 的一個增強版本，可以提供更高的數據傳輸速率。
- SFP28
- 最高速度: 是SFP系列中的一個升級版本，它可以支援最高25 Gbps的數據速率。它是為25 Gigabit Ethernet設計的，並且可以向下兼容10 Gbps和1 Gbps的速度，
- QSFP (Quad Small Form-factor Pluggable)
- 最高速度: QSFP 最初是設計來支持 4 個 10 Gbps 的通道，因此總的最高傳輸速率是 40 Gbps。但隨著技術的進步，它已經可以支持更高的速率。
- QSFP+ (Quad Small Form-factor Pluggable Plus)
- 最高速度: 與 QSFP 相同，最高可以達到 40 Gbps。它是 QSFP 的增強版本，通常用於 40 Gbps 的網絡。
- QSFP28
- 最高速度: 100 Gbps。QSFP28 是一種可以提供高達 100 Gbps 速率的模塊，它有 4 個 25 Gbps 的通道。
表格化方便大家對比：
| 接口 | 最高速度 |
|---|---|
| SFP | 1 Gbps |
| SFP+ | 10 Gbps |
| SFP28 | 25 Gbps |
| QSFP | 40 Gbps |
| QSFP+ | 40 Gbps |
| QSFP28 | 100 Gbps |
下面我們就開始100GbE的網絡之旅！
100GbE百萬兆網絡
參考網友的PO文：吃飽飯沒事幹系列之Mellanox MCX555A 100Gbps NIC開箱，要搭建100Gbps需要的設備如下：
百萬兆100GbEs所需設備
網卡：Mellanox MCX555A 100Gbps NIC
網友eBay購買近新貨價HK$5000兩塊（平均$2500一塊），據說二手低至US$200/塊就有。使用的是QSPF28插頭，比起“貓棒”的SPF插頭要寬。
淘寶上的Mellanox MCX555A和網友的價錢差不多。
除了Mellanox的選擇不多，全新貨還有LR-LINK的 QSFP28 單口：￥3550
光纖線：Mellanox 30M QSFP28 AOC 主動式光纖線
HK$3000。網友話因為比5M更長的話就沒法使用DAC，所以要用AOC線。參考：
AOC有源光纜和DAC高速線纜的區別：
- 功耗：AOC有源光纜的最大功耗比DAC高速線纜低。
- 傳輸距離：AOC有源光纜的傳輸距離比DAC高速線纜長，一般可達100M，而DAC高速線纜一般在7M左右。
- 傳輸介質：AOC有源光纜采用光纖材質，不受電磁波的幹擾。而DAC高速線纜采用銅線材質，會受電磁幹擾。
- 傳輸信號：AOC有源光纜傳輸信號為光信號，而DAC高速線纜傳輸信號為低壓脈沖信號。
- 價格：AOC有源光纜的價格要比DAC高速線纜高出許多，因為光纖材質和激光器的成本較高。
- 體積重量：AOC有源光纜的重量和體積都比DAC高速線纜小，便於布線和運輸。
- 傳輸性能：AOC有源光纜的誤碼率比DAC高速線纜更低。
- 使用的器件：AOC有源光纜含有激光器，而DAC高速線纜不含。
小U查了一下淘寶，QSFP28的100Gbps AOC 20米的價錢是￥650，實際到貨應該HK$750左右。我的理解AOC線是把光模組和光纖連在一起，和MPO線加光模組一對是一樣效果，不過AOC線加起來通常便宜一些。
100Gbps Switch交換機
100Gbps Mellanox Switch，約$5000~$6000起。查了一下MikroTik CRS504-4XQ-IN就是$6000左右。這會影響到100Gbps光纖網卡是否可以工作在InfiniBand Mode，網友直連兩個網卡所以設置爲ETH Mode。
網友還提到了默認的WINDOWS家用版本因爲沒有RMDA，每次存取讀寫都會經過CPU，佔用CPU資源，RMDA可以讓NIC直接和磁盤溝通（類似虛擬機中的直通Pass through概念？）。
組建100GbE所需總花費
- 網卡：$3000+ （舊） ~ $5000+（新）
- 網線：$750 （國貨） ~ $ 3000 （原廠）
- SWITCH交換機：0 ~ $6000
總計：$3750（不用交換機） ~ $14000
“退一步的”40GbE
組建40GbE所需設備
40Gbps網卡：
小U隨便搜了一下，有幾款選擇：
Mellanox Connectx-3Pro CX314A 雙口40Gbps：QSPF+，850mm，可傳300米，二手￥220，應該是要搭配QSPF+光模組二手￥90一個，兩個就￥180，四個￥360。如果國產H3C的￥200有4個。除了Mellanox廠牌好像還能找到 HP544+ 是同款芯片。
Intel XL710-QDA1 PCI-E8X QSFP+ 01CN40 ： 二手淘寶￥400
Mellanox CONNECTX-2 QSFP+：HKEPC群友說此不支援RDMA，太舊了
40Gbps線材：
QSPF+ 40G 30米：國產$250左右，帶光模組的30米就$550左右：
40G 交換機：
夸克SKS7300-24XGS2Q ￥4880：兩個40Gbps （QSPF+） + 24個 10Gbps（SPF+）
40Gbe 組網價錢總結：
- 網卡：~$1000
- 網線：~$300
- 交換機：~$5000
總成本：$1300起（不用交換機）
20GbE: 雷電4組網
40GbE 和 100GbE都是光纖的天下，到了20GbE終於有其他玩家出現，就是雷電4 Thunderbolt 4，有興趣的朋友可以參考以下文章：
- 雷电存储性能 & USB4 P2P 20Gbps网络测试浅析 – 极术社区 – 连接开发者与智能计算生态 (aijishu.com)
- MacBook 与其他设备的低成本高性能数据传输方案（一） – 苏洋博客 (soulteary.com)
- 廉价的全闪存雷电 NAS 折腾笔记：组网方案的选择 – 苏洋博客 (soulteary.com)
10GbE：進入平民家用的分界線
如果你覺得100GbE、40GbE和20GbE都太離地，不用覺得孤獨，小U也是這樣覺得。到了10GbE整個情況就很不同。好多設備器材已經到了平明和階段。10Gbps使用SPF+或者CAT8網線都可以，使用方法和範圍都廣了很多。
10GbE網卡：
10GbE網卡可以分成光纖（光口）或CAT8網線（電口）兩種
INTEL X540-T2 電口：已停產。淘寶二手~￥150。線種：RJ45 Category 6 up to 55 m; Category 6A up to 100 m
TP-LINK TX401 全新HK$600 / TPLINK TL-NT521 電口：￥500
INTEL X520-DA2 82599X 光口： 已停產。淘寶二手~￥150。線種：SFP+ Direct Attached Twin Axial Cabling up to 10m
MELLANOX MCX311A / 312B-XCCT ：光口。淘寶二手~￥130
Synology E10G17-F2 Dual-Port 10 Gigabit SFP+ ：雙光口 全新HK$2150
USB 3. 轉5GBE： QNA-UC5G1T
10G 交換機：
TP-LINK TL-ST1005 ￥1245
40Gbe 組網價錢總結：
- 網卡：$300起
- 網線：$100起
- 交換機：$1500起
總成本：$400起（不用交換機）
10GbE ~ 100GbE 組網成本總結
小U做了一個簡單的對比圖總結10GbE，40GbE、100GbE 的組網成本，有個有趣的發現：
| 不帶交換機的最低成本 | 帶交換機的最低成本 | |
| 10GbE | $400 | $2000 |
| 40GbE | $1300 | $6300 |
| 100GbE | $4000 | $10000 |
小U發現在Multi-gigs的組網中，Network Switch交換機的成本佔比很重，與我們一般1G/2.5GbE組網幾乎忽略交換機的成本有很大不同。在家用領域Multi-gigs的普及真正要取決於Multi-gigs交換機的降價。
補充：不同接口的磁盤的最高讀寫速度
你有需要升級到Multi-gigs嗎？看一下主流的磁盤讀寫速率：
- SATA (Serial ATA)
- SATA III: 最高 600MB/s (6 Gbps)
- SAS (Serial Attached SCSI)
- SAS-3: 最高 12 Gbps
- SAS-4 (即SAS 24G): 最高 24 Gbps
- PCIe (Peripheral Component Interconnect Express)
- PCIe 3.0: 每條通道最高 1 GB/s (8 Gbps)，x16 接口可達到最高 16 GB/s (128 Gbps)
- PCIe 4.0: 每條通道最高 2 GB/s (16 Gbps)，x16 接口可達到最高 32 GB/s (256 Gbps)
- PCIe 5.0: 每條通道最高 4 GB/s (32 Gbps)，x16 接口可達到最高 64 GB/s (512 Gbps)
- USB (Universal Serial Bus)
- USB 3.0: 最高 5 Gbps (625 MB/s)
- USB 3.1: 最高 10 Gbps (1.25 GB/s)
- USB 3.2: 根據具體配置最高可達 20 Gbps (2.5 GB/s)
- USB4: 最高 40 Gbps (5 GB/s)
- NVMe (Non-Volatile Memory Express, 通常通過PCIe接口)
- 讀寫速度取決於具體的硬件和PCIe版本，但一般來說它可以支持超過 3500 MB/s 的讀寫速度。
- Thunderbolt
- Thunderbolt 3: 最高 40 Gbps (5 GB/s)
- Thunderbolt 4: 最高 40 Gbps (5 GB/s) ，但提供了更多的功能和更好的多平台支持。
注意: 這裡提到的速度是理論最大值，實際速度可能會受到許多因素的影響，包括但不限於磁盤速度、系統配置和驅動程序效率。
表格整理如下：
| 接口 | 版本 | 最高讀寫速度 |
|---|---|---|
| SATA | SATA III | 600 MB/s (6 Gbps) |
| SAS | SAS-3 | 12 Gbps |
| SAS-4 (SAS 24G) | 24 Gbps | |
| PCIe | PCIe 3.0 x16 | 16 GB/s (128 Gbps) |
| PCIe 4.0 x16 | 32 GB/s (256 Gbps) | |
| PCIe 5.0 x16 | 64 GB/s (512 Gbps) | |
| USB | USB 3.0 | 5 Gbps (625 MB/s) |
| USB 3.1 | 10 Gbps (1.25 GB/s) | |
| USB 3.2 | 20 Gbps (2.5 GB/s) | |
| USB4 | 40 Gbps (5 GB/s) | |
| NVMe | — | > 3500 MB/s |
| Thunderbolt | Thunderbolt 3 | 40 Gbps (5 GB/s) |
| Thunderbolt 4 | 40 Gbps (5 GB/s) |
簡單的說，如果NAS已經實現全SATA固態化，10Gbps 10GbE網絡可以足夠。如果想要發揮NVMe/PCIE接口的SSD，那麼40Gbps/100Gbps可能是需要投資的考慮。
你的NAS還是全機械硬碟？那麼就不用花那麼多心思啦！
歡迎大家留言交流你的Multi-gigs組網經驗和討論。
