Technical
技術相關

AI Server架構概述 : CXL、DDR5、PCIe 6.0及Ethernet


因應AI/Data center/HPC等科技應用的發展趨勢,伺服器相關技術需跟緊腳步以符合其運算及高傳輸速率需求,且其發展目的都是導向低延遲、低功耗及高可靠性,例如近期被重視的CXL,就是被應用來克服伺服器處理器(CPU)互連記憶體可用的頻寬受限且利用率低落的困境。CXL協議是為了高速訊號傳輸的應用,建立跨不同晶片的記憶體互連與共享存取模組,解決當前伺服器的處理器與記憶體之間的效能瓶頸:


more

再強大的AI運算,絕對不能高速I/O介面: PCIe


因為生成式AI競賽,越來越多運算能力強大的晶片出現在市場上,譬如Google Gemini 3所應用的最新TPU張量處理器,能為LLM 訓練和推論提供目前最高效率,更快、更便宜、更省電。

more