在今年的光纖通信會議(OFC)會議上,光電共封(CPO)成為芯片廠商的一大熱議話題,博通、Marvell介紹了各家的采用光電共封裝技術(shù)的51.2Tbps的交換機芯片,思科也展示了其CPO技術(shù)的實現(xiàn)可行性原理,在光電共封技術(shù)的支持下,一個交換機的新時代正在來臨!這對于光電共封技術(shù)來說是一個很大的進步,也足以表明利用光來移動數(shù)據(jù)的前景確實是光明的。
這個賽道也成為了芯片巨頭的新戰(zhàn)場。
光電共封迎來大的推動力
這一波的光電共封器件很大的推動者是數(shù)據(jù)中心的公有云供應(yīng)商,隨著AI/ML(人工智能/機器學(xué)習(xí))、高分辨率視頻流和虛擬現(xiàn)實等更高帶寬應(yīng)用的出現(xiàn),網(wǎng)絡(luò)流量持續(xù)增長,數(shù)據(jù)中心網(wǎng)絡(luò)承受的壓力也在不斷增加,諸如谷歌、Meta、亞馬遜、微軟或阿里巴巴等,他們每家都部署了數(shù)萬臺交換機,而且正在推動數(shù)據(jù)速率從100GbE向400GbE和800GbE更高速的數(shù)據(jù)鏈路的方向發(fā)展,這將消耗更多的電力來通過銅纜傳輸數(shù)據(jù)。
作為交換機的大腦——交換機芯片,在過去多年來主要有兩大長期發(fā)展趨勢:
一,大約每兩年一次,交換機芯片的帶寬會翻一番,這也很好的遵循了摩爾定律。
二,為了支持總交換機芯片帶寬的增加,Serdes的速度、數(shù)量和功率也在隨之增加,SerDes的速度從10Gbit/sec增加到112Gbit/sec,芯片周圍的SerDes數(shù)量從64通道增加到51.2Tbps一代的512通道。SerDes功率成為系統(tǒng)總功率的很大一部分。
當(dāng)下交換機之間所采用的方案大都是可插拔的光學(xué)器件,雖然可以很容易地更換或換成更高容量的,但這也意味著在交換機芯片和光學(xué)器件接口之間有幾英寸的銅,而且由于所需的電氣和光學(xué)密度、熱問題和功耗,當(dāng)前可插拔光學(xué)器件也面臨著容量難擴展的制約。于是,業(yè)界開始探索提高數(shù)據(jù)中心效率的新方法,光電共封(CPO)成為一個有利的選擇!
光電共封裝(Co-PackagedOptics,簡稱CPO)是一種新型的光電子集成技術(shù),它將光學(xué)器件(如激光器、調(diào)制器、光接收器等)封裝在芯片級別上,直接與芯片內(nèi)的電路相集成,借助光互連以提高通信系統(tǒng)的性能和功率效率。共同封裝光學(xué)器件的一項關(guān)鍵創(chuàng)新是將光學(xué)器件移動到離SwitchASIC裸片足夠近的位置,以便移除這個額外的DSP(見下圖)。借助CPO,網(wǎng)絡(luò)交換機系統(tǒng)中的光接口從交換機外殼前端的可插拔模塊轉(zhuǎn)變?yōu)榕c交換機芯片組裝在同一封裝中的光模塊。
基于這種封裝模式,光電共封(CPO)技術(shù)的優(yōu)勢盡顯:
增強性能:CPO可以將光學(xué)元件直接嵌入芯片中,使得光學(xué)元件與芯片內(nèi)部電路的距離更近,減小了電信號的延遲和失真,提高了通信系統(tǒng)的性能。
節(jié)省空間:CPO可以大大減小光模塊的尺寸,尤其是在高密度數(shù)據(jù)中心環(huán)境下,可以將更多的端口裝在相同大小的機柜中。
降低功耗:CPO可以減少能量轉(zhuǎn)換的步驟,從而降低了功耗。與傳統(tǒng)的光模塊相比,CPO在相同數(shù)據(jù)傳輸速率下可以減少約50%的功耗。
提高可靠性:CPO可以提高光學(xué)和電子之間的互聯(lián)可靠性,并減少外部干擾。同時,由于CPO是在芯片級別上封裝的,所以也能夠提高整個系統(tǒng)的可靠性。
降低成本:CPO可以減少芯片與光模塊之間的連接器數(shù)量,從而降低了生產(chǎn)成本。此外,CPO的小尺寸和低功耗也能夠降低運營成本。
正因為此,使得越來越多的芯片廠商、光通信廠商和研究機構(gòu)都在積極研究和使用光電共封技術(shù)。
CPO的商業(yè)化雛形,在交換機市場中顯現(xiàn)
博通
博通(Broadcom)涉足光電領(lǐng)域大約在1990年,1995年,Broadcom推出了其第一款光電收發(fā)器,這是該公司進入光電領(lǐng)域的開端。此后博通進行了一系列收購,1998年收購了光通信設(shè)備制造商Epigram;2000年,Broadcom收購了另一家光通信設(shè)備制造商Luminent;2016年,Broadcom收購了從事光電器件和模塊研發(fā)的BroadLight。
可以說,通過不斷收購,高通進一步加強了其在光電領(lǐng)域的研發(fā)能力,博通也開發(fā)出了電子、光學(xué)和創(chuàng)新封裝架構(gòu)(SCIP?)。養(yǎng)兵千日,如今,博通正將其在光電領(lǐng)域的技術(shù)積累應(yīng)用到交換機產(chǎn)品中。
博通在2023年光纖通信會議(OFC)上談到了其最新的交換機產(chǎn)品——BroadcomTomahawkStrataXGS5,它在單個單片芯片中提供51.2Tbps的以太網(wǎng)交換容量。如下圖所示,該交換機值得一提的地方是,Tomahawk5采用了光電共封裝的技術(shù),它將交換機芯片和100GPAM4接口共同封裝在一起,這種新芯片能夠減少將信號驅(qū)動到交換機前端的可插拔光學(xué)器件的需求,大大降低了功耗。相比于Tomahawk4Humboldt25.6T6.4W的功率,該交換機僅需要5.5W的功率為800Gbps的流量供電。博通稱,由于采用了光電共封(CPO)的光學(xué)技術(shù),該芯片能將光學(xué)連接所需的功率降低50%以上。
51.2Tbps交換機中有一個新的交換芯片,這是一款5nm工藝的單片芯片,它搭載了六個Arm處理器核心,交換機上還支持VxLAN單通道以及PTP和SyncE等特性,可提供多達64個800GbE、128個400GbE、256個200GbE或512個100GbE鏈路。實際上,這些交換芯片是為了100GbE以上速率的交換機而設(shè)計的。博通表示,一臺新的Tomahawk5交換機可以有效地取代48臺2014年代的Tomahawk1交換機。
除了交換機芯片之外,博通還有光電共封的收發(fā)器產(chǎn)品。它也采用了博通的硅光子芯片封裝(SCIP?)技術(shù)。
博通的光電共封收發(fā)器
(圖源:博通)
Marvell
MarvellTeralynx10交換機是另一款專為800GbE時代設(shè)計的51.2T交換機,該交換機由Marvell的Teralynx1051.2Tbps交換芯片和PAM41.6Tbps光電平臺Nova組成。Teralynx品牌來自Marvell-Innovium的收購。
MarvellTeralynx10芯片跟博通的一樣,也是一款可編程5nm單片交換機芯片,具有512個112GSerDes,能滿足32x1.6T、64x800G和128x400G廣泛的交換機配置。按照Marvell的說法,一個Teralynx10取代了12個12.8Tbps一代,而且在同等容量下能減少80%的功耗。
(圖源:Marvell)
Teralynx10使用了Teralynx獨有的通用超低延遲開關(guān)和緩沖結(jié)構(gòu),還支持擁塞感知路由和實時流遙測,使網(wǎng)絡(luò)能夠自動調(diào)整和自我修復(fù)。借助線速可編程性,可以添加新的協(xié)議和功能來滿足AI/ML不斷變化的需求。Teralynx10支持廣泛的實時網(wǎng)絡(luò)遙測,包括P4帶內(nèi)網(wǎng)絡(luò)遙測(INT)。這些功能支持預(yù)測分析、更快的問題解決和更高程度的自動化。
這款新的交換機芯片可以減少AI/ML等分布式應(yīng)用程序在網(wǎng)絡(luò)上花費的時間,最大限度地提高計算利用率,并滿足人工智能和機器學(xué)習(xí)不斷增長的帶寬需求。它適用于下一代數(shù)據(jù)中心網(wǎng)絡(luò)中的枝葉和主干應(yīng)用程序,以及AI/ML和高性能計算(HPC)結(jié)構(gòu)。Teralynx10將在第二季度提供樣品。
思科
思科也在進行光電共封技術(shù)的探索,其正在和芯片制造商Inphi之間基于CPO的交換機/光學(xué)解決方案的合作,為下一代51.2Tb/s交換機和800Gb/s可插拔設(shè)備開發(fā)聯(lián)合封裝光學(xué)器件(CPO)。
在本次OFC2023上,思科也演示了CPO技術(shù)實現(xiàn)的可行性具體步驟。思科指出,其Cisco8111-32EH是一種傳統(tǒng)的32端口2x400G1RU路由器,基于CiscoSiliconOneG100ASIC的2x400G-FR4可插拔光學(xué)模塊(64x400GFR4)。思科CPO路由器配備了完整的協(xié)同封裝的基于硅光子學(xué)的光學(xué)tiles,驅(qū)動64x400GFR4,也基于帶CPO襯底的思科SiliconOneG100ASIC。思科還發(fā)明了一種在硅光子IC上執(zhí)行此復(fù)用器/解復(fù)用器的創(chuàng)新方法。思科預(yù)計試驗部署與51.2Tb交換機周期同時進行,隨后在101.2Tb交換機周期內(nèi)更大規(guī)模地采用。
英特爾
在光電共封這一技術(shù)上,英特爾是資深的玩家之一。2015年宣布推出其co-packagephotonic技術(shù)。為了提供經(jīng)濟高效的互連解決方案,英特爾一直在增加其硅光子學(xué)的帶寬,并在不斷探索使用一體封裝的光學(xué)器件。
2019年,Intel收購了以太網(wǎng)交換機芯片和數(shù)據(jù)中心軟件領(lǐng)域的新興領(lǐng)軍企業(yè)BarefootNetworks,2020年3月,英特爾展示了12.8Tb/sBarefootTofino2交換機與1.6Tb/s集成光子引擎共同封裝的方案,硅光互連平臺采用1.6Tbps光子引擎,在Intel硅光平臺上設(shè)計和制造,可提供4個400GBase-DR4接口。英特爾表示,使用一體封裝的光學(xué)器件,可將光學(xué)端口置于在同一封裝內(nèi)的交換機附近,從而可降低功耗,并繼續(xù)保持交換機帶寬的擴展能力。英特爾還表示,其51.2Tb/s解決方案應(yīng)該可以在2023年底進行商業(yè)部署。
CPU和GPU廠商的試煉
相信英特爾如此致力于硅光研究不是僅僅為了能與交換機新芯片共連,未來光學(xué)器件如果能否與CPU、GPU或XPU集成在一起也不得而知。
我們看到,英特爾花費了很大的心力,從多種路徑進行對光互聯(lián)技術(shù)的支持。2022年6月30日,英特爾研究院展示了完全集成在硅晶圓上的八波長分布式反饋(DFB),激光器陣列,該陣列輸出功率均勻性達到+/-0.25分貝(dB),波長間隔均勻性到達±6.5%,這項最新的光電共封裝解決方案使用了密集波分復(fù)用(DWDM)技術(shù),展現(xiàn)了在增加帶寬的同時顯著縮小光子芯片尺寸的前景。而且更重要的是,它是在英特爾的商用300mm混合硅光子平臺設(shè)計和制造的,因此,它為下一代光電共封裝和光互連器件的量產(chǎn)提供了一條清晰的路徑。
在2022年英特爾On峰會上,英特爾又展示了其正在開發(fā)的一項創(chuàng)新:在可插拔式光電共封裝(pluggableco-packagephotonics)解決方案上的突破。英特爾的研究人員設(shè)計了一種堅固的、高良率的、玻璃材質(zhì)的解決方案,它通過一個可插拔的連接器簡化了制造過程,降低了成本,為未來新的系統(tǒng)和芯片封裝架構(gòu)開啟了全新可能。
英偉達也看中了光互連的潛力,互連的GPU將受益于低延遲數(shù)據(jù)傳輸和顯著減少的信號損失。Nvidia或?qū)⒃谙乱淮鶱VSwitch上實施聯(lián)合封裝光學(xué)器件以實現(xiàn)節(jié)點間通信,這些系統(tǒng)應(yīng)該在互連的NVLink網(wǎng)絡(luò)中支持約4,000個GPU。
英偉達正在集各方之力推動這一技術(shù)的實施。據(jù)臺媒報道,業(yè)內(nèi)消息人士透露,臺積電參與了由Nvidia牽頭的研發(fā)項目,該項目將其稱為COUPE(緊湊型通用光子引擎)的硅光子(SiPh)集成技術(shù)用于圖形硬件,以組合多個AIGPU。
在2023年的OFC會上,AyarLabs展示了業(yè)界首個4太比特/秒(Tbps)雙向波分復(fù)用(WDM)光學(xué)解決方案。而NVIDIA的加速計算平臺正是由WDM光學(xué)互連等先進技術(shù)支持,英偉達希望通過光互連為AI提供“下一個百萬倍”加速。Nvidia還參與了AyarLabs去年的C輪融資,當(dāng)時它籌集1.3億美元用于開發(fā)其帶外激光器和硅光子互連。兩家公司計劃共同加速光學(xué)I/O技術(shù)的開發(fā)和采用,以支持AI和機器學(xué)習(xí)(ML)應(yīng)用程序和數(shù)據(jù)量的爆炸式增長。
光電共封技術(shù)商業(yè)化還有諸多挑戰(zhàn)
但是,光電共封技術(shù)要獲得大規(guī)模的商業(yè)化還需要解決多個挑戰(zhàn),它必須可靠、可維修、可部署、可顯著節(jié)能并且具有成本效益。雖然光互連有望讓芯片間的帶寬達到更高水平,特別是在數(shù)據(jù)中心內(nèi)部,但制造上的困難使其成本高昂到難以承受。
挑戰(zhàn)一,CPO技術(shù)嚴(yán)重依賴于硅光子學(xué)技術(shù),需要將光學(xué)元件小型化以適應(yīng)ASIC封裝(體積比傳統(tǒng)QSFP-DD或OSFP模塊小100多倍)。我們看到,專有的CPO方案首先出現(xiàn)在Broadcom、Intel、Marvell和其他一些公司,這些供應(yīng)商大多已經(jīng)收購或與創(chuàng)新的硅光子公司合作。他們在這一技術(shù)上的積累和努力,使得CPO的商業(yè)化漸漸成為可能。
另一方面,隨著光學(xué)和硅芯片的高度集成,新的工程能力和晶圓代工廠將是非常需要的。
在這方面,格芯是一個比較具有前瞻的代工廠。自從退出芯片先進制程的追逐后,格芯一直在探索其他技術(shù),硅光子正是格芯押注大籌碼的一項技術(shù)。2015年格芯收購了IBMMicroelectronics的一部分,因此也從IBMResearch獲得了光子學(xué)專業(yè)知識和知識產(chǎn)權(quán)。2016年,格芯就推出了其第一代硅光子平臺,并在同年創(chuàng)建了一個獨立的硅光子業(yè)務(wù)。當(dāng)時帶寬的行業(yè)標(biāo)準(zhǔn)是僅為40GB/s。格芯打賭未來行業(yè)將不得不利用光的力量在全球各地涌現(xiàn)的數(shù)據(jù)中心內(nèi)部和之間移動大量數(shù)據(jù)。事實證明,確實如此,如今數(shù)據(jù)中心的帶寬已來到400GB/s和800GB/s的數(shù)據(jù)速率。
GFFotonix是格芯為硅光子芯片打造的一個整體的平臺,這也是業(yè)界唯一的硅光子大批量300mmCMOS制造代工廠。根據(jù)格芯的介紹,該平臺將光子元件與高性能CMOS邏輯和RF集成在一起,以實現(xiàn)完全集成的單片電氣和光學(xué)計算和通信引擎,同時針對低信號損耗降級進行了優(yōu)化。此外,格芯單片硅光子平臺的光輸入和光輸出可通過高密度光纖陣列、片上集成激光器和銅金屬化實現(xiàn)與其他半導(dǎo)體芯片的2.5D和3D異構(gòu)集成。
芯片巨頭如Broadcom、思科、Marvell和NVIDIA以及AyarLabs、Lightmatter、PsiQuantum、Ranovus和Xanadu在內(nèi)的光子計算領(lǐng)域的廠商都與格芯有著密切的交流合作。此外,EDA軟件廠商Ansys、Cadence和Synopsys等也正在提供支持基于集成硅光子學(xué)的芯片和小芯片的設(shè)計工具。
寫在最后
總而言之,光電共封的解決方案確實使得新一代的交換機與前幾代相比發(fā)生了很大的突破,但是如文中所述,CPO要成為主流還有諸多因素要克服,據(jù)Yole分析師的說法,盡管CPO具有技術(shù)優(yōu)勢,但它將很難與可插拔模塊競爭,在很長一段時間內(nèi),可插拔模塊仍將是首選??刹灏?、OBO和CPO將共存一段時間。
現(xiàn)在,光學(xué)器件可以與以太網(wǎng)交換機芯片共同封裝,未來,它能否與CPU、GPU或XPU集成在一起也或許是一個探究方向。在摩爾定律動力不足的情況下,光電共封這項技術(shù)正在嶄露其潛力,從另一條新道路上來滿足當(dāng)下數(shù)據(jù)量蓬勃發(fā)展的處理需求。而且很重要的一個趨勢是,主要的芯片巨頭們都在排兵布陣,光電共封技術(shù)正在向我們走進。