SK hynix HBM4E sætter ny standard: 16 Gbps og 48 GB pr. stak

Hukommelse er stille og roligt ved at blive flaskehalsen i kapløbet om hurtigere AI-inferens. SK hynix har netop rykket på det og sender nu prøver af sin nye HBM4E til partnere, hvilket øger presset på hukommelsesbåndbredde i accelerator-design.

Kort sagt: den er hurtigere. SK hynix' HBM4E når 16 Gbps per pin, op fra 10 Gbps i den tidligere HBM4-specifikation. Samsung, som ikke ville stå tilbage, begyndte at levere prøver af et 14 Gbps-design omkring en måned tidligere, men SK hynix' spring er bemærkelsesværdigt, fordi ydelsesforbedringer ofte medfører smertefulde kompromiser. Ikke denne gang.

SK hynix' HBM4E når 16 Gbps per pin og 48 GB per 12-die-stak.

Virksomheden stabler 12 die i en enkelt pakke, hvilket giver 48 GB pr. stak. Det er vigtigt, fordi de fleste AI-acceleratorer ikke nøjes med én stak; de sammenkobler flere HBM-stakke for at forsyne enorme matricer på chippen. Mere kapacitet pr. stak forenkler kredsløbsdesign og reducerer pakningskompleksiteten for tætte accelerator-moduler.

Strømforbruget er, hvor denne generation gør en praktisk forskel. SK hynix siger, at HBM4E er omtrent 20% mere energieffektiv end den tidligere HBM4. Forbedret effektivitet er AI-udrulningens usungne helt, du kan øge båndbredden, men hvis du ikke kan fjerne varmen, forsvinder de praktiske gevinster. SK hynix bruger en Mass Reflow Molded Underfill-proces (MR-MUF), hvor der injiceres en beskyttende væske mellem silicium-dierne for at stabilisere pakken. Resultatet: cirka 17% lavere termisk resistans sammenlignet med den ældre tilgang, hvilket hjælper kølesystemer til lettere at klare varmen.

Hvorfor betyder termisk resistans så meget? Fordi i en verden hvor rackene er proppet med acceleratorer, forlænger hver sparet watt og hvert grad lavere junction-temperatur pålideligheden og gør datacenterets kølebudgetter enklere. Ingen ingeniører kan lide overraskelser. Lavere termisk resistans er den slags forudsigelige forbedring, de kan bygge produktplaner omkring.

Der er også bredere konsekvenser. Hurtigere pins og højere densitetsstakke giver chiparkitekter mulighed for at gentænke interposer-layouts og hukommelseskanaler. De kan enten presse rå regnekraft hårdere eller skalere modeller, der tidligere stødte på hukommelseslofter. I klart sprog: større modeller, tættere inferens, eller de samme modeller kørende billigere og køligere.

SK hynix fremstillede forsendelsen af prøverne som en milepæl planmæssigt støttet af deres produktionsoplevelse. Budskabet er klart, virksomheden forventer, at partnere begynder kvalificeringsarbejde og bevæger sig mod masseproduktion. Timing er vigtig for kunder, der planlægger silicium- og modul-lanceringer; tidlig adgang til prøver forkorter den proces.

Ikke alle AI-workloads behøver at være på den allernyeste kant. Men for hyperscalere og AI-hardware-startups, der jagter topgennemstrømning, vil HBM4E's kombination af båndbredde, kapacitet og termiske fordele være fristende. Vil det omforme den næste bølge af acceleratorer? Måske. Det næste spørgsmål er, hvor hurtigt økosystemet, interposer, kølere og systemarkitekter, tilpasser sig for at udnytte den margin, disse stakke giver.

Hvis du interesserer dig for AI-hardwarens fremtid, bliv ved med at holde øje med hukommelsen. Den ændrer ofte kapløbet uden at lave meget støj, indtil den pludselig begynder at gøre det.