处理器,无论是CPU、GPU、FPGA还是NPU,都离不开RAM,尤其是DRAM(动态随机存取存储器),它有成为各种系统(PC、手机、数据中心等)中内存的代名词。
根据应用的不同,系统对芯片面积和功耗有不同的要求。
因此,DRAM分为标准DDR(双倍数据速率)、LPDDR、GDDR等,当然主要是这三类。
其中,DDR是相对于SDR(单数据速率)而言的,它使I/O时钟加倍,主要服务于PC和数据中心的CPU。
现在已经发展到DDR5; LPDDR是一种低功耗DDR,主要用于手机等便携式设备; GDDR 是 GPU 专用的 DRAM。
随着高性能计算(HPC)和人工智能的如火如荼的发展,一个很大的瓶颈是处理器和DRAM之间的通信速度,越来越跟不上应用需求的进步。
对此,人们想出了多种提高通信带宽的方法,比如不断提高DRAM本身的接口性能、存储与计算一体化等。
但从实际应用来看,仅仅提高接口性能是不够的,短期内无法实现存储一体化。
在这种情况下,引入DRAM与CPU、GPU等处理器更好的组合,意味着封装技术的不断进步,提高通信带宽已成为业界普遍共识。
01.常见的DRAM封装技术 DRAM封装技术已经经历了数次变革,从双列直插式封装DIP、J-pin小外形封装SOJ、薄型小尺寸封装TSOP、底引线塑料封装BLP、焊球阵列封装BGA(F- BGA、W-BGA),并发展为芯片级封装CSP、堆叠式封装等高性能封装方式。
只要成本允许,就可以尽可能采用先进的封装技术来提高DRAM的性能。
目前,堆叠式封装技术,特别是系统级封装(SiP),可以在有限的空间内成倍地增加存储容量,或者实现电子设计功能,以解决有限空间和互连等问题。
此外,由于封装设计的变化,引线接合封装因其灵活性、可靠性和低成本而越来越受欢迎。
倒装芯片(FC)芯片于2016年开始进入DRAM封装。
在高带宽需求的推动下,倒装芯片在PC和服务器中的采用率持续增加。
当前,系统对高带宽、高性能、低时延的综合要求很高。
硅通孔 (TSV) 非常适合高带宽内存封装要求。
在便携式电子设备应用(如手机)中,DRAM的封装尺寸将直接影响产品的尺寸。
因此,封装技术必须向轻、薄、短、小方向发展。
不同的用途,产品的尺寸、性能、形式等都有差异,所采用的包装形式也不同。
其中,移动终端DRAM(LPDDR)多为WB-FBGA,而PC和服务器用标准DDR则主要为FBGA和FC。
以DDR为例。
FBGA线长短,信号传输好,成本低。
曾被三星、SK海力士、美光等主流厂商广泛采用。
随着记忆棒产品向DDR4发展,三星和SK海力士的许多产品开始转向FC封装,这种封装具有更短的传输路径和更好的电气性能。
虽然FC的成本高于FBGA,但得益于规模效应,两者的成本基本持平。
如今的高端产品,例如DDR5,具有非常高的性能要求,目前采用TSV堆叠封装。
TSV采用纵向贯通结构,通过导线将不同层的芯片相互连接起来。
这种连接方式不仅提供了更高的信号带宽,而且还降低了电阻和电感,提高了芯片的整体性能。
多个芯片的I/O通过TSV连接,实现多芯片堆叠以扩大容量并实现更小的信号损失。
LPDDR与处理器紧密集成,要么焊接在主板上,靠近CPU,要么以层叠封装的形式直接安装在处理器(在这种情况下通常是SoC)顶部。
越来越普遍。
紧密集成减少了连接存储器和处理器的长电线的电阻,从而降低了功耗。
总体而言,引线键合是主要封装方式,广泛应用于移动存储器,其次是倒装芯片封装,在DRAM市场中不断扩大。
02. HBM 推动封装技术创新。
目前,AI服务器对HBM(高带宽内存)的需求越来越大,因为HBM大大缩短了布线距离,从而大大提高了AI处理器的计算速度。
HBM已经经历了几代产品,包括HBM、HBM2、HBM2e和HMB3,最新的HBM3e刚刚发布。
HBM 是一种用于 CPU 和 GPU 的新型内存。
它将多个DDR芯片堆叠在一起,并与GPU封装在一起。
它主要通过TSV技术堆叠芯片,并通过贯穿所有芯片层的柱状通道传输信号、指令和数据。
目前,以提高吞吐量并克服单个封装内的带宽限制,实现大容量、高带宽的DDR组合阵列。
HBM3带宽可达819GB/s。
目前,全球三大存储芯片厂商都在开发HBM技术和产品。
其中三星和SK海力士已量产HBM3,主要应用于NVIDIA的H100、H800和AMD的MI300系列GPU。
三星预计将于2024年推出HBM3。
HBM3e将于第一季度发送样品,下半年量产。
SK 海力士最近向 Nvidia 发送了 HBM3e 样品。
其最新的GPU芯片H200已标配HBM3e。
美光科技相对落后。
该公司选择跳过HBM3,直接开发HBM3e。
传统的封装技术已经无法满足HBM的需求,而台积电的CoWoS(晶圆基片上芯片)封装是一种理想的解决方案。
CoWoS是一种集成逻辑和HBM芯片的2.5D封装技术。
在此封装中,处理器和 HBM 并排粘合在硅中介层上,以形成器件之间具有细间距和高密度互连布线的晶圆。
圆上芯片 (CoW)。
每个 HBM 由具有微凸块的 DRAM 和具有 TSV 的逻辑基座组成,然后在基板上完成具有较大凸块的 TSV 中介层的组装。
多年来,CoWoS 一直在追求不断增加的硅中介层尺寸,以支持封装中的处理器和 HBM 堆栈。
目前,CoW是倒装芯片接合最常见的组装方法,它使用称为混合接合方法的无凸块技术。
CoWoS产能不足是近期AI芯片出货的主要瓶颈。
以台积电为代表的厂商正在扩大相关产能以满足市场需求。
03、先进封装大战台积电2011年开始布局CoWoS,并陆续获得多个客户订单。
但由于报价昂贵以及相应的需求有限,前几年的产能并没有明显增加。
不过,进入2023年以来,尤其是AIGC需求爆发的时候,台积电开始大幅扩建CoWoS产线。
目前,除了台积电之外,英特尔、三星等主要芯片厂商也在加大对先进封装的投入。
对于英特尔来说,该公司最新的先进封装服务预计将于2026年投入量产。
与其他竞争对手主要采用硅基中间层技术不同,英特尔选择使用玻璃基板,玻璃基板价格相对昂贵,而且国内制造商很少。
采用该解决方案的行业。
三星是最积极追赶台积电HBM先进封装技术的。
2021年,三星推出2.5D封装技术H-Cube。
今年9月,Etnews报道称,为了赶上台积电的AI芯片先进封装,三星将推出名为FO-PLP的2.5D封装技术。
据悉,FO-PLP可以将处理器和HBM集成到硅中介层中。
据悉,FO-PLP的基板是方形的,而台积电的CoWoS是圆形基板。
FO-PLP不存在边缘基板丢失的问题,但由于需要将芯片从晶圆移植到方形基板,因此操作较为复杂。
近期,三星还推出了最新的封装技术SAINT,包括SAINT S(垂直堆叠内存和CPU)、SAINT D(垂直堆叠CPU、GPU和内存)和SAINT L(用于堆叠应用处理器)。
消息人士称,SAINT S已经通过了验证测试,在与客户进一步测试后,三星将在2024年推出相应的商业服务。
近日,三星HBM3及其封装服务通过了AMD的质量测试,AMD计划使用这些芯片和服务其最新的GPU芯片Instinct MI300X。
此前,AMD曾考虑使用台积电的封装服务,但由于后者的CoWoS产能严重供不应求,AMD不得不改变计划。
据韩国消息人士透露,三星还与Nvidia合作验证HBM3芯片技术并提供封装服务。
一旦工作完成,三星预计将负责Nvidia的H100和HBM3的封装,据报道两家公司已经签署了服务和供应协议。
今年6月,三星成立了多芯片集成联盟,与存储芯片公司、外包半导体封装测试公司(OSAT)以及芯片设计公司共同推广封装技术。
在先进封装技术研发方面,没有芯片厂的AMD也不遗余力,尤其是在HBM以及GPU和CPU封装方面。
在ISSCC 2023国际固态电路大会上,AMD提出了多种新的封装思路,其中之一就是将内存直接堆叠在服务器CPU模块内部,而且是多层堆叠。
一种方法是将CPU模块和内存模块并排封装在硅中介层上,另一种方法是将内存直接堆叠在计算模块之上,有点像手机SoC。
AMD表示,这种设计允许计算核心在更短的距离内访问内存,并具有更高的带宽、更低的延迟和更低的功耗。
如果堆叠内存容量足够大,主板上的DIMM插槽可以省略。
AMD甚至考虑在Instinct系列GPU已经集成HBM封装的基础上继续堆叠DRAM,但只有一层,容量不会太大。
这样做的最大好处是,一些关键算法可以直接在这块DRAM中执行,无需在CPU和独立内存之间来回通信,从而提高性能并降低功耗。
AMD还设想在2D/2.5D/3D封装内集成更多模块,包括内存、统一封装光网络通道物理层、特定域加速器等,并引入高速标准化芯片间接口通道(UCIe)。
04.结论3D封装是未来的发展方向。
这种多层结构有很多优点: 1、通过增加芯片层数和连接方式,实现更高的芯片集成度和功能密度; 2、多层堆叠结构减小了整个芯片的尺寸,使电子设备更薄、更便携;第三,多层堆叠提供更高的性能和效率,可以进一步优化电子设备的处理速度和能耗。
HBM所涉及的封装已经是目前最先进的内存封装技术。
然而,技术进步的步伐并没有停止。
在扩大现有先进技术生产线的基础上,各大厂商也在开发更具前瞻性的技术。
。
据悉,三星电子先进封装(AVP)事业群正在开发新一代内存技术“Cache DRAM”,目标于2025年开始量产。
与HBM相比,Cache DRAM功耗效率可提高60% %,延迟将减少 50%。
在封装技术方面,Cache DRAM和HBM也有很大不同。
HBM 水平连接到 GPU,而 Cache DRAM 垂直连接到 GPU。
当然,不仅是三星,英特尔、台积电、日月光等大厂也在研发新的内存封装技术,但具体情况目前还不得而知。
在发展先进封装技术的道路上,还有很多问题需要解决。
例如,随着堆叠层数的增加,热管理问题变得越来越突出,因为在紧密堆叠的芯片中,散热变得更加困难。
。
对此,科学家们不断寻找解决方案,保持芯片高性能工作状态的稳定性和可靠性。