图片来源：Unsplash-Gavin Phillips |半导体行业垂直ChatGPT从下游AI应用到上游芯片领域已经开始流行。
将GPU等AI芯片推向巅峰的同时，也极大提振了市场。
对新一代内存芯片HBM（高带宽内存）的需求。
据悉，2023年初以来，来自三星、SK海力士的HBM订单迅速增加，价格也水涨船高。
据市场消息称，近期HBM3规格DRAM的价格已经上涨了五倍。
HBM（高带宽内存）是一种新型CPU/GPU内存芯片。
它实际上是将很多DDR芯片堆叠在一起，与GPU封装在一起，实现大容量、高位宽的DDR组合阵列。
内存市场从去年下半年开始进入寒冬。
为什么HBM仍然火爆？ 01.需求驱动。
长期以来，内存行业的价值主张一直在很大程度上面向系统级需求，已经超出了当前系统性能的极限。
显然，内存性能的提升将会出现一个拐点，因为越来越多的人开始质疑系统性能是否总能通过内存层面的权衡（例如功耗、散热、板空间等）来提升.)。
与传统DRAM相比，HBM在数据处理速度和性能方面具有显着优势，有望获得业界的广泛关注并被越来越多的采用。
随着集成电路工艺技术的发展，3D和2.5D系统级封装（SiP）和硅通孔（TSV）技术日益成熟，为高带宽和大容量存储器的发展提供了基础产品。
针对存储器高带宽、大容量、低功耗的需求，自2013年起，国际电子元件工业联合会（JEDEC）制定了三代、多个系列版本的高带宽存储器（HBM、HBM2、HBM2E） ，HBM3）标准。
2022年1月28日，JEDEC正式发布JESD238 HBM DRAM（HBM3）标准。
技术指标较现有HBM2、HBM2E标准有较大提高。
该芯片单引脚速率达到6.4Gbit/s，实现超过1TB/s的总带宽，支持16-Hi堆栈，堆栈容量达到64GB，为新一代高带宽存储器的发展方向奠定了基础[9] ]。
HBM通过TSV和微凸块技术将3D垂直堆叠的DRAM芯片相互连接起来，突破现有的性能限制，大大增加存储容量，并提供高内存访问带宽。
HBM堆栈结构的优点 来源：电子与封装 高速、高带宽的HBM堆栈不是以外部互连线的形式与信号处理器芯片连接，而是通过中间介电层紧凑、快速地连接。
同时，HBM内部不同的DRAM采用TSV实现垂直信号连接，HBM与片上集成RAM存储器几乎具有相同的特性。
可扩展至更大容量 HBM 具有可扩展至更大容量的特性。
HBM单层DRAM芯片容量可扩展； HBM可以通过4层、8层或12层堆叠DRAM芯片实现更大的存储容量； HBM可以通过SiP集成多个HBM堆叠的DRAM芯片，以实现更大的存储容量。
内存容量。
SK Hynix 最新的 HBM3 堆栈容量高达 24 GB。
更低的功耗由于采用了TSV和微凸块技术，实现了DRAM芯片和处理器之间更短的信号传输路径，以及更低的单引脚I/O速度和I/O电压，使得HBM更有能力的。
良好的内存功耗和能效特性。
以DDR3内存标准化单针I/O带宽功耗比为基准，HBM2的I/O功耗比明显低于DDR3、DDR4和GDDR5内存。
与GDDR5显存相比，HBM2带宽的单针I/O功耗比数值低42%。
尺寸更小 在系统集成方面，HBM将原本在PCB板上的DDR内存颗粒和CPU芯片全部集成到SiP中。
因此，HBM在节省产品空间方面也更具优势。
与GDDR5显存相比，HBM2节省了94%的芯片面积。
02、HBM新时代，巨头布局。
HBM的每一次更新迭代都会伴随着处理速度的提升。
引脚数据传输速率为1Gbps的第一代HBM已经发展到其第四代产品HBM3，速率提升至6.4Gbps，这意味着每秒可以处理819GB的数据。
也就是说，下载一部163分钟的全高清电影（5GB）只需要1秒。
与上一代 HBM2E (3.6Gbps) 相比，速率提高了一倍。
当然，内存容量也在不断增加：HBM2E最大容量为16GB，HBM3最大容量增加到24GB（业界最大容量）。
SK海力士将同时推出16GB和24GB两种容量的HBM3产品。
此外，HBM3还配备了ECC（On Die-Error Correction Code），可以自动纠正DRAM单元数据传输中的错误，从而提高产品可靠性。
硅通孔（TSV）可以说是实现存储器上述高性能的核心技术。
TSV技术通过电极连接DRAM芯片上数千个微小的孔，以连接芯片并传输数据。
与通过芯片上连接导线传输数据的传统技术相比，TSV技术不仅可以将速度提高一倍，还有助于提高密度。
HBM3和HBM2E最根本的区别在于产品规格（spec）本身进行了升级。
在HBM2的产品规格下，其速度和容量已经达到极限，无法进一步提升。
因此，SK海力士研发团队定义了新的产品规范——HBM3。
美光高性能内存和网络业务副总裁兼总经理 Mark Montierth 表示：“美光致力于为全球最先进的计算系统提供业界性能最佳的解决方案。
HBM3 提供的内存带宽对于实现下一代高性能计算、人工智能和百亿亿次系统至关重要。
我们与Synopsys的合作将加速HBM3产品生态系统的开发，以实现前所未有的超高带宽、功耗和性能。
”三星电子内存产品规划高级副总裁Kwangil Park表示：“在数据驱动计算时代，人工智能、高性能计算、图形等应用的发展极大地增加了对内存带宽的需求。
全球领先的存储芯片制造商三星一直致力于支持生态系统的形成，开发HBM以满足不断增长的带宽需求。
Synopsys是HBM行业生态系统的先驱，也是三星的重要合作伙伴。
我们期待与您合作与 Synopsys 合作，继续为客户提供更好的 HBM 性能。
”三星在布局高带宽内存（HBM）市场方面较为积极，凭借深厚的积累在高带宽内存（HBM）市场具有一定的影响力。
2021年，三星宣布取得新突破，首次在AI人工智能市场推出HBM-PIM技术。
此前，HBM和HBM2内存技术是业界最强大、应用最广泛的技术，但这次HBM-PIM将AI处理器的功能集成在HBM芯片上。
PIM直接将计算功能集成在内存芯片上，而不是将CPU和内存数据分开。
这一突破促使三星首创的 HBM-PIM 技术实现了 2 倍的性能提升，同时功耗降低了 70%。
在2022年技术大会上发布的内存技术发展路线图中，三星展示了覆盖不同领域的内存接口演进速度。
在高性能云服务器领域，HBM已经成为高端GPU的标准，这也是三星重点投资的领域之一。
HBM的特点是利用先进的封装技术和多层堆叠实现超高的IO接口宽度，加上更高速的接口传输速率，从而在高能效的情况下实现超高带宽。
在三星公布的路线图中，HBM3技术已于2022年投入量产，其单芯片接口宽度可达1024bit，接口传输速率可达6.4Gbps，较上一代提升1.8倍，从而实现单芯片接口带宽819GB/s。
，如果采用6层堆叠，总带宽可以达到4.8TB/s。
2024年，预计将实现接口速度高达7.2Gbps的HBM3p，从而使数据传输速率比这一代进一步提高10%，从而将总堆栈带宽提高到5TB/s以上。
另外，这里的计算并没有考虑先进封装技术带来的高多层堆叠和存储器宽度的改进。
预计HBM3p单芯片和堆叠芯片都将在2024年实现更多总带宽提升，这也将成为人工智能应用的重要驱动力。
预计2025年后将在新一代云旗舰GPU中看到HBM3p的使用，从而进一步增强云人工智能的计算能力。
SKhynix 副总裁、HBM 产品负责人兼 DRAM 设计负责人 Cheol Kyu Park Hyun 表示：“作为全球领先的半导体制造商，SKhynix 持续投资开发包括 HBM3 DRAM 在内的下一代内存技术，以满足人工智能和图形应用程序工作负载呈指数增长驱动的需求。
与 Synopsys 建立长期合作关系有助于我们为共同客户提供经过充分测试且可互操作的 HBM3 解决方案，以提高内存性能、容量和吞吐量。
” SK 海力士正在新一代高带宽内存（HBM，High Bandwidth）领域取得胜利。
秘密在于MR-MUF（Mass Reflow Molded Underfill）技术，通过这项自研技术，SK海力士不仅击败了竞争对手美光半导体（Micron），还击败了DRAM排名第一的三星电子03、ChatGPT推动内存市场日益增长ChatGPT等新兴AI产品对高性能内存芯片的需求，据韩国经济日报报道，得益于ChatGPT，三星和SK海力士的高带宽内存（HBM）订单大幅增加。
HBM相关上下游企业也纷纷发力，抢占先机。
AMD在HBM的诞生和发展中发挥了重要作用。
正是AMD最先认识到DDR的局限性，并提出了开发堆叠内存的想法。
后来又与SK海力士联合开发HBM，并在其Fury显卡中采用了全球首款HBM。
据ISSCC 2023国际固态电路大会消息，AMD正在考虑在集成封装了HBM高带宽内存的Instinct系列加速卡之上继续堆叠DRAM内存。
一些关键算法核心可以直接集成到集成存储器中。
执行时无需在CPU和独立内存之间来回通信，从而提高AI处理性能并降低功耗。
NVIDIA也非常重视处理器和内存之间的协同作用，一直要求SK海力士提供最新的HBM3内存芯片。
据悉，已有超过25000张NVIDIA计算卡加入到深度学习训练中。
如果所有互联网公司将像ChatGPT这样的机器人添加到搜索引擎中，计算卡和相应服务器的需求将达到50万台，这也将带动HBM的需求大幅增长。
IP厂商也率先布局HBM 3。
去年，Synopsys推出了首个完整的HBM3 IP解决方案，包括用于2.5D多芯片封装系统的控制器、PHY（物理层芯片）和验证IP。
HBM 3 PHYIP 基于 5 纳米工艺构建。
每个引脚的速率可达7200Mbps，内存带宽可提升至921GB/s。
Rambus还推出了支持HBM3的内存接口子系统，包括完全集成的PHY和数字控制器，数据传输速率为8.4Gbps，带宽超过1TB/s。