内存技术是计算机系统的核心组成部分，其性能的提升对于整体算力的提升至关重要。
在此背景下，高带宽内存（HBM）以其优异的性能在内存技术领域逐渐崛起，成为推动计算领域进入新时代的关键力量。
与传统的动态随机存取存储器（DRAM）相比，HBM的性能优势十分明显。
01.远远超越DDRDDR是一种常见的计算机内存类型，它最初是为了提高内存传输速率而设计的。
它采用双数据传输技术，即每个时钟周期内可以传输两次数据，从而提高了数据传输速率。
目前最常见的DDR版本是DDR4和DDR5，但过去也有DDR3、DDR2、DDR等版本。
每代DDR版本都有不同的数据传输速率和性能。
DDR内存通常用于计算机的系统内存中，用于存储操作系统和正在运行的应用程序等数据。
HBM是一种高带宽内存技术，专注于提供更高的内存带宽，特别适合高性能计算和图形处理领域。
HBM的一个显着特点是它采用堆叠技术将多个DRAM芯片垂直堆叠在一起，从而大大增加数据路径并提高内存带宽。
因此，HBM具有可扩展至更大容量的特点。
HBM 的单层 DRAM 芯片容量不仅可扩展，还可以实现 4 层、8 层或 12 层堆叠 DRAM 芯片。
此外，HBM还可以通过SiP集成多个HBM堆叠的DRAM芯片，以实现更大的内存容量。
。
HBM 内存通常用于高性能显卡、GPU 加速器以及需要大量数据传输的高性能计算应用。
从功耗角度来看，由于采用了TSV和微凸块技术，在DRAM芯片和处理器之间实现了更短的信号传输路径以及更低的单引脚I/O速度和I/O电压，使得HBM更好的内存功耗和能效特性。
以DDR3内存标准化单引脚I/O带宽功耗比为基准，HBM2的I/O功耗比明显低于DDR3、DDR4和GDDR5内存。
与GDDR5显存相比，HBM2带宽的单针I/O功耗比数值低42%。
在系统集成方面，HBM将原本在PCB板上的所有DDR内存颗粒和CPU芯片都集成到了SiP中，因此HBM在节省产品空间方面也更具优势。
与GDDR5显存相比，HBM2节省了94%的芯片面积。
02.三大原厂研发流程。
目前HBM市场主要由SK海力士、三星和美光占据。
2014年，SK海力士与AMD联合开发了全球首款直通硅片的HBM。
迄今为止，已经迭代升级四代HBM产品，性能和容量持续提升。
2020年，SK海力士宣布新一代HBM2E研发成功； 2021年，研发出全球首款HBM3； 2022年，HBM3芯片将供应给NVIDIA。
2023年8月，SK海力士推出HBM3E，11月Nvidia宣布H200将搭载HBM3E。
可以说，从HBM1、HBM2E、HBM3、HBM3E来看，SK海力士持续领先。
2022年，SK海力士将占HBM市场约50%，三星将占40%，美光将占10%。
长期以来，SK海力士都是NVIDIA HBM的独家供应商。
SK海力士将在2023年基本垄断HBM3的供应，今年的HBM3和HBM3E订单也已售空。
三星于2016年开始宣布量产4GB/8GB HBM2 DRAM； 2018年，宣布第二代8GB HBM2量产； 2020年推出16GB HBM2E产品； 2021年，三星开发出具有AI处理能力的HBM-PIM；虽然三星的路线图显示HBM3技术将于2022年量产，但实际上三星的HBM3要到2023年底才会得到正式验证，这意味着在量产之前，市场仍然被SK海力士垄断。
再看美光，2020年，美光宣布开始提供HBM2内存/显卡； 2021年将推出HBM2E产品。
为了改善在HBM市场的被动地位，美光选择直接跳过第四代HBM，HBM3，直接升级到第五代，HBM3E。
随后在2023年9月，美光宣布推出HBM3 Gen2（HBM3E），随后表示计划于2024年初开始批量出货HBM3 Gen2内存，还透露Nvidia是主要客户之一。
03. HBM2e过渡到HBM3e概念的起飞与AIGC的普及有直接关系。
大型AI模型的兴起催生了对海量算力的需求，数据处理量和传输速率的大幅提升使得AI服务器对芯片内存容量和传输带宽提出了更高的要求。
HBM具有高带宽、高容量、低延迟、低功耗等优势，已逐渐成为AI服务器中GPU的标准配置。
目前，HBM产品开发顺序为HBM（第一代）、HBM2（第二代）、HBM2E（第三代）、HBM3（第四代）、HBM3E（第五代）。
最新的HBM3E是HBM3版本的扩展。
来源：山西证券 HBM的每一次更新迭代都会伴随着处理速度的提升。
第一代引脚数据传输速率为1Gbps的HBM已经发展到第五代产品HBM3E，速率提升至8Gbps，这意味着每秒可以处理1.225TB的数据。
换句话说，下载一部 163 分钟的全高清电影（1TB）只需不到 1 秒。
当然，内存容量也在不断增加。
HBM2E的最大容量为16GB。
目前，三星正在使用EUV光刻机制造容量为24GB的HBM3芯片。
此外，8层和12层堆叠在HBM3E上可以实现36GB（业界最大）的容量，比HBM3提高50%。
。
此前，SK海力士和美光均宣布推出HBM3E芯片，两者均可实现超过1TB/s的带宽。
据TrendForce调查显示，2023年HBM市场主流为HBM2e，包括NVIDIA A100/A800、AMD MI200以及大部分CSP自研加速芯片均采用该规格设计。
同时，为了适应AI加速器芯片不断发展的需求，各原厂计划在2024年推出新产品HBM3e，预计明年HBM3和HBM3e将成为市场主流。
04、HBM3e市场彻底引爆。
SK海力士无疑是这波内存热潮的最大受益者。
截至2023年12月31日，SK海力士2023财年及第四季度营收均实现大幅增长。
尤其是其主要产品DDR5 DRAM和HBM3今年的营收较去年增长了四倍以上。
Nvidia和AMD的下一代人工智能GPU预计将主要配备HBM3内存。
例如，H100是第一个支持PCIe 5.0标准的GPU，也是第一个使用HBM3的GPU。
它最多支持6个HBM3，带宽为3TB/s，是使用HBM2E的A100的1.5倍。
默认显存容量为80GB。
2023年11月，NVIDIA发布了新一代AI GPU芯片H200，以及搭载该GPU的AI服务器平台HGX H200等产品。
这款GPU是H100的升级型号。
它仍然采用Hopper架构和台积电4nm工艺技术。
据英伟达官网介绍，H200的GPU芯片没有升级，核心数和频率也没有变化。
主要升级是首次搭载HBM3e显存，容量从80GB增加到141GB。
得益于全新升级的HBM3e芯片，H200的内存带宽可达4.8TB/s，比H100的3.35TB/s提升43%。
然而，这还远远没有达到HBM3e的上限。
海外分析人士称，Nvidia有意降低HBM3e的速度以追求稳定性。
如果与传统x86服务器相比，H200的内存性能可达110倍。
由于美光、SK海力士等公司的HBM3e芯片要到2024年才会出货，英伟达表示H200产品预计会在2024年第二季度正式推出。
AMD的MI300也搭载了HBM3。
其中，MI300A的容量与上一代相同为128GB，而更高端的MI300X容量为192GB，增加了50%。
AMD声称MI300X提供的HBM密度高达NVIDIA AI芯片H100的2.4倍，其HBM带宽高达H100的1.6倍。
这意味着AMD的芯片可以运行比Nvidia的芯片更大的模型。
同时，2023年，随着AI GPU和各类AI相关产品的需求激增，HBM价格将持续上涨。
市场研究公司Yolo Group的一份报告显示，HBM内存供需链在2023年发生了重大变化，生产水平和采用率同时显着提高，使得HBM成为比人工智能热潮之前更有价值的资源。
2023年HBM芯片的平均销售价格是传统DRAM内存芯片的五倍。
现在 HBM 已经盛行，任何存储制造商都无法抗拒不分一杯羹。
05、三大原厂“疯狂”进行技术升级。
SK 海力士在 SEMICON Korea 2024 上发布了重要公告，公布了其雄心勃勃的高带宽存储器路线图。
该公司副总裁 Kim Chun-hwan 透露，计划于 2024 年上半年开始量产先进的 HBM3E，并强调向客户交付 8 层堆栈样品。
HBM3E 是 SK 海力士产品线的最新成员，旨在满足日益增长的数据带宽需求，在 6 堆栈配置中提供每堆栈 1.2 TB/s 的带宽和惊人的 7.2 TB/s 的通信带宽。
Kim Chun-hwan 将这一进步的紧迫性归因于生成式人工智能的快速崛起，预计其复合年增长率 (CAGR) 将达到惊人的 35%。
不过，他警告说，由于客户期望不断升级，半导体行业正面临着“激烈的生存竞争”。
随着工艺技术节点缩小并接近极限，半导体行业越来越关注下一代内存架构和工艺，以释放更高的性能。
SK海力士已开始HBM4的开发，计划2025年提供样品，次年量产。
根据美光的信息，HBM4将采用比前几代HBM更宽的2048位接口。
这导致每个堆栈的理论峰值内存带宽超过 1.5 TB/s。
为了实现这些非凡的带宽，同时保持合理的功耗，HBM4 的目标数据传输速率约为 6GT/s。
更宽的接口和更快的速度将使 HBM4 能够突破内存带宽的界限，满足高性能计算和人工智能工作负载不断增长的需求。
半导体行业巨头三星也制定了 HBM4 的发布时间表，计划于 2025 年提供样品，并于 2026 年量产。
三星高管 Jaejune Kim 透露，该公司一半以上的 HBM 产量已经由专业产品组成。
定制 HBM 解决方案的趋势预计将加剧。
通过逻辑整合，量身定制的选项对于满足个性化客户需求至关重要，从而巩固市场地位。
随着HBM3E的发布和HBM4的准备，SK海力士和三星正在为未来的挑战做好准备，旨在保持在HBM技术前沿的地位。
不仅如此，全球三大存储芯片制造商正在将更多产能转移到生产HBM。
但由于产能调整需要时间，HBM产量难以快速增加。
预计未来两年 HBM 供应仍将紧张。
我们再来看看三大原厂的扩产情况。
据悉，SK海力士将扩大对高带宽内存生产设施的投资，以应对高性能AI产品日益增长的需求。
去年6月，有媒体报道称SK海力士准备投资后端工艺设备，并将扩建封装HBM3的利川工厂。
预计到今年年底，工厂后段工艺设备规模将扩大近一倍。
此外，SK海力士还将在美国印第安纳州建造一座最先进的制造工厂。
据英国《金融时报》采访的两名消息人士透露，SK海力士将在该工厂生产HBM堆栈，该堆栈将用于台积电生产Nvidia GPU，SK集团董事长表示该工厂预计耗资220亿美元。
三星电子与SK海力士之间的竞争正在升温。
三星电子从去年第四季度开始扩大第四代HBM HBM3的供应，目前正进入过渡期。
负责三星美国半导体业务的执行副总裁韩金满(Han Jin-man)今年1月表示，该公司对包括HBM系列在内的大容量存储芯片寄予厚望，希望其能够引领快速增长的存储芯片领域。
人工智能芯片。
他在CES 2024的媒体发布会上对记者表示，“我们今年的HBM芯片产量将比去年增长2.5倍，明年将继续增长2倍。
”三星官方还透露，该公司计划到今年第四季度将产量提高2.5倍。
将HBM的最大产量提高到每月15万至17万件，以争夺2024年的HBM市场。
三星电子此前斥资105亿韩元收购三星显示器位于韩国天安市的工厂和设备，以扩大HBM产能。
它还计划投资7000亿至1万亿韩元购买新的包装线。
为了缩小差距，美光对其下一代产品 HBM3E 下了很大的赌注。
美光首席执行官 Sanjay Mehrotra 表示：“我们正处于为 Nvidia 下一代 AI 加速器提供 HBM3E 验证的最后阶段。
”它计划于2024年初开始大批量出货HBM3E内存，同时强调其新产品受到了整个行业的极大兴趣。
据悉，美光科技位于中国台湾的台中第四工厂已于2023年11月上旬正式启用。
美光表示，台中第四工厂将整合先进的检测和封装测试功能，量产HBM3E等产品，以满足对人工智能、数据中心、边缘计算、云等各种应用的需求不断增长。
该公司计划于2024年初开始大批量出货HBM3E。
值得注意的是，高端HBM的竞争才刚刚开始。
虽然目前整体存储中HBM产品的出货量还很小，但从长远来看，随着消费电子产品向AI方向发展，对于高算力、高存储、低能耗将是主要需求。
由此看来，预计HBM也将成为未来存储厂商的技术发展方向。