HBM5는 HBM 계열의 8세대 고대역폭 메모리로, 2029년 전후 상용화를 목표로 현재 표준과 제품 개발이 동시에 진행 중인 차세대 스택드 DRAM 규격입니다. HBM4/HBM4E 이후 AI·HPC 가속기의 메모리 병목을 줄이기 위해, I/O 폭 확장과 스택 높이 증가, 냉각·전력 구조 혁신, PIM(Processing‑in‑Memory) 도입 등을 통해 대역폭과 용량을 크게 끌어올리는 방향으로 설계되고 있습니다.
세대 위치와 로드맵 상 위상
현재 JEDEC 공식 표준은 HBM3E와 HBM4까지 구체적인 물리 스펙이 시장에 공유된 상태이며, HBM4E는 규격 확정 및 초기 양산 준비 단계에 진입했습니다. 시장 관점에서 5세대는 HBM3E, 6세대는 HBM4, 7세대는 HBM4E로 간주되고 있고, 그 다음 단계인 8세대가 바로 HBM5로 로드맵에 자리 잡고 있습니다.
SK하이닉스는 2029~2031년 로드맵에서 HBM5/HBM5E 개발을 명시하며, HBM4/HBM4E 다음 세대로 HBM5를 위치시키고 있습니다. 업계 리포트에 따르면 HBM5 표준 자체는 2028년 전후 확정을 목표로 논의가 진행 중이며, 엔비디아 ‘Feynman’ 같은 차차차세대 AI GPU 아키텍처와 맞물려 본격 양산·탑재가 시작될 것으로 예상됩니다. 이 때문에 HBM5는 단순한 성능 향상을 넘어, 패키징/전력/냉각과 함께 전체 시스템 아키텍처 전환과 맞물린 ‘플랫폼 메모리’로 보는 시각이 강합니다.
핵심 스펙: 대역폭·용량·전력
현재 공개된 로드맵과 업계 자료를 종합하면 HBM5의 기본 목표 스펙은 다음과 같은 방향으로 수렴하고 있습니다.
첫째, 데이터 전송률은 HBM4가 도달하는 8 Gbps 수준을 유지하면서, I/O 폭을 4096비트까지 두 배로 확대하는 방향입니다. 이는 패키지당 총 대역폭을 약 4 TB/s 수준으로 끌어올리는 것을 목표로 하며, 현 세대 HBM3E 대비 2배 이상, HBM4 대비로도 의미 있는 대역폭 향상을 제공한다는 계산입니다. 이때 4096비트 인터페이스는 인터포저 혹은 팬‑아웃 기판 설계에 상당한 부담을 주므로, TSV 피치 축소와 함께 GPU/AI 칩과의 “초광폭 단거리 인터커넥트” 설계가 병행되어야 합니다.
둘째, 용량 측면에서는 40 Gb급 DRAM 다이를 16‑Hi로 적층해 스택당 80 GB 수준을 지향하는 것으로 알려져 있습니다. 일부 기술 로드맵에서는 장기적으로 24‑Hi까지 스택을 확장하고, 다이당 용량 역시 40 Gb 이상으로 키워 스택당 80 GB를 넘어서는 구성이 가능할 것으로 예상합니다. AI 모델 파라미터 수가 조 단위로 늘어나는 추세를 고려하면, 이러한 대용량 스택을 여러 개 병렬 배치해 수 TB급 온‑패키지 메모리를 구성하는 것이 HBM5 시대의 대표적인 시스템 아키텍처로 거론됩니다.
셋째, 전력 소모는 패키지당 100 W 수준이 거론됩니다. 이는 HBM3E 대비 상당히 높은 수치로, 동일 패키지 면적 대비 전력 밀도가 크게 증가하게 됩니다. 따라서 단순히 I/O 폭을 늘리고 스택을 높이는 것만으로는 불가능하고, 저전력 공정, 신호 인코딩 최적화, 전원 분배 네트워크(PDN) 개선, 그리고 능동적인 냉각 기술이 함께 도입될 필요가 있습니다.
패키징·기구·냉각 측면 변화
HBM 세대가 올라갈수록 패키지 높이와 열 밀도 문제는 점점 더 중요해지고 있습니다. 최근 JEDEC가 HBM 높이 규격을 기존 대비 완화해 900 μm 수준까지 허용하는 방안을 검토 중이라는 보도는, 얇은 웨이퍼를 강제로 요구하던 기존 방향에서 다소 유연한 접근으로 선회하려는 흐름으로 해석할 수 있습니다. HBM3E는 약 720 μm, HBM4는 약 775 μm 수준의 높이 규격을 갖고 있는데, 이후 세대(HBM4E 이후)부터는 더 높은 스택과 보다 두꺼운 다이를 허용하면서 생산 수율과 공정 난이도를 완화하겠다는 취지입니다.
HBM5는 16‑Hi 이상 스택과 4096비트 I/O를 전제로 하기 때문에, TSV 길이 증가와 함께 신호 지연 및 손실 관리가 더욱 까다로워집니다. 이를 보완하기 위해 차세대 하이브리드 본딩, 와이드 TC(thermo‑compression) 본더 등 새로운 3D 적층 장비가 도입되고 있으며, 스택 내부에 버퍼층을 넣어 기계적 응력과 열을 분산하는 구조도 연구되고 있습니다. KAIST Teralab 등에서 제시한 로드맵에 따르면 HBM5에서는 마이크로 채널 냉각(micro‑channel cooling)이 본격 도입되어 패키지 내부 혹은 기판 바로 아래에 냉각 채널을 통합하는 구조가 등장할 가능성이 큽니다. 이는 패키지당 100 W 이상으로 치솟는 HBM 전력을 직접적으로 냉각하기 위한 해법으로, GPU 다이와 HBM 스택 사이 혹은 그 주변에 냉각 유체가 흐르는 초근접 냉각 구조를 전제로 합니다.
이와 더불어, 스택 내부 또는 베이스 다이에 대용량 디커플링 캐패시터를 3D로 집적해 전원 안정성을 강화하는 아이디어도 꾸준히 언급됩니다. 높은 주파수와 넓은 I/O 폭에서 생기는 전압 변동을 줄이기 위해, 기존 패키지 외부에 배치하던 캐패시터 일부를 스택 내부에 품어 PDN 응답 특성을 개선하는 접근입니다.
PIM·연산 근접 메모리와 아키텍처 변화
HBM5 세대의 또 하나의 중요한 특징은 PIM(Processing‑in‑Memory), 혹은 C2M(Compute‑near‑Memory) 구조가 본격적으로 결합된다는 점입니다. Teralab 로드맵에 따르면 HBM5에서는 부분적으로 연산 유닛을 메모리 스택 내부에 도입해, 메모리‑코어 간 데이터 이동을 줄이고 실효 대역폭을 크게 끌어올리는 구성이 제안됩니다. 이는 특히 대규모 행렬 연산, 스파스 연산, 메모리 바운드한 그래프 처리 등에서 크게 효과를 발휘할 수 있습니다.
실제 SK하이닉스, 삼성전자, 마이크론 등은 이미 PIM 또는 AI용 특화 DRAM 솔루션을 선행 개발해온 상태로, HBM5 시점에는 이들 기술을 표준 HBM 스택과 통합하는 방향이 논의되고 있습니다. 예를 들어 베이스 다이나 추가 로직 다이에 간단한 MAC 연산기, 어텐션 가속기, 압축/비압축 엔진 등을 추가해, HBM 스택 자체가 일종의 “메모리‑사이드 코프로세서” 역할을 수행하게 하는 시나리오입니다. 이러한 구조는 단순히 대역폭만 높이는 것보다 AI 워크로드의 에너지 효율을 크게 개선할 수 있어, HBM5 도입을 전제로 한 차세대 AI 서버 아키텍처 논의의 핵심 중 하나로 부상하고 있습니다.
또한 HBM5에서는 메모리와 연산 다이 간 인터페이스를 최적화하기 위해, HBM 컨트롤러 위치를 조정하는 시도도 이어질 전망입니다. SK하이닉스는 HBM4E 단계에서 이미 컨트롤러를 베이스 다이로 옮기는 커스텀 HBM 솔루션을 예고한 바 있는데, 이러한 구조적 변화는 이후 HBM5/HBM5E 세대에도 이어져 메모리‑GPU 간 프로토콜 통합과 지연 시간 단축에 기여할 수 있습니다.
AI·HPC 시장에서의 의미와 과제
HBM5가 본격 도입되는 2029년 전후 시점에는 AI 가속기의 단일 보드 전력만 2~3 kW를 넘어 1만 W급 시스템까지 거론되고 있으며, 해당 시대 GPU의 메모리 서브시스템이 수십 TB/s 대역폭, 수 TB급 용량을 요구할 것이라는 전망이 나옵니다. 이에 따라 HBM5는 단순한 DRAM 세대교체가 아니라, 차세대 AI 인프라의 “대역폭 파운데이션” 성격을 갖게 됩니다. 모델 파라미터가 클수록 파인튜닝·인퍼런스 모두 메모리 대역폭과 용량에 민감해지기 때문에, HBM5를 얼마나 빨리, 그리고 얼마나 안정적으로 양산·공급할 수 있는지가 GPU 업체와 클라우드 사업자들의 경쟁력에 직결될 가능성이 큽니다.
다만 해결해야 할 과제도 분명합니다. 우선 공정 측면에서는 1γ 이하 노드에서 40 Gb급 DRAM 다이를 안정적으로 생산해야 하며, 16‑Hi 이상의 스택에서도 수율과 신뢰성을 확보해야 합니다. 둘째, 패키징 장비와 소재 측면에서 와이드 TC 본더, 하이브리드 본딩, 미세 피치 TSV, 고효율 언더필 및 인터포저 기술이 모두 성숙해야 합니다. 셋째, 100 W 수준의 패키지당 전력을 감당하기 위한 냉각 솔루션, 예를 들어 마이크로 채널, 2‑phase 냉각, 혹은 패키지‑직접 수랭 등도 필수적으로 필요합니다. 마지막으로, JEDEC 표준화 과정에서 패키지 높이·전기적 인터페이스·PIM 확장 영역 등을 어떻게 정의할 것인지가 HBM5의 상호운용성과 생태계 형성에 중요한 변수가 됩니다.