AI 반도체의 핵심 HBM, 왜 메모리가 중요해졌을까? HBM4·HBM4E 경쟁까지
AI 반도체라고 하면 대부분 엔비디아의 GPU부터 떠올립니다. 실제로 AI 연산에서 GPU는 매우 중요한 역할을 합니다. 하지만 최근 AI 반도체 시장을 공부하다 보면 GPU 못지않게 자주 등장하는 부품이 있습니다. 바로 HBM(High Bandwidth Memory) 입니다. 처음 HBM이라는 단어를 접했을 때는 단순히 '속도가 빠른 메모리' 정도로 생각하기 쉽습니다. 그런데 AI 데이터센터가 확대되면서 HBM은 단순한 메모리 제품을 넘어 AI 반도체 성능을 좌우하는 핵심 부품 중 하나 로 자리 잡고 있습니다. 그렇다면 왜 AI 시대에는 HBM이 중요해진 것일까요? GPU가 아무리 빨라도 데이터를 빨리 보내지 못하면 문제가 생긴다 AI 반도체를 이해할 때 가장 먼저 생각해야 할 부분은 연산 능력과 데이터 이동 입니다. GPU가 아무리 많은 계산을 할 수 있어도 필요한 데이터를 제때 공급받지 못하면 GPU의 연산 능력을 충분히 활용하기 어렵습니다. 쉽게 비유하면 GPU가 고성능 공장이라면 HBM은 공장에 원재료를 빠르게 공급하는 물류 시스템에 가깝습니다. 공장의 생산 능력만 높인다고 전체 생산량이 무조건 증가하는 것은 아닙니다. 원재료 공급이 늦어지면 생산라인이 기다려야 하기 때문입니다. AI도 비슷합니다. 대규모 AI 모델은 엄청난 양의 데이터를 처리해야 하고, 이 데이터를 연산 장치에 빠르게 공급하는 것이 중요합니다. 그래서 AI 반도체에서는 단순히 GPU의 연산 성능뿐 아니라 얼마나 많은 데이터를 얼마나 빠르게 주고받을 수 있는가 라는 문제가 중요해지고 있습니다. 이 과정에서 HBM의 역할이 커지고 있습니다. HBM은 일반 DRAM과 무엇이 다를까? HBM은 여러 개의 메모리 칩을 수직으로 쌓아 사용하는 구조가 특징입니다. 여러 개의 DRAM 다이를 위로 쌓고 TSV(Through Silicon Via) 라는 기술을 이용해 칩 사이를 연결합니다. 기존 메모리와 비교하면 데이터를 이동시키는 통로를 더 넓게 구성할 수 있다는 것이 중요한 특...