AI 메모리에는 열 예산이 있습니다: 3D 적층이 바꾸는 것

프로세서 칩 가까이에 메모리를 어디에 두느냐에 따라 담을 수 있는 데이터의 양, 데이터가 움직이는 속도, 그리고 열이 칩 둘레의 패키지를 빠져나가는 경로가 달라집니다. 이 글은 그 열 경로를 따라가고, 메모리를 쌓는 제안들을 같은 가정에서 비교하는 6행 점검표로 마칩니다.

AI(artificial intelligence, 인공지능) 가속기에 메모리가 더 필요하면, 다음 메모리 다이(die, 개별 메모리 칩)를 어디에 둘지 정해야 합니다. 프로세서 옆, 프로세서 위, 또는 프로세서 위에 세워서 두는 방법이 있습니다. 선택에 따라 담을 수 있는 데이터의 양과 데이터가 움직이는 속도가 달라지고, 덜 눈에 띄지만 패키지에서 열이 빠져나가는 경로도 달라집니다.

여기서 말하는 메모리는 DRAM(dynamic random-access memory)으로, 연산 중 데이터를 담아 두는 주 작업 메모리입니다. HBM(high-bandwidth memory)은 여러 DRAM 다이를 쌓고 많은 병렬 연결로 묶은 메모리입니다. 그 옆이나 아래에 놓이는 프로세서가 GPU(graphics processing unit)이며, AI 학습에서 산술 연산 대부분을 수행하는 칩입니다.

먼저 워크로드를 실제로 제한하는 것이 무엇인지 확인합니다

용량은 메모리가 담을 수 있는 데이터의 양이고, 대역폭은 메모리가 초당 전달할 수 있는 데이터의 양입니다. 모델이 메모리에 들어가지 않으면 용량이 필요하고, 들어가더라도 데이터를 계속 기다린다면 대역폭이 필요합니다. 산술 연산 자체가 속도를 정하는 상태를 compute-bound(연산 한계 상태)라고 하며, 이때는 어느 쪽 메모리를 늘려도 효과가 작습니다. 그래서 “메모리를 더 늘린다”는 말에는 최소 세 가지 질문이 섞여 있고, 그중 하나에만 답하는 제안은 아직 무엇이 빨라진다는 것을 보여 준 것이 아닙니다.

GPU 주변에 메모리를 두는 세 가지 방법

현재의 상용 방식은 2.5D 패키징입니다. GPU와 HBM 스택을 인터포저(interposer, 다이 사이의 많은 신호를 전달하는 얇은 연결층) 위에 나란히 놓습니다. TSMC는 CoWoS(Chip-on-Wafer-on-Substrate) 플랫폼을 이렇게 설명하며, 그중 실리콘 인터포저를 쓰는 CoWoS-S 버전과 2012년부터 이어진 양산 이정표를 제시합니다. 이는 공급사 자신의 설명이며, 누가 이를 이용할 수 있는지는 다루지 않습니다.

3D 패키징은 다이를 위로 쌓습니다. imec은 2025년 12월 보도자료에서 HBM을 GPU 바로 위에 두는 구조의 시뮬레이션 연구를 소개하며, 양면 냉각과 주파수 조정(클럭 속도 조절) 같은 열·시스템 완화 방안을 평가했다고 밝힙니다.

2026년 9월 프리프린트, 즉 arXiv에 공개로 올린 논문(버전 1, arXiv 기록 참조)은 세 번째 방식을 시뮬레이션합니다. 일반적인 평면 적층과 달리 DRAM 다이를 세워서 GPU 위에 올리는 구조입니다. 세운 다이 사이에는 논문이 “cooling cavities”라고 부르는 영역이 있습니다. 이름과 달리 연구된 설계에서 실리콘, 구리, 다이아몬드 같은 고체 열전도 물질로 채운 영역이며, 유체가 흐르는 채널이 아닙니다.

평면 구조의 비교 기준으로, 논문은 기존 HBM-on-GPU 설계에서 열 전달용 실리콘 자리에 맞춤형 DRAM이 GPU를 덮도록 바꿨습니다. 이 기준 구조는 논문이 직접 수정한 것으로 상용 제품이 아니며, imec의 2025년 12월 연구에서 설명한 설계를 그대로 쓴 것도 아닙니다. 또한 imec의 연구가 이 논문을 독립적으로 재현한 것도 아닙니다.

모든 비교에는 열 경계 조건(thermal boundary conditions)도 필요합니다. 모델링한 패키지에서 열이 어떻게 빠져나간다고 가정하는지 정한 것으로, 여기서는 두 가지입니다. 위쪽의 리드(lid, 패키지 상단 덮개)와 아래쪽의 패키지 베이스(package base, 라미네이트(laminate), 즉 패키지 아래의 적층 기판)입니다. 논문은 비교한 설계 전반에서 두 경계를 동일하게 맞췄습니다.

아래 그림은 세 가지 배치를 개념적으로 보여 줍니다. 패널 1의 인터포저는 위의 상용 2.5D 맥락에서 가져온 것이며, 패널 2와 3은 연구 개념입니다.

결과를 읽기 전에 열 경로부터 따라갑니다

열은 균일하게 시작되지 않습니다. 공간 전력 분포(spatial power map)는 다이 면적 전반에 전력, 즉 발열이 어떻게 분포하는지 나타내고, 핫스팟(hotspot)은 온도가 가장 높게 치솟는 좁은 영역입니다. 메모리를 옮기면 이런 영역과 리드 또는 패키지 베이스 사이에 놓이는 것이 달라집니다. 접합 계면, 몰드(mold, 다이 주변 공간을 채우는 봉지 재료), 실리콘, 고체 충진재 등이 그 예입니다.

논문은 균일하지 않은 하나의 GPU 전력 분포로 설계들을 시뮬레이션했습니다. 그 모델에서 스택이 높을수록 최고 온도가 올라갔고, 충진 재료와 메모리 배치에 따라 온도 범위가 달라졌습니다. 몰드는 옆으로 퍼지는 열을 가로막았습니다. 다이를 회전하면 온도가 재분배되어, 다이 대부분은 나아지는데 최고 온도는 오히려 나빠질 수 있었습니다.

평균 온도가 낮아졌다고 핫스팟이 낮아진 것은 아니며, 이 결과는 특정 모델링 배치에 대한 것이지 일반적인 열 한계가 아닙니다.

정해진 조건에서 유용한 작업량을 비교합니다

논문은 여러 구성에서 특정 언어 모델 하나, Qwen3-32B의 학습도 시뮬레이션했습니다. 이 모델에서 스택 높이는 인터페이스를 늘리지 않고도 용량을 키울 수 있고, 활성 다이가 많아질수록 대역폭이 늘어납니다. 그 워크로드에서 학습 성능 향상은 실행이 compute-bound가 되면서 완만해졌으며, 다른 워크로드는 다르게 나타날 수 있습니다. 이렇게 완만해지는 것은 워크로드의 효과이며 thermal throttling(온도를 낮추려고 하드웨어가 스스로 속도를 낮추는 현상)이 아닙니다. 용량은 작업을 여러 프로세서에 나누는 방식과 프로세서 간 통신량에도 영향을 주므로, 메모리를 늘린다고 곧바로 속도가 오르지는 않습니다.

메모리 방안은 정해진 열 조건에서의 유용한 작업량과 근거의 성숙도, 즉 시뮬레이션인지 측정인지 검증을 거쳤는지로 판단하십시오. 검증(qualification)은 부품이 양산 사용에 필요한 신뢰성 요건을 충족함을 보이는 시험을 뜻합니다. 위의 두 연구는 시뮬레이션이며, 어느 쪽도 검증 완료나 구매 가능성을 보여 주지 않습니다.

다음 설계 검토를 위한 6행 점검표

이 점검표는 출처에서 가져온 표준이 아니라 저희가 제안하는 검토 방법입니다. 작업이 어디에서 이루어지든 가속기 설계자, 메모리 공급사, 패키징 제공사, 열 엔지니어, 시험·조립 담당자에게 일반적으로 적용됩니다.

번호	질문	중요한 이유
1	모든 방안이 같은 모델, 소프트웨어, 배치 크기(batch size, 한 번에 함께 처리하는 예제 수), 수치 정밀도(numeric precision, 각 숫자를 나타내는 비트 수)를 쓰는가?	그렇지 않으면 성능 수치를 비교할 수 없습니다.
2	용량과 대역폭을 따로 제시하고, 실제로 병목이 되는 쪽을 밝혔는가?	데이터를 담는 일과 옮기는 일은 다르게 한계에 부딪힙니다.
3	공간 전력 분포와 리드·패키지 베이스 경계가 동일한가?	가정이 같아야만 온도를 비교할 수 있습니다.
4	GPU와 각 경계 사이에 어떤 계면, 몰드 영역, 핫스팟이 있는가?	기하 구조가 온도 최고점이 생기는 위치를 정합니다.
5	근거가 측정인가 시뮬레이션인가, 검증(qualification)까지 무엇이 남았는가?	타당성은 양산 준비 상태와 다릅니다.
6	조립, 검사, 시험과 빠진 근거 하나하나를 누가 책임지는가?	책임자가 없는 공백은 일정을 멈추게 합니다.

먼저 정할 것

1~3행은 맞춰야 할 가정이며, 타당성 검토 작업이 이를 정리하는 데 도움이 될 수 있습니다. 성능을 비교하기 전에 워크로드, 실제 병목, 열 경계를 먼저 명시하고, 그다음 4~6행으로 남은 엔지니어링 작업의 범위를 정하십시오.

공유하실 때는 이 글의 링크를 함께 남겨 주세요. 글 전체를 재게시하려면 문의하여 허락을 받아 주세요.