요약
Qualcomm Cloud AI 100 Ultra는 150W 전력으로 128GB 메모리를 쓰는 LLM 추론용 카드입니다.
퀄컴이 데이터센터용으로 내놓은 AI 추론 카드의 제품 페이지입니다. 생성형 AI와 대규모 언어 모델(LLM)을 겨냥해 성능과 비용을 함께 맞췄다고 소개합니다.
왜 중요한가
- GPU가 쓰는 HBM(고대역폭 메모리) 대신 저전력 LPDDR4x를 많이 달아, 대역폭보다 용량을 택한 설계입니다.
- 128GB를 150W 안에서 쓰게 해, 대규모 추론을 전력 효율로 풀겠다는 접근입니다.
- 챗봇이나 AI 에이전트를 만드는 기업이 OpenAI 호환 API로 바로 쓰도록 소프트웨어까지 묶어 제공합니다.
핵심 내용
- 메모리는 오류 정정(ECC)을 지원하는 LPDDR4x 128GB이고, 대역폭은 548GB/s입니다.
- 칩 안에는 AI 코어 64개와 고속 SRAM(칩에 직접 붙은 캐시 메모리) 576MB가 들어 있습니다.
- 최대 성능은 INT8 기준 870 TOPS, FP16 기준 288 TFLOPS이고, PCIe Gen4 16레인으로 연결합니다.
- 같은 제품군의 75W 카드 AI 100 Pro(32GB, 137GB/s)보다 메모리 용량과 대역폭이 모두 4배입니다.
- 함께 주는 AI Inference Suite는 채팅, 이미지 생성, RAG(검색 증강 생성)를 지원하고 쿠버네티스로 배포합니다.
HN 반응
- 2024년에 나온 칩이고 대역폭도 M4 Max 탑재 Mac Studio 수준이라 인상적이지 않다는 평과, 중고 V100까지 귀해진 요즘엔 쓸 만하다는 반론이 나왔습니다.
- 일반 DRAM으로 용량을 늘리는 방식은 애플과 엔비디아 DGX Spark도 택했다는 분석이 나왔고, 비공개인 가격은 한 이용자가 1만~1만 7천 달러로 추정했습니다.
스펙이 낡아 보인다면, 이 칩이 2024년에 나왔기 때문입니다. Cirrascale을 비롯한 클라우드 업체에서 쓸 수 있습니다.
그렇다니 마음이 놓이네요!
저는 퀄컴을 믿기 시작했어요! Snapdragon X2 Elite Extreme은 아쉽게도 시스템 한 종류에서만 쓸 수 있고, 패키지 안에 올라간(!) 3채널 메모리로 228GB/s가 나오긴 해요. 그래도 물건이긴 합니다. 코어 자체가 좋거든요. 다른 시스템에 들어간 일반 버전만 봐도 애플을 빼면 단일 코어 성능이 가장 좋은 축에 속해요.
게다가 업스트림 작업도 훨씬 잘하고 있어요! 이름난 FOSS 개발자를 여럿 영입했는데, 효과를 보는 것 같습니다!
이제는 다음 큰 승부수로 High Bandwidth Compute를 밀고 있어요. 저도 믿고 싶긴 한데, 이 회사도 소비자용 컴퓨팅은 완전히 내팽개칠 생각인 것 같아 불안하네요. https://www.qualcomm.com/news/onq/2026/11/qualcomm-hbc-validated-silicon-ai-inference
다른 분 말씀대로 이건 M4 Max 수준의 GB/s예요. 인상적이진 않습니다. 쓸 데가 있긴 하죠! 하지만 이게 요즘 내놓는 첫 승부수라면 저는 감흥이 없을 거예요.
(> 저는 퀄컴을 믿기 시작했어요)
누가 퀄컴 로봇 발표 영상 유튜브 링크 좀 올려 주세요.
떨어지는 모습이 압권이에요.
https://youtube.com/shorts/aZmt5E151Bk
저 사람들 시트로 몸체를 덮는 속도가 엄청 빠르네요.
저 사람은 로봇을 졸졸 따라다니다가 바닥에 쓰러질 때마다 시트를 덮는 일로 고용된 겁니다.
여기서 압권은 저 매니저가 로봇이 쓰러졌다가 복구할 수 있다고 생각하는 듯한 표정이에요.
(> 패키지 안에 올라간(!) 3채널 메모리로 228GB/s)
이 경우에 온패키지 메모리가 왜 대단하고 더 낫다는 건가요? 보통 소비자용 x86 시스템보다 채널이 하나 더 많은 정도(192비트 버스 대 128비트)라 나름 의미는 있겠지만, LPCAMM2 소켓 두 개로도 이론상 쿼드 채널은 만들 수 있잖아요?
컴퓨터 엔지니어로서 말씀드리면, 초고속 램을 산더미처럼 배선하지 않아도 대역폭이 높은 시스템이 나온다는 게 얼마나 기쁜지 이루 말하기 어렵습니다.
컴퓨터를 만들기가 근본적으로 훨씬 단순해지고 크기도 작아집니다. 이점이 아주 큽니다. 노트북에서는 큰 이득이 아닐 수도 있지만, 태블릿이나 더 작은 컴퓨터에서는 엄청난 이득입니다. 컴퓨터를 만들기가 쉬워져서 시스템을 만들 수 있는 주체의 범위가 넓어진다면요? 그게 전부입니다.
MI50이랑 V100을 쓰레기통에서 파내 다시 투입하느라 난리인 걸 보면, 2024년은 미래 외계 기술 같네요.
세상에, 지금 V100이 이베이에서 1천 달러쯤 하네요... 몇 년 전만 해도 100달러 이하에 팔렸는데요.
가격이 얼마예요?
자기네 웹사이트에 따르면 1센트래요.
이 정도 GPU 성능치고는 예상보다 싸네요.
이런 추세, 마음에 듭니다.
게다가 1센트짜리 재고가 8,750개나 있네요. 더 비싼 47센트, 63센트 변형은 전부 품절이고요.
네, 저도 거기 눌러 봤어요. 그런데 퀄컴이니까 당연히 엄청 비쌀 텐데요. 그래도 얼마인지는 궁금하네요.
제가 조사해 보니 가격은 1만~1만 7천 달러입니다.
10달러면 나쁘지 않은 거래죠. 그런데 범위가 꽤 넓네요.
말이 되네요. 칩은 0.01달러, 메모리는 9,999.9달러니까요.
솔직히 하나 사게 해 주세요. 제가 로컬 AI를 돌리는 미니 PC보다 몇 배는 빠르니까, 가격만 맞으면 저는 삽니다.
5090보다는 싸길 바라는데요?
어림도 없습니다.
스펙 시트의 수치와 비교해서, 지속적인 추론 부하에서 메모리 대역폭이 실제로 어느 정도 유지되는지 궁금합니다.
그러니까 램 기준으로는 M4 Max Mac Studio인데 연산 성능은 GPU급이라는 거네요?
(그쪽이 M4 Max와 비교한 거지 퀄컴이 한 게 아니라는 건 압니다만) 퀄컴이니까 M4 Max와 비교당하면서 실제로는 M2 Max보다 느릴 겁니다.
설계가 좀 흥미롭습니다. 가속기에 SRAM이 0.5테라바이트 있고, HBM 대신 SRAM을 쓰면서도 일반 RAM 128GB를 그대로 둔 구성입니다.
테라바이트가 아니라 0.5기가바이트예요 ㅋㅋ
네, 이건 특이한 물건이에요. 소비자용 GPU처럼 생겼는데 채널이 더 많은 일반 DRAM을 쓰니까, 램은 더 많지만 메모리 대역폭은 GDDR/HBM보다 낮아요. 애플이 하는 것과 똑같은 방식이죠. 그리고 TDP는 이 정도 제품치고 꽤 매력적이에요.
그런데 그 SRAM은 뭐에 쓰는 걸까요? SRAM이 워낙 비싸서 많아 보이면서도, 0.5GB에 뭘 넣을 수 있나 싶으면 또 많지는 않아요. 이런 구성이 필요한 특정 워크로드가 있나요?
0.5GB SRAM은 Cuckatoo32 [1] 작업 증명 방식이 최적 효율로 풀이하는 데 필요한 정확히 그 크기입니다. 해는 노드가 2^32 + 2^32개이고 간선이 2^32개인 무작위 이분 그래프에서 길이 42인 사이클인데, 인접 간선이 하나뿐인 간선을 반복해서 제거하면 찾을 수 있습니다. 어떤 노드에 연결된 간선이 있는지 추적하려면 (완전히 무작위로 접근하는) 2^32비트가 필요하고, 이게 정확히 0.5GB입니다. 살아 있는 간선을 추적하는 데 0.5GB가 더 필요하지만, 그쪽은 순차 접근이 가능해서 DRAM으로 충분합니다.
[1] https://github.com/tromp/cuckoo
Intel D270, Nvidia DGX Spark, 그리고 (어느 정도는) AMD Strix Halo도 같은 방식을 쓰니까, 꽤 흔해지고 있는 것 같습니다.
SRAM 쪽으로 보면 그렇게까지 터무니없진 않아 보입니다. 메모리 대비 SRAM 비율이 (제 기억이 맞다면) 5090과 비슷하거든요. 그래도 예상보다는 많습니다. 현재 레이어를 더 빨리 처리하는 데 도움이 되는 것 같습니다.