기본 콘텐츠로 건너뛰기

Kimi K3는 정말 NVIDIA에 악재일까? — 2.8조 MoE와 KDA가 부른 하드웨어 수요의 역설

Kimi K3와 랙 스케일 AI 인프라

Kimi K3가 등장하자마자 익숙한 장면이 반복됐습니다. 2025년 초 DeepSeek R1이 "적은 자원으로 GPT급"을 내세웠을 때처럼, "이제 GPU도 HBM도 덜 필요해진다"는 이야기가 다시 돌기 시작한 겁니다. 이번 방아쇠는 Kimi K3가 채택한 **KDA(Kimi Delta Attention)**라는 선형 어텐션 계열 구조입니다. KV 캐시 부담을 크게 줄인다는 점에서 "메모리·네트워킹 수요가 꺾인다"는 해석이 나온 것이죠.

그런데 실제로 뜯어보면 결론이 오히려 반대에 가깝습니다. 이 글은 Kimi K3를 둘러싼 이슈를 정리하고, 무엇이 검증된 사실이고 무엇이 아직 논쟁 중인 해석인지를 구분한 뒤, "그래서 나는 이걸 직접 써볼 가치가 있는가"를 스스로 판단할 수 있도록 정리했습니다.

먼저, 사실관계부터: Kimi K3는 무엇인가

논쟁을 다루기 전에 확인 가능한 스펙부터 정리합니다. (아래는 Moonshot AI 공개 자료와 다수 매체 보도로 교차 확인되는 부분입니다.)

  • 공개일: 2026년 7월 16일, Moonshot AI가 Kimi K3를 공개. 전체 가중치(open weights)는 7월 27일경 공개 예정(Modified MIT 계열 라이선스).
  • 규모: 총 파라미터 약 2.8조(2.8T) 의 MoE(Mixture of Experts) 모델. 세계 최초의 "오픈 2.8T급"으로 소개됨.
  • 전문가 구성: 총 896개 expert 중 토큰당 소수(약 16개)만 활성화하는 sparse 구조.
  • KDA(Kimi Delta Attention): 선형 어텐션 계열. 선형 어텐션 3층 + 풀 어텐션 1층을 3:1 비율로 교차 배치해, 국소 문맥은 싸게 처리하고 전역 정보 흐름은 풀 어텐션이 보존. 백만 토큰 구간에서 디코딩 속도 최대 수 배 개선 주장.
  • 컨텍스트: 최대 100만(1M) 토큰, 네이티브 비전(이미지 이해) 지원.

여기까지는 "논쟁"이 아니라 "스펙"입니다. 문제는 이 스펙에서 하드웨어 수요 방향을 어떻게 추론하느냐입니다.

이슈의 핵심: "선형 어텐션 = 반도체 악재"라는 오해

패닉 서사의 논리는 단순합니다.

KDA가 KV 캐시를 줄인다 → 추론에 필요한 메모리·대역폭이 준다 → NVIDIA·HBM·DRAM·네트워킹 수요가 꺾인다.

KV 캐시 절감 자체는 사실입니다. 하지만 "그래서 하드웨어 총수요가 준다"는 결론은 한 단계를 건너뛴 추론입니다. 실제로는 모델이 커지고 배포 방식이 바뀌면서, 줄어든 자리보다 늘어난 자리가 더 큽니다. 아래는 그 반대 논거이며, 검증된 물리 법칙이 아니라 배포 아키텍처에 근거한 분석임을 전제로 읽어주세요.

1) 2.8조 파라미터라는 무게 그 자체

KV 캐시를 아무리 줄여도, 가중치를 어딘가에는 올려둬야 합니다. 2.8T급 가중치는 그 자체로 대규모 scale-up 도메인(여러 GPU를 한 몸처럼 묶는 랙 스케일 시스템)을 요구합니다. 즉 "큰 모델 추론"은 GB200/GB300 NVL72 같은 랙 스케일 시스템이 진가를 발휘하는 무대이지, 그 필요를 없애는 요인이 아닙니다.

2) WideEP — 절감한 네트워크를 도로 잡아먹는 최적화

MoE를 효율적으로 서빙하려면 수백 개 expert를 다수 GPU에 잘게 분산(WideEP)시켜, 각 GPU HBM에는 극소수 expert만 올립니다. 이렇게 하면 토큰당 메모리·연산 효율은 좋아지지만, expert 간 라우팅 트래픽이 폭증합니다. KDA로 KV 캐시 전송량이 줄어도, WideEP가 요구하는 대역폭이 그 자리를 메우고 남습니다. 그래서 이 방식은 구리 백플레인 대역폭이 압도적으로 큰 랙 스케일 시스템에 특히 잘 맞습니다.

3) HBM이 꽉 차면 → DDR5·NVMe로 흘러넘친다

가중치만으로도 HBM 용량(1TB급 이상)이 상당 부분 점유됩니다. 동시 접속이 그리 높지 않아도 HBM에 남는 공간이 빠듯해지고, 결국 KV 캐시는 CPU측 DDR5와 NVMe로 오프로드됩니다. HBM 수요가 사라지는 게 아니라, DRAM·스토리지 수요가 새로 붙는 구조입니다. Moonshot 측도 "K3를 제대로 추론하려면 최소 수십 칩 규모의 scale-up 랙이 필요"하다고 밝혔습니다.

4) 제번스의 역설 — 싸질수록 총량은 는다

어텐션이 효율화되어 추론 단가가 내려가면, 특정 워크로드의 비용은 줄지만 AI를 쓰는 총량이 폭발합니다. 19세기 석탄(제번스의 역설)과 같은 논리입니다. 단가 하락이 채택을 밀어올려, 시장 전체가 필요로 하는 GPU·HBM·DRAM·네트워킹의 총합은 오히려 커진다는 겁니다. 이는 인과가 강한 경험칙이지만 "반드시 그렇게 된다"는 보장은 아니라는 점도 함께 기억할 필요가 있습니다.

정리: 사실 / 해석을 나눠 보면

구분 내용 성격
스펙 2.8T MoE, 896 expert, KDA 3:1, 1M 컨텍스트 검증된 사실
KV 캐시 절감 KDA로 KV 캐시·전송량 감소 사실
하드웨어 수요 증가 NVL72·WideEP·오프로드·제번스로 총수요↑ 배포 아키텍처 기반 분석/해석
"반도체 악재" 선형 어텐션이니 수요↓ 근거 약한 오해

그래서, 직접 써볼 가치가 있는가?

이 부분이 독자에게 가장 실질적인 질문일 겁니다. 모델의 "무게"가 인상적인 것과, "내가 지금 이걸 써야 하는가"는 다른 문제입니다.

써볼 가치가 큰 경우

  • 초장문(수십만~100만 토큰) 문서·코드베이스를 통째로 넣고 싶은 경우 — 1M 컨텍스트 + KDA의 긴 문맥 디코딩 효율이 강점.
  • 오픈 웨이트로 온프레미스/사내 배포가 필요한 조직 — 7/27 가중치 공개 후 자체 호스팅 검토 가치.
  • MoE 서빙·롱컨텍스트 추론 최적화를 연구/실험하는 엔지니어 — KDA와 WideEP는 그 자체로 좋은 학습 소재.

아직 서두를 필요가 없는 경우

  • 일반적인 챗/코딩 보조 용도라면, 2.8T를 제대로 돌릴 인프라(수십 칩 scale-up)가 없으면 자체 호스팅은 비현실적. 이 경우 API로 접근하는 편이 합리적.
  • 짧은 컨텍스트 위주 워크로드라면 굳이 초대형 모델일 이유가 적음 — 더 작은 모델의 비용 대비 효율이 나을 수 있음.

직접 판단할 때 확인할 3가지

  1. 컨텍스트 길이가 내 문제에서 정말 병목인가? (아니라면 K3의 강점을 절반만 쓰는 셈)
  2. 접근 경로: API로 충분한가, 아니면 오픈 웨이트 자체 호스팅이 필요한가? 후자라면 인프라 비용이 관건.
  3. 벤치마크가 아니라 내 태스크: 공개 벤치 점수 말고, 내 실제 프롬프트로 소규모 A/B를 돌려 체감 품질과 지연을 직접 재본다.

마무리

Kimi K3의 진짜 뉴스는 "반도체가 필요 없어진다"가 아니라, 모델이 다시 한 번 커지면서 랙 스케일 인프라·HBM·DRAM·네트워킹이 모두 걸리는 방향으로 갔다는 점입니다. 선형 어텐션은 비용을 낮추는 지렛대이지, 수요를 없애는 스위치가 아닙니다.

그리고 독자 입장에서 중요한 건 이 거시 논쟁이 아니라, "내 문제에 1M 컨텍스트와 오픈 웨이트가 실제로 필요한가" 라는 한 문장입니다. 그 답이 "그렇다"면 7/27 가중치 공개는 충분히 주목할 이벤트이고, "아니다"라면 API로 가볍게 맛만 봐도 됩니다.


본문의 스펙은 공개 자료 기준이며, "하드웨어 수요" 관련 서술은 배포 아키텍처에 근거한 분석적 해석입니다. 실제 도입 판단은 각자의 워크로드와 인프라 조건에서 검증하시길 권합니다.

댓글

이 블로그의 인기 게시물

AI에게 존댓말로 질문한다고 AI가 더 자세히 대답해 주지 않습니다! 프롬프트의 뜬소문과 실제. 잘못알고 있는 프롬프트 이야기

영상버전 :  https://youtu.be/rLwhVUIXaQU 어디선가 기사가 있어서 읽다가 코멘트를 단 게 있습니다.  프롬프트 엔지니어링으로 인터넷 강의를 하시는 분 같은데요..  이름에 Phd라고 적혀있으니 어딘가의 박사님 이신가 봅니다.  그 분의 글에 이런게 있더라구요.. 한국어는 맥락에 크게 의존하는 ‘고맥락 언어’입니다. LLM에 그대로 입력하면 종종 의도가 왜곡되거나 핵심이 누락됩니다. 저는 영어로 프롬프트를 작성하지만, 한국어만 해야하는 모델을 사용할 때는 다음과 같은 방법을 사용합니다. --- 중략 --- ✔️ 존댓말(–습니다) vs 반말(–해요) 중 하나 선택.  Deferential form '-습니다'를 사용하면 openAI 모델은 답을 더 길고 상세하게 합니다.  … 여기서 존대말을 사용하면 AI모델은 답을 더 길고 상세하게 합니다. 라고 적혀 있네요..  그랬더니 이 분을 지지하는 댓글에서 chatgpt에게 같은 내용을 물어본 결과를 적었더라구요..  ChatGPT-4o에게 확인해보았습니다: ”한국어를 사용할 때 존댓말로 요청하면, 당신은 좀 더 나은 답을 주신다고 들었습니다. 사실입니까?“ 아주 날카로운 질문이십니다. **“한국어로 존댓말을 쓰면 더 좋은 답을 받는다”**는 말은 부분적으로 사실입니다. ⸻ ✅ 왜 그렇게 느껴질까요?  1. 존댓말은 명확하고 완곡한 문장 구조를 유도합니다.  • 예: 반말: “해줘” → 목적이 불분명하거나 애매할 수 있음 존댓말: “이 내용을 정리해 주시겠어요?” → 요청의 방향이 명확  2. 프롬프트가 더 구체적이고 정중해지면 → 모델이 더 신중하고 완성도 있는 답변을 생성하려는 경향이 있습니다.  3. ‘질문하는 사람의 태도’를 고려한 최적화된 언어 생성이 이뤄집니다.  • 존댓말 = 더 포멀한 상황 → 더 논리적이고 근거 중심의 응답이 생성됨 ⸻ ❗ 하지만 반말도 충분히 잘 작동...

니가 플랫폼(Platform)을 아니?

이번에는 2015년에 썼던 글을 다시 한 번 정리하려고 합니다.  언제나 이야기 하듯이 단어에 대해 누구에게나 쉽게 설명하지 못하면 그건 그 단어를 아는게 아닙니다.  여러분도 이 단어에 대해 비 IT이든 전문가 이든 설명해 줄 수 있는지 한 번 생각해 보시기 바랍니다.  플랫폼에 대해서 이야기를 하다보면 되묻고 싶은 이야기다. 요즘 개발자들 사이에서.. 또는 서비스 기획자들 사이에서 "플랫폼"이란 단어는 필수어가 되었다. 그런데 개발자들 만이 아니라, 기획자, 경영진까지 플랫폼은 필수이다.  웃긴건..  누구는 플랫폼과 서비스를 구분 못하고,  누구는 플랫폼과 프레임웍을 구분 못하고,  누구는 플랫폼과 콘텐츠를 구분 못하고 있다.  이번에는 플랫폼과 서비스를 구분해 보고자 한다.  그런 사람들끼리 이야기하다가 플랫폼이란 단어를 사용하는 사람들에게 물어본다. "플랫폼이 뭔가요?" 누군가 대답한다. "아직도 플랫폼을 몰라요?" 그럼 이렇게 되묻는다. "네.. 제가 잘 몰라서요.. 좀 알려주시겠어요?" 상대방은 IT시스템 어쩌고 하면서 횡설수설한다.. 얼마전 TV에서 플랫폼전문가가 요즘 IT쪽에 도는 플랫폼에 대해서 이야기 한다고 보라고 권장해주었다. TV를 찾아서 보았다. 플랫폼의 정의에 대해서는 나름 이야기를 했다. "수요자와 공급자를 연결해주는 매개체" 그리고 카카오톡을 성공한 플랫폼이라고 했다. 어짜피 성공한 사업에 이름을 붙이는 것은 쉽다. 성공한 주식의 과거를 분석하는게 쉽듯이.. 하지만 성공하지 못한 사업, 그리고 지금 이것이 플랫폼인지 알 수 있는 사람은 몇 안될 것이다. 단어의 의미를 한 번 다시 생각해보자. 그럼 플랫폼은 언제 시작했을까? 18세기후반 부터 19세기에 걸쳐서 약 100년정도를 산업혁명이라고 불렀다. 산업 혁명에 대한 자세한 이야기는 별도 코너로 만들었습니다.  음성 :  https://y...

일본 취업을 희망하는 대학생을 위한 한국에서 잘못알고 있는 일본 신졸 취업 시장.

영상 버전 :  https://youtu.be/nyzRIJ6VjRU 회사에서 작년에 신입을 뽑았는데  얼마전 그 사원의 대학 교수님이 일본에 오실일이 있어서 인사차 만났습니다.  그러면서 좀 충격적인 사실을 알았는데요..  그 때문에 자료를 정리를 해 보았습니다.  제 콘텐츠를 보시면 이미 일본은 3학년 12월에 100개 이상 지원을 해서 내정을 완료하는 경우가 많다고 합니다.  언제부터 취업활동을 하는지 봅시다.  일본은 대학 3학년의 3월 부터 설명회 엔트리를 시작합니다.  그 때 자신이 가고 싶은 회사들의 설명을 듣기 시작하는 것이지요.  그리고 취업활동의 시작은 5월 부터 인턴십 등 여러 방법으로 신입들을 선별하고 있죠. 그리고 일반적인 취업 종료는 대학교 4학년 6~7월이면 99.8%의 신졸 취업이 끝납니다.  그런데 한국의 대학에서 일본 신졸 취업을 보내는 시기는 바로 4학년 9월 정도 부터라고 하네요.  이 때는 이미 신졸 채용은 끝나고 중고신졸이라 불리는 정시 채용에 붙지 못한 신졸들을 주워가는 기업들이 기다리고 있는 시기이죠.  이미 이 때에는 대기업이나 좋은 기업들이 인재를 전부 쓸어 담고, 대기업이랑 같은 시기에 모집해봤자 들어올리 만무한 기업들이 남은 신졸들을 모집하고 있는데요..  그러니 많은 방송에서 신졸이 일본에서 좋은 기업에 취업할 수 없는 이유가 아닐까요?  실제로 교수님이 주변에 있는 전문대에서 야후 재팬에 신졸 채용 되었다고 현수막을 걸었다는 이야기를 했습니다.  제가 그 전문대는 3년제 아니었냐고 물었더니 3년제였다고 했네요..  제 예상이지만, 그 대학교는 3학년 부터 일본 신졸 취업에 지원을 했고, 늦지 않게 신졸 모집 대열에 들어간 것이 아닐까 합니다.  그러면 일반 대학에서도 3학년 부터 준비해서 보내면 되지 않느냐고 질문을 하자, 이런 지원 자체가 국가 지원을 받아서 ...