기본 콘텐츠로 건너뛰기

라벨이 MoE 추론인 게시물 표시

Kimi K3는 정말 NVIDIA에 악재일까? — 2.8조 MoE와 KDA가 부른 하드웨어 수요의 역설

Kimi K3가 등장하자마자 익숙한 장면이 반복됐습니다. 2025년 초 DeepSeek R1이 "적은 자원으로 GPT급"을 내세웠을 때처럼, "이제 GPU도 HBM도 덜 필요해진다"는 이야기가 다시 돌기 시작한 겁니다. 이번 방아쇠는 Kimi K3가 채택한 **KDA(Kimi Delta Attention)**라는 선형 어텐션 계열 구조입니다. KV 캐시 부담을 크게 줄인다는 점에서 "메모리·네트워킹 수요가 꺾인다"는 해석이 나온 것이죠. 그런데 실제로 뜯어보면 결론이 오히려 반대에 가깝습니다. 이 글은 Kimi K3를 둘러싼 이슈를 정리하고, 무엇이 검증된 사실이고 무엇이 아직 논쟁 중인 해석인지 를 구분한 뒤, "그래서 나는 이걸 직접 써볼 가치가 있는가"를 스스로 판단할 수 있도록 정리했습니다. 먼저, 사실관계부터: Kimi K3는 무엇인가 논쟁을 다루기 전에 확인 가능한 스펙부터 정리합니다. (아래는 Moonshot AI 공개 자료와 다수 매체 보도로 교차 확인되는 부분입니다.) 공개일 : 2026년 7월 16일, Moonshot AI가 Kimi K3를 공개. 전체 가중치(open weights)는 7월 27일경 공개 예정(Modified MIT 계열 라이선스). 규모 : 총 파라미터 약 2.8조(2.8T) 의 MoE(Mixture of Experts) 모델. 세계 최초의 "오픈 2.8T급"으로 소개됨. 전문가 구성 : 총 896개 expert 중 토큰당 소수(약 16개)만 활성화하는 sparse 구조. KDA(Kimi Delta Attention) : 선형 어텐션 계열. 선형 어텐션 3층 + 풀 어텐션 1층을 3:1 비율 로 교차 배치해, 국소 문맥은 싸게 처리하고 전역 정보 흐름은 풀 어텐션이 보존. 백만 토큰 구간에서 디코딩 속도 최대 수 배 개선 주장. 컨텍스트 : 최대 100만(1M) 토큰 , 네이티브 비전(이미지 이해) 지원. 여기...