영상버전 : https://youtu.be/zFXmIoSQU5Q
.jpg)
요즘 핫한 이슈니까 좀 얻어타볼께요..
제가 좋아하는 안될공학 이란 곳에서 공식 문서나
기타 정보를 베이스로 신뢰성있고 깊이 있는 정보를 다뤄주고 있어서
그 곳을 참고하시면 왜 DeepSeek가 생각보다 부풀려 있는지를 잘 이야기 해주고 있습니다.
거기까지 가서 보기 귀찮으신 분들께 요약을 해드리자면
DeepSeek는 결고 학습 비용이 싸지 않습니다.
이건 DeepSeek의 공식 문서에서도 나와 있는데요,
거의 1/10의 비용을 들였다고 하는 부분만 기사화가 되어서
다들 그런줄 아시는데,
필요한 전제 학습은 모두 끝낸 뒤 마지막 테스트 비용이 1/10이라서
전제 학습에 들어간 비용은 포함되지 않았다는 이야기 입니다.
즉, 그게 100배 들어갔는지 알 방법이 없는거죠..
두 번쨰, 오픈소스라고 했는데,
AI개발하시는 분들은 다들 아시겠지만,
AI는 이미 Python의 pytorch나 tensorflow 모듈을 설치하고
거기서 호출하는게 다 입니다.
즉, 모든 알고리즘은 1950년대에 이론이 완성되었구요,
그 알고리즘들의 조합을 이용한 여러가지 방법론이
클라우드 시대의 분산 컴퓨팅 파워를 활용해서
나오기 시작한거죠.
그 조합 중에 Neural Network가 있는거구요,
Neural Network의 조합 개념을 활용하여
알고리즘 조합 차이로 DNN과 CNN, SNN이 있는 겁니다.
그 중 DNN을 활용한 것 중에
transformer라는 방법론이 있는거구요,
이번 deepseek의 오픈 소스를 보시면 아시는 분들은 아시겠지만,
Pytorch의 transformer의 모듈을 그냥 갖다 쓴게 아니라
어짜피 transformer도 여러가지 알고리즘의 조합이기 때문에
그 알고리즘 조합을 조금더 수정해서
Transformer이지만 자기네들의 개념에 맞추어 더 조정한 것입니다.
즉, 우리가 AWS나 Azure API를 직접 이용하면
VM도 만들고 소스 관리도 하고 서버리스 인스턴스도 만들고 할 수 있죠?
하지만 terraform이란게 나와서 AWS든 Azure든 terraform에서 한 번에 관리할 수 있습니다.
단지 azure와 aws의 terraform의 포맷이 달라서 aws용으로 만든 terraform 소스를
Azure에서 사용할 수가 없습니다.
이런 것 처럼
ML의 다양한 함수 조합으로 transformer가 나왔는데,
그냥 만들어진 transformer를 쓰는 사람들이 그 동안 대부분 이었지만,
Openai도 그렇고 deepseek도 그렇고 기타 intel, ms등에서 현재 개발중인 것도
Transformer의 조합 자체를 손대는 정도인 것이죠.
그렇게 하면 굳이 ML모듈을 하나하나 조합할 필요 없이
위에서 말한 terraform하나만으로 다양한 인프라를 만질 수 있듯이
Transformer하나만으로 다양한 알고리즘을 활용할 수 있다.
그런데 처음 만든건 개념 구현용이다보니 효율화가 안됭어 있어서
FP8/BF16 모듈을 끼워 넣어
적은 비트로 메모리 효율을 좋게 한 것이죠.
그냥 모듈을 추가해 본 겁니다.
그랬더니 효과가 좋았다..
그거 뿐인거죠.
그냥 소스 자체를 까서 보여드릴께요.
Github를 보시면 deepseek의 파일 구조는 너무 단순합니다.
필요한 코드는 inference내의 6개의 파이썬 파일 뿐이구요..
그 중에서 핵심이 되는 model.py가 알고리즘 모듈 호출 파일 입니다.
Model.py를 까서 보시면
1) ModelArgs
• 모델의 하이퍼파라미터를 정의하는 데이터 클래스.
• 배치 크기, 시퀀스 길이, 차원 크기, MoE 설정 등의 다양한 설정값을 포함.
2)ParallelEmbedding
• 대규모 모델에서 분산 학습을 위한 병렬 임베딩을 제공.
3) Linear
• 저비트 연산 (FP8/BF16) 을 지원하는 선형 변환 연산.
4) ColumnParallelLinear & RowParallelLinear
• 데이터 병렬 학습을 지원하는 선형 변환 연산.
• ColumnParallelLinear: 출력 차원을 병렬로 분할.
• RowParallelLinear: 입력 차원을 병렬로 분할.
5) RMSNorm
• LayerNorm 대신 Root Mean Square Normalization (RMSNorm) 사용.
6) MLA (Multi-Headed Attention Layer)
• 표준 Transformer Attention을 개선한 MLA 구현.
• LoRA 기법을 활용하여 Query/Key/Value를 Low-rank 방식으로 압축.
7) MoE (Mixture-of-Experts)
• 여러 개의 전문가 네트워크 (Expert Layer) 를 사용하여 성능을 최적화.
• Gate를 사용해 입력을 특정 전문가에게 라우팅.
8) Block
• Transformer의 기본 블록 (Attention + MoE/MLP).
• MLA + MoE(또는 MLP)를 조합하여 하나의 Transformer Layer를 구성.
9) Transformer
• 전체 Transformer 모델을 정의.
• 병렬 임베딩 + 여러 개의 Transformer 블록 + 최종 출력 레이어 포함.
즉, Transformer자체를 사용한 것이 아니라,
MoE 라는 방법으로 transformer의 분기를 세분화 했다.. 는게 핵심이구요..
FP8/BF16를 활용해서 용량을 줄였다.. 정도 입니다.
소스라인도 804라인 정도거든요..
설마 이 정도로 알고리즘이 담길 수 있으리라 보지 않겠죠?
그리고 transformer는 pytorch나 tensorflow 모듈을 설치해야 하는데,
얘네는 pytorch를 사용했습니다.
다른데에 없냐구요?
Model.py만 32kb이구요 나머진 전부 10kb미만 입니다.
전부 합쳐도 54kb정도 사이즈이죠.
개발하시는 분들이라면 아시겠죠?
모듈만 몇 개 넣어도 수 메가 정도 하는 요즘 세상에
54kb로 레포지터리가 완성 이라는..
즉, 오픈소스화 라는 명분을 내세워 봤자,
이미 다른데서도 이 정도는 알고 있는데
그냥 기사화를 위한 내용인 거죠..
그럼 다른데는 그렇게 안했냐?
KAIST의 작년도 기사를 보면 비슷한 시도를 해서 AI반도체라는걸 만들어 그 모듈을 탑재했거나,
MS에서도 적은 비트로 메모리 효율화를 했다는 논문이 있습니다.
Intel은 DeepSeek의 MoE를 한 것과는 달리 필요에 따라 CNN특화형으로
Transformer를 변경했죠.
즉, 모든 국가가 transformer를 재해석하는 방법론을 구현하고 있을 뿐이구요,
그 중에서 DeepSeek가 요즘 미국과 중국의 관계 때문에
더 매스컴에서 주목 받고 있을 뿐인것이죠.
혹시 DeepSeek를 들먹이며 투자 어쩌고 하는 정보가 있다면
꼭 이런 내용을 참고로 해주시기 바랍니다.
여기저기서 너무 DeepSeek가 세상을 바꿀 것 처럼 이야기를 많이 하길래
제 채널에 계신 분들은
다른 기사의 허무맹랑한 내용을 곧이곧대로 받아들이지 않으셨으면 하는 바램에
공유해 봅니다.
댓글
댓글 쓰기