기본 콘텐츠로 건너뛰기

경험자가 이야기 하는 대규모 처리 경험이란?

영상버전 :  https://youtu.be/gkMwrSJsUVo  제가 재섭게 자랑처럼 맨날 이야기 하는내용이 있잖아요? 4000만 DAU 60만 동접 120만 TPMC 300Gbps 트래픽 2억대 펌웨어 다운로드.. 1.76PB 머신러닝 팜 설계 DR을 Active화 하여 Geo Balancing구성을 했다거나 소프트뱅크 페퍼 공식 저서 작성 각종 블록체인의 소스코드 분석 및 토큰 에코노미 분석 요즘은 chatgpt프로젝트 세 개나 했구요..  혹자는 이렇게 생각하겠죠.. 저거 구라 아냐? 저정도 해본 인간이 왜 찌질하게 몇 명 없는 유튜브나 하고 있어? 라구요..  저처럼 지지리도 운도 없고 영어도 못하면 이 정도 실력을 가지고 있어도 이렇게 찌질하게 유튜브나 찍으면서 자기 잘난 맛에 보는 사람 없이 떠들기도 한답니다.  어디 엄청난 선구안을 가진 사람이 절 안주워갈려나요?  어디선가 저의 진짜 모습에 투자해주실 분을 기다리면서 홀로 방송 해봅니다. ^^ 주변에 엄청난 분이 계시다면 제 영상을 꼭 보여주세요~~ 쓸데없는 말은 이정도 하구요..  얼마전 대규모 설계 경험자 모집이란 내용에 대한 썰을 푸는 영상을 보았는데요..  이런 대규모 설계는 다른 설계와 뭐가 다르길래 대규모 처리 경험자와 비 경험자가 나뉘어지게 되는걸까요? 그 전에 그 대규모 라는 건 어떤 기준일까요?  제가 생각하는 대규모 라고 접어드는 단계는  서버 한 두대 정도로 케어할 수 없는 규모의 처리를 이야기 한다고 생각합니다.  예를 들어서 이런게 있죠.  하루 4천만 유저가 들어오는 시스템의 가장 중요한 건 무엇일까요?  제가 강조할 때 4000만DAU를 말하면서  다른 서비스에서는 동시 60만 클릭을 다시 이야기 합니다.  그냥 4000만으로 퉁치면 되는 거 아닌가요?  하루는 1440분 입니다. 1분에 약 3만 명의 사용자, 초당 500명의 사용자라면 순간 동접으로 따지면 그렇게 크지 않아요.   즉, 4000만 DAU일때 신경써야 하는 인프라와 60만 동시 리퀘스트에서 신경써야
최근 글

IT컨설턴트에게 필요한 자질

영상버전 :  https://youtu.be/3srQLSa3tV8 일본에서 IT컨설턴트 라는 직업이 되기 위해 필요한 스킬로서  눈에 보이는 자격증 등과  눈에 보이지 않는 능력에 대해서 궁금하다는 질문이었습니다.  두 번째 질문은 눈에 보이는 자격 증 등의 대답에서 같이 해드리면 될 거 같구요..  세 번째 질문은 IT컨설턴트 말고 전체에 적용되는  일본에서 취업할 때 학벌과 나이가 중요한지?  에 대한 대답을 해드리겠습니다.  우선 IT컨설턴트 라는 직업은  IT전문가 와 컨설턴트 라는 업무 전문가를 합칭 말입니다.  때문에 필요한 것은 전문적인 IT지식과 현업의 업무 지식이 필요한 것이지요.  IT전문가로서 필요한 스킬을 보자면 프로그래밍 능력이 필요합니다. 이는 스스로 개발을 하지 않더라도 최소한 언어별 차이를 깊이 있게 알아야 겠지요. 예를 들면 C언어는 보다 어셈블리에 가깝기 때문에 OS의 아주 세세한 레벨까지 컨트롤이 가능하고, 거의 어셈블러에 가깝게 컴파일이 되기 때문에 CPU의 명령어 인식에 리소스가 많이 필요하지 않습니다.  이 때문에 저스펙에서도 가볍게 돌 수 있는 프로그램을 만들거나 하드웨어 컨트롤 하는 프로그램,  고 사양이 필요한 어플리케이션을 고효율로 만들 수 있는 장점이 있지요.  Java같은 경우는 처음부터 MCU같은 보드에 가볍게 넣고 밥솥이나 냉장고 등을 컨트롤 하기 쉽도록 만든 언어였는데, 다른 가전 벤더에서는 자기네들만의 프로그래밍 툴이 있었기 때문에 인기가 없었죠.  하지만, 적은 메모리에서 가볍게 움직인다는 장점이 가벼워야 할 브라우저에서 최적이라는 판단으로 웹 으로 넘어오면서 아주 좋은 효율을 냈지요. 하지만, 처음부터 용도가 다른 언어였는데 그걸 무리하게 점점 커지는 요구에 맞추어 복잡하게 되다보니 한계를 억지로 넘긴 기능들이 속출하다가 많은 버그를 만들기도 했지요.  그래도 node.js까지 발전하면서 고스펙 하드웨어가 기본이 된 현재에는 엔진이 복잡한 것은 이유가 되지 않고, 복잡하더라도 MSA가 가능해진 요즘

홈IoT 서버의 승자는?

영상버전 :  https://youtu.be/X-kii9ZQte8 AI가 성장함에 따라 데이터센터의 고밀도화 및 그에 대한 전력 소비, 발열등에 대한 이야기가 눈에 들어옵니다. 이런 이야기를 하신 분들은 이미 그 다음 단계를 알고 있다고 봐야겠지요..  시장은 유기물처럼 변화하고 움직입니다.  지금 AI에 진입한다면 늦지 않았나 조심스럽게 생각이 되네요..  그럼 AI시장이 확산되면서 나올 주제중 하나를 한 번 언급해 볼께요..  사실은 이 제안은 제가 2016년 경 한국의 유명 제조사에 제안을 했지만, 제가 직접 제안한 것이 아니고 SI업체를 통해 제안을 했다보니 많이 희석되버린 내용인데요..  이제라도 이 내용을 참고로 또 한 번 도약하는 한국의 기업들이 생기면 좋겠습니다.  IoT 시장은 나날이 확장되어 가고 있습니다.  그 속에서 한 집당 많은 IoT디바이스들이 자리를 잡겠지요..  AI스피커에서부터 전화, 커튼, 인터폰, 냉장고, 세탁기, 각 방의 전등이나 보일러 등등..  최소 집안의 IoT디바이스는 50개 정도는 봐야 할 것 입니다.  각각이 서로 IP를 가지고 있고, 그들이 MCU나 어떤 디바이스는 AI반도체가 들어있겠지요. 때문에 모든 디바이스를 인터넷 상으로 보내서 서버통신을 하기에는 너무나도 비효율적이 될 겁니다.  10만가구에 팔았는데 집당 50개의 디바이스라면 동시 500만대가 수시 서버랑 통신하는 개념이 되겠지요.. 그래서 GE는 생각을 했지요..  앞으로 이많은 디바이스가 각각 서버랑 통신하지 말고, 집집마다 홈IoT서버가 있고 그 서버가 데이터를 모아 꼭 필요한 데이터만 서버에 던져야 겠다구요..  그러면 1/50만큼 통신량이 줄어들어 서버 비용이 획기적으로 줄겠지요..  24시간 전원이 꺼져있지 않고 냉각에도 걱정없는 서버는 바로 냉장고가 아닐까? 라고 생각을 했더랍니다. 지금은 어떻게 되었는지 모르겠네요.. 이 시기에 삼성도 비슷한 생각을 했습니다.  삼성TV야 말로 24시간 전원이 들어가 있고, 실제로 내부에 칩도 들어 있으니

라떼는 DAS, SAN, NAS란게 있었단다..

영상버전 :  https://youtu.be/20n_I2J4cRs 요즘 AI, AI만 이야기 하고 있잖아요?  저도 AI를 활용한 여러가지 비즈니스를 준비는 하고 있지만,  오히려 이렇게 AI도배된 시기에 역행하는 라떼는 코너를 한 번 만들어보고 싶었습니다. 요즘 IT에 들어온 사람들은 모두 클라우드 환경이 기본이다보니  실제로 디스크를 본 적도 없는 사람도 있고 하더라구요..  아마 이젠 쓸모 없는 내용이 될 수도 있겠지만, 기록을 위해 남기는 것이니 흥미가 있는 분들만 들어주시면 됩니다,. 2000년대까지만 해도 데이터센터를 회사마다 작게는 1/4랙이나 1U단위에서 많게는 Cage라고 해서 24랙 정도 까지 직접 계약을 했었기 때문에 데이터센터를 관리하는 일이 참 많았었죠.  그 때는 고객들이 인터넷상에 서비스를 올리고자 하는데 서버구성까지 맡기는 경우가 많았습니다.  그래서 많은 서버나 장비들을 만져보고 테스트도 했었지요.  그 때 당시엔 하드 용량도 20GB나 80GB가 주력 이다보니 온라인 게임이 급격하게 성장했던 시기에 너무 데이터 저장 공간이 부족했죠. 데이터센터를 못가보신 분들도 많겠지만 이 때는 개발자도 데이터센터 달려가서 작업하던 때도 많았죠..  서버 랙을 열어보면 서버만 있는것도 아니고 별의 별 짓을 다해놓곤 하는데요..  랙 안에 자기 작업 공간처럼 황당하게 꾸민 경우도 있었는데 그 때는 사진을 안찍어놨네요..  랙 안에서 가장 신기한게 디스크들이 아주 많은 케이스였는데요..   이 때 DAS나 SAN, NAS를 효율적으로 사용해서 데이터 관리를 했습니다.  요즘 클라우드 시대에는 HDD, SSD를 쓸거냐 S3를 쓸거냐 정도인데요..   이들도 하드웨어는 SAN이나 NAS를 쓸 겁니다. 그게 서비스로 올라와서 저렇게 불리는 거죠.  요즘 세대에서는 개발자라고 들어왔지만 이 개념을 정확하게 몰라서 개발 피씨에서는 잘되던게 서버에만 올리면 안되요 하면서 premium ssd로 변경해서 요금 폭탄을 맞곤 하죠.   Aws에서 프리미엄 ssd보

세계 흐름에 역행하는 한국? R&D를 줄이고 반도체를 내준 상황에서 개인들의 대처 방법은?

영상버전 :  https://youtu.be/tb-Ie31qWhA 요즘 들어 외국 취업을 찾는 사람들을 좀더 보게 되어서  이젠 급여보다 미래를 위해 사는 사람들이 많아지겠구나 했는데..  그게 아닌가 보네요..  한국에서 방송된 시사 방송을 몇 개를 보았는데 좀 심각한가 봅니다.  2024년 R&D 예산이 4.6조원 삭감..  이걸로 국가 예산에 의존하는 기초과학 연구원은 강제 계약 종료되고,  그걸 틈타 한국에선 상상할 수 없는 금액에 중국에서 데려가고 있죠.  이걸 중국으로 갈 수 밖에 없는 사람 탓을 할 수 있을까 싶네요.  더 연구를 하고 싶지만 R&D비용만으로 급여를 받는 연구소에서  국가가 급여를 주지 않으면서 딴데 못가게 하는건 말도 안되죠.  혹자는 반도체 패권싸움을 3차 세계 대전이라고 하고 있습니다.  반도체 기술 하나만으로 국력이 차이나고 있죠..  중국은 2020년에 글로벌 R&D 1000대 기업에 194개나 올라갔지만 한국은 27개 뿐이라네요.  중국과 싱가폴은 일본 실력자들을 경쟁적으로 유치하고 있습니다.  싱가폴은 일본에서 영입한 의료연구자에게 판매금액의 몇 %를 연구진에게 돌려준다고 제안하고 일본 연구진을 끌어갔죠.  그걸로 전염병이 크게 유행했을 때 엄청난 수의 약을 싱가폴에서 판매를 하여  연구자에게만 수천억이 배당 되기도 했습니다.  이젠 한 명의 연구원이 하나의 기업보다 큰 가치를 만들어내고 있습니다.  그 때문에 SK하이닉스에서 미국 마이크론사로 이적하는 한 명 때문에  이적을 못하게 재판소에서 막기도 하는 사태가 일어나고 있죠.  여기서 뭔가 느끼는게 없나요?  해외에선 치열하게 타국에 인재를 뺏기지 않으려고 많은 지원을 해주고,  다른 나라에선 엄청난 조건으로 뺏어가려 합니다.  제가 술자리에서 자주 하는 모 민주주의 인민 공화국에서는  자유경제 시장에서 법으로 막고 있죠.  삼성만이 나라가 살길이라며 나라에서 엄청나게 지원을 받고 있고,  대부분의 한국인들은 삼성이 아직도 휴대폰, 반도체 세계

chagpt를 625배 빠르게 처리하는 AI반도체가 한국에서 나왔다?

영상 버전 :  https://youtu.be/qCA0oP1-DFI 기사 본문 https://www.koreatimes.net/ArticleViewer/Article/157870 요즘 한국에서 AI반도체를 만들었다는 둥의 이야기가 여기저기서 나오고 있네요..  AI반도체란게 그렇게 갑자기 툭 튀어 나올 정도로 얕은 기술인건가요? 아니면 다들 신경 안쓰고 있는 시기에 십수년에 걸쳐서 연구를 했던걸까요? 이 내용은 한국의 특정 기관을 까내리는 것이 아닌 제가 느낀 이상한 점을 이야기한 것 뿐이기 때문에,  제가 틀렸을 수도 있습니다.  실제로 IEEE라는 글로벌 표준을 지정하는 곳에도 신청이 들어갈 정도면 그만큼의 기술력과 자부심이 있는것은 아닌가 싶습니다.  단지, 기사화 된 내용이 정말 맞는 건지 의문이 들어서 꼬집어 보는 것 뿐이니, 이런 의문점이 좀더 클리어하게 공개가 되면 좋겠다 싶습니다.  내용을 보면  입력 값의 길이로 SNN과 DNN을 분기시키는 것이 골자입니다.  원래 DNN은 엄청난 수의 연산이 필요한데, Core를 3400개 이상 가진 NVIDIA가 병렬로 연산하면 이론상으론 8코어 CPU의 400배 이상 빠릅니다.  하지만 SNN의 경우 그렇게 많은 연산을 필요로 하지 않기 떄문에 DNN만큼의 획기적인 변화는 나오지 않지요.. 즉, SNN만으로 처리하는 경우 역으로 더 빠를 수 있습니다.  그렇다고 하면 모두 SNN을 쓰지 왜 DNN을 쓸까요?  서로 처리하는 영역이 다르기 때문에 그렇게 쓸 수가 없었던 것이죠.  그걸 처리 요청을 받아서 굳이 DNN으로 쓸 필요가 없는 단순연산은 SNN으로 변환하고자 하는게 이번 뉴스거리 일 겁니다.  단지 그 이야기라면 그냥 요청 처리시에 구분해서 던진다거나,  DNN의 오픈소스에 입력값을 전처리할 때 SNN으로 분기만 시키면 되는거 아닌가요? 만약 그렇다고 한다면  기사 내용에서 두 가지 중요한 문제가 있는데요..  첫 번쨰, 개발한 것이 AI반도체라고 했는데요..  AI반도체는 LLM같은 모델을 넣은

월급과 워라벨의 상관관계..

정규 공중파TV의 유튜브 방송을 보았습니다.  월급에 대한 인식과 직업을 구하는 기준에 대한 기업과 젊은 세대와의 인식 차이…  그리고 대부분의 사람들이 어딘가에 취직해서 월급을 받는 생활을 하고 있죠.  여러분은 무엇을 위해 지금 그 일을 계속 하고 있는 것인가요?  8-90년대에 사회에 들어온 세대는 급여가 최고였기 때문에 재미가 없다는 것이 기본이라   일이 재미 없다고 하는 요즘 세대들의 불평은 이해가 안가는 것 같습니다  요즘 커리어 컨설팅을 하면서 느끼는 것은  급여보다 워라밸을 생각하는 사람이 많네요.  저도 꼰대라서 한마디 해 볼까합니다.  젊어서 워라벨을 생각하면  젊어서 편하고 즐거웅 사이에 많은 것을 뺏길 겁니다.  물론 늙어서도 굳이 급여를 올리지 않아도 상관없다는 분들은 더이상 이런 이야기를 듣지 않으셔도 됩니다.  하지만 돈을 벌고 싶다고 하는 분들은   먼저 궤도에 오른 다음에 워라벨을 따지면  처음부터 워라벨을 찾는 사람보다 여유있는 삶을 즐길 수 있습니다.  처음 워라벨을 찾아 월 300이어도 편한 곳에 들어간 사람과  워라벨은 상관 없고 빨리 성장헐 수 있는 350만원 월급의 힘든 곳에 갔다 칩시다  처음에는 50만원 정도 밖에 차이가 나지 않겠죠  하지만 10년이 지나면 워라밸을 찾는 사람은 월 500이 되겠지만  워라벨 없이 노력한 사람은 월 800만원을 받게 되겠죠.  그리고 20년이 지나 워라벨을 유지한 사람은 해외로 놀러가고 싶어도 돈을 아껴서   겨우 타협한 곳 밖에 못가지만,  노력한 사람은 월 1500만원을 벌게되고 이젠 워라벨을 즐겨도 자신이 희망하는 라이프를 즐길 수 있습니다.  금전적 여유가 있어서 금전적 제약 없이 삶을 풍요롭게 즐길 수 있죠.  더 큰 문제가 있습니다.  60이 넘으면,  젊어서부터 워라벨을 유지했던 사람은 갑자기 급여는 연금으로 바뀌고 연금 만으로 생활을 해야 하겠죠. 아마 연금 수령액은 80만원 정도까지 떨어져 있을 겁니다.  이미 월 1500을 찍고 나서 워라벨을 추구하는 사람은 여유