데이터 사이언티스트는 일본에서!

듣기 버전 : https://www.youtube.com/watch?v=gTfLIa7rS5I

일본에서는 데이터 사이언티스트도 꽤나 좋은 직업인데요.. 

한국에도 있다구요?

제가 NIA였던가요? 한국 국가에서 인터넷 기술을 관장하는 기관의 의뢰로 데이터 사이언티스트의 교육 커리큘럼을 위한 지침을 만들어 드린 적이 있는데요.. 

한국의 대부분의 데이터 사이언티스트 교육과정은 단순히 데이터의 정제 및 분석 뿐이더라구요.. 

한국과는 달리 실제로 데이터 사이언티스트는 한 두명의 사람으로 이루어지지 않고 하나의 팀으로 이루어지는 사례가 많다고 합니다. 

수학과 통계 스킬의 Analyst

그리고 Hacking skill의 엔지니어. 이는 대규모 데이터의 핸들링 스킬을 가진 사람이라고 해야겠지요. 데이터 사이언티스트의 프로젝트는 상식을 벗어난 데이터량으로 처리하게 되거든요. 

그리고 실무 경험 전문가. 각 데이터가 가진 속성의 진정한 의미를 모르면 아무리 뛰어난 분석가라 하더라도 의미를 찾기 어렵지요. 

상식적으로 생각해도 저 세가지 스킬을 다 가지고 있는 사람 찾기 어렵지 않을까요 ?

실제로 한국의 데이터 사이언티스트를 찾는 프로젝트를 몇 번 본적이 있는데요.. 

단순히 데이터 주면 정제해 드리겠습니다.. 로 SI업체가 외주를 받으려고 하는데.. 

고객은 잘은 모르겠고 여기에 데이터가 있으니 알아서 가져가슈.. 하고.. 

SI업체는 데이터는 엄청 많이 받았는데 어떻게 정제 해야 하는지 몰라서 버벅이다 망한 사례를 많이 봤지요.. 

어디가 잘못 된 것일까요? 

업무 전문가가 프로젝트 팀에 없고 정작 업무를 제일 잘 아는 고객은 알아서 해주쇼 하고,

엔지니어가 없다보니 데이터 분석가가 데이터 수집도 애먹고 전처리도 애먹다가 시간을 다 써버리고..

결국 데이터의 의미도 모른채 이것저것 추출해보다가 프로젝트가 무산 되는 경우가 대부분이죠.

즉, 데이터 분석 전문가만 가지고 데이어 사이언티스트라고 하면서 생기는 문제 입니다.

그 동안은 수십기가 바이트의 데이터만 처리해보니 피씨로 복사도 금방 되고 여러가지 처리도 시험해보면서 자신이 붙었을 겁니다.

S생명을 예로 들어보죠.

32TB의 고객 데이터 및 영업 이력 데이터에 전국 주소 정보 및 부동산 시세 정보를 넣고 지금까지의 보험 가입 이력 및 담당자 정보를 매핑합니다.

요즘은 DW에 쿼리 날리는 법도 배우지 못한 교육 과정만 거치고 나온 데이터 사이언티스트가 많아서 그냥 익스포트 한 뒤에 R이나 파이썬으로 어떻게 지지고 볶으려고 합니다.

이 두 언어의 특징은 모든 대상 데이터를 메모리에 넣고 처리를 해야 하므로 메모리가 대상 용량 + 연산 용량 + 결과 용량만큼이 필요합니다.

어떤 머신이 45TB이상의 메모리를 가지고 있을까요?

그러니 올리면 터지고 올리면 터지고를 반복하다가 disk io만으로 해보려다가 포기하게 되는 것이지요.

Disk IO는시퀀셜 리드로 빨리 나온다 하더라도 6Gbps입니다.6TB 데이터 읽는데만 1000초.. 이런 디스크를 disk bench에서 돌리면 겨우 40MB/s 정도 나오죠..

이걸로 1일 내내 돌리면 약 3테라.. 10일 돌리면 간신히 30테라 읽어내지요.. 

이게 45TB정도의 메모리가 있는 하드웨어가 있을 때의 이야기 이지만, 

요즘 아무리 성능이 좋은 PC라고 해도 1TB짜리가 아직 없는거 같은데.. 

이게 바로 현실이지요.. 

제가 설계했던  모 서비스는 76TB의 데이터를 저장 및 정제 하기 위해 1.76PB 의 시스템을 만들고 분산해서 64GB단위로 끊어서 머신러닝 하는 512GB메모리를 가진 배치 서버 4대가 각자 머신러닝 후 추가 러닝을 하는 방법으로 진행을 했지요. 

그렇게 해서 만든 160억원짜리 시스템으로 1~2개월씩 돌리는데.. 

인프라 전문가가 없다면 데이터 로드에서부터 이런 사태에 빠지구요.. 

만약 로드를 어떻게든 했다 치면 그 뒤에 업무 전문가가 손을 놓으면 그냥 정처없이 돌리다가 끝나게 되지요. 

나중에 나온 결과를 고객이 보고서 피식 웃고 버리면 더 씁쓸하겠지요.. 

성공하는 데이터사이언티스트가 되려면 먼저 조직을 잘 갖춘 곳에서 제대로 데이터 분석 프로젝트를 해보신 분들과 같이 처음엔 일을 해보시는 것을 추천합니다.

연습할 곳은 kaggle도 있지만, 일본에는 각 지자체나 통계청, 그리고 여러 기업들이 콤페로 많은 머신러닝 대회를 열고 있거든요.. 이것만 잘 참여해서 수상하면 쉽게 수백만엔은 벌 수도 있는 거 같아요.. 

해보고 싶은 분들의 많은 참여를... 

어디서 하는지는 직접 찾아보셔용~~ ^^

giip :: Control all Robots and Devices! Free inter-RPA orchestration tool! https://giipasp.azurewebsites.net/