기본 콘텐츠로 건너뛰기

일본 대기업의 IT 현주소 - 토요타 편

많은 일본 기업의 IT, DX(디지털 트랜스포머) 를 지원해 오면서 느낀 내용들을 정리 해본다. 

토요타의 내부 인트라넷은 하루 30만명이 매일 아침에 접속을 한다. 
관계 기업들도 접속을 해서 아침업무 확인 및 지시를 하기 때문이다. 

여타 서비스에 비해 상당히 규모가 크다. 

게다가 하나의 환경만 쓰는 것이 아니라 업무에 따라 많은 환경을 만들고 그들끼리 연결할 수 있는 방법론을 통일 하는 것에 더 많은 신경을 쓰고 있다. 

때문에 연결사양서가 가장 중요한 포지션을 가지고 있다. 

한국처럼 "갈아엎고 다시"는 통하지 않는다. 
기존 환경에 어떻게 효율적으로 연결하느냐를 가장 중요시 한다. 

다른 업무 환경이 무엇으로 이루어져 있는지 확인할 수 없다. 게다가 확인할 필요가 없도록 연결사양서를 받는다. 

그러면 제일 먼저 할 것이 연결 사양서로 주고 받는 데이터가 무엇이고, 받은 데이터를 누가 가져가며 어디서 병목이 발생하는지를 체크해야 한다. 

그리고 새로 구성된 환경을 이용하는 사람들이 어떠한 쿼리로 얼마나 집중해서 처리하는지를 분석하고 퍼포먼스 지표를 만든다. 

이렇게 준비된 자료를 기반으로 스테이징을 구성하고 기존 개발 환경에서 자동 디플로이가 되도록 스크립트를 만들어 개발팀에 주면 준비는 끝. 

스테이징 환경으로 올라온 서비스에 부하를 주는 설계를 한다. 
부하가 정상적을 줄 수 있게 되면 그 타이밍에 부하를 주고 나머지 사람들은 자기 분야에서 병목이 발생하는지 확인한다. 

들어온 부하들을 종합해서 퍼포먼스 분석 레포트를 하고, 
분석 결과를 기반으로 튜닝 포인트를 찾아낸다. 대부분의 인프라 설계 및 튜닝 포인트를 찾아서 각 분야의 담당자에게 튜닝 어드바이스를 하는게 내 일이다. OS 레벨 및 Network레벨에서 DB, 소스 코드 레벨까지 튜닝 포인트를 찾을 수 있는 사람은 흔하지 않기 때문이다. 

그렇게 튜닝된 자료를 기반으로 수 차례 부하테스트, 튜닝을 반복한다. 
마지막으로 더이상 튜닝할 곳이 없게 되면 그 상황에서 Production을 설계하고 디플로이하는 스크립트를 제공한다. 

이렇게 하면 하나의 프로젝트가 종료되는데.. 

재미있는 것은, 

많은 일본 대기업의 서비스는 Azure를 통해서 인프라를 공급해 주고 있다. 
혹자는 왜 AWS를 안써요? 라고 하겠지만, 

여기서 한국과 일본의 MS의 입지가 아주 다르다는 것을 나타낸다. 
일본의 매출은 약9천억엔(약9조원) 매출을 내고 있는데 반해
한국의 매출은 약 1.3조원에 그치고 있다. MS Japan에서 직접 들은 이야기로는 일본 매출이 중국 포함 동남아의 전 국가에서의 MS매출보다 더 많기 때문에 테리토리를 따로 나누고 있다고 한다. 


이런 매출 기반을 가지고 있어서 그런지 일본 대기업에서는 자연스럽게 클라우드로 넘어가려면 AWS보다는 Azure를 쓰려는 움직임이 많다. 

물론 스타트업등 젊은 기업들은 AWS가 대세인 것은 맞으나, 젊은 기업 비중이 적은 일본에서는 MS의 아성을 무너뜨릴 수가 없는 상태이다. 

각설하고, 

그럼 Azure를 이용한 다양한 인프라 구성들을 설계하고 구축, 운영을 해야 하는데.. 
그만큼 AWS보다 Azure의 수요가 많은 실정이다. 

Azure를 사용하는 기업들은 대기업에 기존 멤버들이라 Cloud의 전문가가 아닌 경우가 더 많다. 때문에 외주에서도 필요로 하는 기술은 Cloud전문가 라기보다는 Legacy와 Cloud를 연결하고 같은 UI로 관리할 수 있는 기술들이 많이 필요로 하고 있다. 

때문에 Terraform(https://www.terraform.io/) 같은 서비스를 이용하여 자동화를 하곤한다. 
물론 Terraform이 없던 시절부터 Shell로 PXE + IPMI 2.0을 이용한 물리 머신의 자동 OS Deploy등을 연구한 일본에서는 Terraform으로 통일하여 기존 서버를 가지고 있던 클라우드를 쓰던 환경이 변해도 업무 자체는 동일하게 OS Deploy부터 자동화 되어 있다. 

때문에 ACI(Azure Container Instance)등의 개념이 나와도 굳이 거부감이 없이 화려하게 사용하는 경우를 많이 볼 수 있다. 

이러한 인프라의 응용 자료를 찾으려면 한국에서는 너무 국소적이면서 제한된 내용들이 많아 일본 자료를 많이 찾게 되는데, 

한국에서는 누가 이렇게 썼다 하면 다들 그게 정설인 것 처럼 그 정보밖에 보이지 않지만, 
동일한 Azure환경에서 들어간 일본통운(日通, 일본 최대의 물류회사)나 메이지 야스다 생명(일본 2위 생명보험회사), DNP(대일본출판, 일본 최대의 출판사), KDDI(일본 2위 통신사) 등의 프로젝트에 들어가서 봐도 같은 Azure위에서 서비스를 하지만 모두 다른 환경 다른 툴을 사용해서 환경 구성을 하고 있다. 

때문에 모집하는 사람도 그 환경 경험자가 없다는 전제하에 유사 환경 경험자라도 불러서 다른 환경과의 비교도 해주고 더욱 효율화를 시킬 수 있는 사람들을 필요로 한다. 

때문에 쌓이는 경험치는 한국의 단일 경험에 비할바가 아니다. 

매 환경에서 새로운 개념을 접하고 새로운 툴을 접하다보니, 내가 알고 있던 정석이란 것도 거기선 효율이 떨어지는 경우가 허다하고, 
한국처럼 SI업체를 불러 난 이렇게 하고 싶으니 맞춰주쇼 하는 것이 아니고, 기존의 다양한 툴과 서비스를 분석해서 그들의 사양을 어떻게 하면 최대한 자기네 서비스에 맞출 수 있는지를 연구하다보니 훨씬 넓은 시야에서 볼 수 있게 되고, 제한된 사양의 최대한 응용할 수 있는 다양한 시각을 가질 수 있게 되었다. 

또 어떤 새로운 환경을 접하게 될까 궁금하다. 





giip :: Control all Robots and Devices! Free inter-RPA orchestration tool! https://giipasp.azurewebsites.net/

댓글

이 블로그의 인기 게시물

Alter table 에서 modify 와 change 의 차이 :: SQL Server

두 개의 차이를 모르는 경우가 많아서 정리합니다.  modify는 필드의 속성값을 바꿀때 사용하구요.. change는 필드명을 바꿀떄 사용합니다.  alter table tbbs modify bNote varchar(2000) NULL; alter table tbbs change bNoteOrg bNoteNew varchar(2000) NULL; change에는 원래 필드와 바꾸고 싶은 필드명을 넣어서 필드명을 바꾸는 것이죠~ 더 많은 SQL Server 팁을 보려면  https://github.com/LowyShin/KnowledgeBase/tree/master/wiki/SQL-Server giip :: Control all Robots and Devices! Free inter-RPA orchestration tool! https://giipasp.azurewebsites.net/

책에서는 안 알려주는 대규모 트래픽을 위한 설계

음성 버전 :  https://www.youtube.com/watch?v=ZZlW6diG_XM 대규모 트래픽을 커버하는 첫 페이지 만드는 법..  보통 DB를 연결할 때 대규모 설계는 어떻게 하시나요?  잘 만들었다는 전제 하에 동접 3000명 이하는  어떤 DBMS를 사용해도 문제 없이 돌아갑니다.  여기서 이미 터졌다면 이 콘텐츠를 보기 전에 DB의 기초부터 보셔야 합니다.  아.. 개발 코드가 터졌다구요? 그럼 개발자를 때리셔야지요..  만약 3000명을 넘겼다면? 이제 Write/Read를 분리해서  1 CRUD + n개의 READ Replica를 만들겠죠?  보통 Read Replica는 5개가 최대라고 보시면 됩니다.  누가 연구한 자료가 있었는데...  6번째 레플리카를 만든느 순간 마스터가 되는 서버의 효율 저하 때문에  5번째에서 6번쨰로 올릴때의 성능이 급격히 줄어든다는 연구 결과가 있습니다.  때문에 Azure에서도 replica설정할 때 5대까지 밖에 설정 못하게 되어 있지요.  유저의 행동 패턴에 따라 다르긴 하지만,  1 CRUD + 5 Read Replica의 경우 동접 15000명 정도는 커버 합니다.  즉, 동접 15000명 에서 다시 터져서 저를 부르는 경우가 많지요..  이 때부터는  회원 DB, 게시판DB, 서비스DB, 과금 DB 등등 으로 성격, 서로의 연관도에 따라 나누기 시작합니다.  물리적으로 DB가 나눠지면 Join을 못하거나 Linked Table또는 LinkDB등의 연결자를 이용해서 JOIN이 되기도 합니다.  그에 따라 성능 차이가 생기지만 가장 중요한 포인트는  서로 다른 물리적 테이블의 JOIN은 인덱스를 타지 않는다!  라는 것입니다. 즉, JOIN할 테이블들을 최소한으로 만든 뒤에 JOIN을 걸지 않으면 NoSQL처럼 느려터져 죽습니다.  양이 많은 DB에서 양이 적은 테이블을 가져와서 JOIN을 해야겠지요..  이렇게 해서 동접 10만명까지 커버를 했다 칩시다.  여기서 일반적인 동접의 기준도 서비스마

BI의 궁극판! Apache Drill을 써보자!

사실 Apache Drill 은 BI(Business Intelligence)라고 부르는 것 보다는 단순 데이터 연결 엔진이다. https://drill.apache.org/ 하지만 내가 왜 극찬을 하느냐면.. DBA로서 항상 문제가 되어왔던게, 이기종 데이터의 변환이나 처리였다. 포맷을 맞추는데 엄청난 시간이 걸리고, 데이터 임포트 실패가 무수하게 나고.. 한 번 잘못 데이터를 추출하면 다시 조정, 변환, 추출하는데 시간이 많이 걸린다. 그런데! Apache Drill은 그냥 RDB를 CSV랑 연결해서 조인해서 통계를 낼 수 있다. 그것도 표준 SQL을 사용하여! 예를 들어, CSV의 세 번째 컬럼이 price 이고, 물건의 판매이력을 PG사에서 CSV로 출력 받았다. 우리 DB와의 검증을 위해서는 수동으로 Import를 한 뒤에 포맷이 안맞아 잘리는 데이터가 있다면 다시 맞춰주고, 재 임포트를 수십 번, 그리고 나서 겨우 들어간 데이터를 조인하여 빠진 데이터를 분간한다. 숫자가 적다면 개발자가 개발로 처리할 수도 있지만, 건수가 하루에 300만건 짜리라면.. 한 달 온 파일은 9천만 건이다. 프로그램으로 고작 처리하는 것이 초당 500건. 거의 20만초, 에러 없이 약 56시간.. 에러가 생기면 다시 56시간.. ㅠㅡㅠ 이런게 현실이기 때문에 쿼리 말고는 방법이 없다. apache drill 의 진면목을 보자! 이번에는 좀 범용 적인 MySQL DB와 붙여 보자. . 난 이번에는 Mac에서 작업을 했기 때문에 그냥 다운 받아서 풀었음.. https://drill.apache.org/download/ 여기서 자기 OS에 맞는 버전을 받아서 설치하시길.. 압축을 풀고 나면 MySQL 커넥터를 붙여야 한다. https://dev.mysql.com/downloads/connector/j/5.1.html 여기서 다운로드 이런 커넥터 들을 붙일 때마다 콘피그를 수정해 줘야 하지만, 몇 번만