기본 콘텐츠로 건너뛰기

일본의 디지털청은 모르겠지만 디지털화의 현주소

요즘은 한국과 일본과의 관계가 안좋아지고
코로나 때문에 왕래도 거의 사라져 버렸지만, 
경제라는 것은 흐름이 있기 때문에 
알아두면 참고가 되지 않을까 싶습니다. 

공공기관의 인터넷화는 한국이 일본보다 확실히 앞서 있습니다. 
그리고 연간 해외 수출액도 작년도 기준으로 
일본이 800조정도에 한국이 600조 정도로 많이 따라 잡았습니다. 

하지만 RPA가 언급되기 이전 부터 자동화의 관점으로 보면
일본의 경우가 많이 진전되어 있었습니다. 
RPA이전부터 자동화에 대한 니즈 및 자동화 솔루션이 많이 나와 있었구요.. 
이제와서 RPA라고 해서 붐이 다시 일어나는 것보다, 
RPA 툴이 진화되면서 자동화의 영역이 더 넓어졌기 때문에 
더욱 급속도로 확대 되고 있지요. 

그런 반면 한국에선 아직도 눈치보기로 
어디 대기업이 도입되기를 기대하면서 
시범적으로 도입하고 그걸 기사화 하는 정도가 현실 입니다. 

치열하게 효율화에 목숨을 걸고 투자를 하는 일본과
잠깐 맹렬하게 이슈화 되었다가 사라지는 것이 반복되는 한국..
많은 시도를 할 수 있는 테스트베드가 되는 것은 좋으나, 
결국 테스트 후에 세계 시장에서 돈을 버는 것은 
한국에서 테스트베드를 경험한 사람들이 참여한 해외 기업이 되네요. 

이 좋은 테스트베드의 경험을 사업으로 이끌고 일본이나 
다른 해외에 진출하는 IT기업이 있다면 큰 성공을 하지 않을까 합니다. 
하지만, 
예전에도 언급한 경험담이지만, 
한국에선 해외 진출을 위해 도와주는 투자자 또는 기업중에
IT기술 자체에 점수를 매기는 경우가 없지요. 
그렇기 때문에 솔루션 회사 혼자 해외에서 맨땅에 헤딩하고
우연히 살아남아도 글로벌 기업에 먹히는 정도가 다이지 않나 싶습니다. 

일본은 한국이나 해외의 국가 디지털 사업을 벤치마킹하여 
2025년까지 개인번호(주민등록번호 같은것)만 있으면
많은 것들이 해결되는 시스템으로 만든다고 하고, 
많은 기업들이 연동을 하고 있습니다. 

이 얘기를 하다가 재미있는 얘기를 들었는데요...
한국은 여러 은행의 계좌 통합관리 앱을 만들려면 
은행에서밖에 못할 정도로 열려있지 않지만, 
일본은 개인도 만들 수 있을 정도로 OpenAPI가 잘 되어 있어서
다양한 자산관리 앱이 많습니다. 
그리고 호텔역시 개인이 호텔예약 앱을 만들 수 있을 정도로
OpenAPI가 보편화 되어 있습니다. 
그 밖에도 전국 도서관의 도서 검색 앱이라던가, 
이런 식으로 국가 차원에서 OpenAPI사업을 크게 펼치기 때문에
많은 개인이나 기업이 자신의 아이디어로 다양한 서비스를 열고 있지만, 
한국에서는 API하나 받는게 사업이 될 정도로 API가 폐쇄되어 있지요..

역으로 말하자면, 
일본의 OpenAPI만 잘 파악한다면
해외에서 일본의 정보가 필요한 외국인에게 서비스할 수 있지 않을까요?

아뭏든,
이렇게 기업이나 국가 차원에서 API를 열어준 단계가 끝났으니
본격적인 빅데이터 사업이나 인공지능 사업을 하기엔
일본이 한국보다 훨씬 환경이 좋아진 것 같습니다. 


 

giip :: Free mixed RPA orchestration tool! 

댓글

이 블로그의 인기 게시물

Alter table 에서 modify 와 change 의 차이 :: SQL Server

두 개의 차이를 모르는 경우가 많아서 정리합니다.  modify는 필드의 속성값을 바꿀때 사용하구요.. change는 필드명을 바꿀떄 사용합니다.  alter table tbbs modify bNote varchar(2000) NULL; alter table tbbs change bNoteOrg bNoteNew varchar(2000) NULL; change에는 원래 필드와 바꾸고 싶은 필드명을 넣어서 필드명을 바꾸는 것이죠~ 더 많은 SQL Server 팁을 보려면  https://github.com/LowyShin/KnowledgeBase/tree/master/wiki/SQL-Server giip :: Control all Robots and Devices! Free inter-RPA orchestration tool! https://giipasp.azurewebsites.net/

책에서는 안 알려주는 대규모 트래픽을 위한 설계

음성 버전 :  https://www.youtube.com/watch?v=ZZlW6diG_XM 대규모 트래픽을 커버하는 첫 페이지 만드는 법..  보통 DB를 연결할 때 대규모 설계는 어떻게 하시나요?  잘 만들었다는 전제 하에 동접 3000명 이하는  어떤 DBMS를 사용해도 문제 없이 돌아갑니다.  여기서 이미 터졌다면 이 콘텐츠를 보기 전에 DB의 기초부터 보셔야 합니다.  아.. 개발 코드가 터졌다구요? 그럼 개발자를 때리셔야지요..  만약 3000명을 넘겼다면? 이제 Write/Read를 분리해서  1 CRUD + n개의 READ Replica를 만들겠죠?  보통 Read Replica는 5개가 최대라고 보시면 됩니다.  누가 연구한 자료가 있었는데...  6번째 레플리카를 만든느 순간 마스터가 되는 서버의 효율 저하 때문에  5번째에서 6번쨰로 올릴때의 성능이 급격히 줄어든다는 연구 결과가 있습니다.  때문에 Azure에서도 replica설정할 때 5대까지 밖에 설정 못하게 되어 있지요.  유저의 행동 패턴에 따라 다르긴 하지만,  1 CRUD + 5 Read Replica의 경우 동접 15000명 정도는 커버 합니다.  즉, 동접 15000명 에서 다시 터져서 저를 부르는 경우가 많지요..  이 때부터는  회원 DB, 게시판DB, 서비스DB, 과금 DB 등등 으로 성격, 서로의 연관도에 따라 나누기 시작합니다.  물리적으로 DB가 나눠지면 Join을 못하거나 Linked Table또는 LinkDB등의 연결자를 이용해서 JOIN이 되기도 합니다.  그에 따라 성능 차이가 생기지만 가장 중요한 포인트는  서로 다른 물리적 테이블의 JOIN은 인덱스를 타지 않는다!  라는 것입니다. 즉, JOIN할 테이블들을 최소한으로 만든 뒤에 JOIN을 걸지 않으면 NoSQ...

BI의 궁극판! Apache Drill을 써보자!

사실 Apache Drill 은 BI(Business Intelligence)라고 부르는 것 보다는 단순 데이터 연결 엔진이다. https://drill.apache.org/ 하지만 내가 왜 극찬을 하느냐면.. DBA로서 항상 문제가 되어왔던게, 이기종 데이터의 변환이나 처리였다. 포맷을 맞추는데 엄청난 시간이 걸리고, 데이터 임포트 실패가 무수하게 나고.. 한 번 잘못 데이터를 추출하면 다시 조정, 변환, 추출하는데 시간이 많이 걸린다. 그런데! Apache Drill은 그냥 RDB를 CSV랑 연결해서 조인해서 통계를 낼 수 있다. 그것도 표준 SQL을 사용하여! 예를 들어, CSV의 세 번째 컬럼이 price 이고, 물건의 판매이력을 PG사에서 CSV로 출력 받았다. 우리 DB와의 검증을 위해서는 수동으로 Import를 한 뒤에 포맷이 안맞아 잘리는 데이터가 있다면 다시 맞춰주고, 재 임포트를 수십 번, 그리고 나서 겨우 들어간 데이터를 조인하여 빠진 데이터를 분간한다. 숫자가 적다면 개발자가 개발로 처리할 수도 있지만, 건수가 하루에 300만건 짜리라면.. 한 달 온 파일은 9천만 건이다. 프로그램으로 고작 처리하는 것이 초당 500건. 거의 20만초, 에러 없이 약 56시간.. 에러가 생기면 다시 56시간.. ㅠㅡㅠ 이런게 현실이기 때문에 쿼리 말고는 방법이 없다. apache drill 의 진면목을 보자! 이번에는 좀 범용 적인 MySQL DB와 붙여 보자. . 난 이번에는 Mac에서 작업을 했기 때문에 그냥 다운 받아서 풀었음.. https://drill.apache.org/download/ 여기서 자기 OS에 맞는 버전을 받아서 설치하시길.. 압축을 풀고 나면 MySQL 커넥터를 붙여야 한다. https://dev.mysql.com/downloads/connector/j/5.1.html 여기서 다운로드 이런 커넥터 들을 붙일 때마다 콘피그를 수정해 줘야 하지만, 몇 번만...