기본 콘텐츠로 건너뛰기

클라우드 컴퓨팅을 논해보자. (Definition of cloud computing from NIST)

클라우드 컴퓨팅에 대해서 사람들이 많이 논하고 있다.
하지만, 정확히 아는 사람도 아직 적은 편이다.
그리고 정의만 달달 외우는 우리나라식 주입식 암기만 하고 있는 사람들도 있다.

약간 깊이 있게 논해보자.

NIST(National Institute of standards and technology, 미국 표준 기술 연구소)에서 클라우드 컴퓨팅을 이렇게 정리했다.


On-demand self service
내가 직접 액션을 취해서 받는 서비스이다.
Broad network access
어디서든 엑세스 되는 네트워크 환경을 가진다.
하지만 여기서는 다양한 디바이스에서의 접속을 얘기하기도 한다.
Resource pooling
리소스 풀을 가지고 있어 원할때 바로 꺼내사용할 수 있어야 한다.
Rapid Elasticity
빠른 신축성을 가지고 바로 사용하고 바로 돌려줄 수 있는 가변성을 가져야 한다.
Measured Service
위의 네 가지를 다 가능하게 한다면 사용한 만큼 과금을 할 수 있는 측정서비스를 가지고 있어야 한다.

이 다섯가지를 구비하고 있으면 클라우드 컴퓨팅이다.
어디에서 가상화(Virtualization)이니 이중화(Redundancy)이니 보안(Security)이니 하는게 있는가..
아직도 클라우드는 가상화 아니냐.. 죽지 않는 서비스 아니냐 하는식의 얘기는 안하겠지..

그럼 클라우드라고 불리는 서비스들이 제대로 클라우드의 정의에 따르는지 보자.
AWS, Azure, GCE(Google Computing Engine), LG Cloud N, KT 유클라우드(U Cloud)의 경우 대표적인 IaaS로서 자리잡고 있다. 회원 가입을 하고 직접 서버를 생성한다. 그리고 모바일 버전등 다양한 디바이스에서 접속해서 서비스 사업자들이 제공하는 리소스 풀에서 꺼내 쓰고 바로 삭제가 가능하다.
그리고 월말에 사용량만큼 과금한다.

이게 바로 클라우드 서비스라고 하는 것이다.

대표적인 PaaS(Platform as a Service)를 보자.
Sales Force(http://force.com), GAE(Google Apps Engine), VS Online(Visual Studio Online)등의 서비스가 대표적인 PaaS이다.
이들 역시 유저가 직접 가입하고 사용하고, 필요한 기능들을 마음대로 끌어쓰다가 풀어줄 수 있다.
그리고 사용량에 맞추어 과금이 발생한다.

Storage Service 및 DB 서비스는 영역이 애매하다.
N Drive나 다음 클라우드의 스토리지 영역은 유저에게 저장공간을 준다.
IaaS에서 이야기하는 Infrastructure에 해당하느냐에 대한 애매함과,
다수의 공급자를 다수의 수요자에게 매칭시켜주지도 않으면서 플랫폼(Platform)이라 부를 수 없다.
저장 솔루션이나 DB 솔루션의 서비스에 가깝기 때문에 SaaS라고 부르는게 맞을지도 모르겠다.

AWS S3, N드라이브, 다음클라우드등의 스토리지 서비스를 보자.
유저가 가입하고, 여러 기기에서 접속 가능하고, 사용하고, 용량증설이 자유(?)롭고, 언제든 줄일 수 있고, 사용량 만큼 과금(?) 한다.
중간중간 물음표가 들어있는 의미를 알 것이다. 무료 서비스 일부 옵션 서비스도 있고, 용량을 미리 지정해놓고 용량에 대한 해제가 애매한 서비스들도 있다.

하지만, 이렇게 클라우드 컴퓨팅의 개념을 정확하게 이해하고 있으면 서비스 사업자와 유저사이의 분쟁이 있을리가 없다.

예를 들어, AWS의 Ireland 센터가 벼락에 맞아 서비스가 떨어진 적이 있다. 이틀간의 서비스 정지가 있었다. 고객들은 항의했다. 변상을 요구했다.
위의 클라우드 정의를 보자. 어디가 이중화가 있는가?
이중화를 하기 쉽게 Self-service툴을 제공하고 있는데 왜 안하고서 사업자를 탓하는가?

고객들이 클라우드는 보안에 취약하지 않느냐고 물어본다.
클라우드 서비스는 다중 사용자를 타게팅 하여 만들었기 때문에 오히려 보안성을 잘 고려해서 만들었다. 단지, IaaS같은 서비스의 경우 고객이 생성한 서버 내의 보안까지 모두 최고로 올려서 서비스를 한다면 고객은 하나하나 푸는데 고생할 것이다.
즉, 지금과 똑같이 코로케이션이나 호스팅을 할 때 제공한 수준과 동일한 수준의 보안을 설정해줄 뿐이다. 나머지는 고객이 self-service로 고객의 보안정책에 맞추어 설정을 해야하는 것이다.

클라우드 서비스를 가격만 가지고 비교하는 케이스도 많다.
클라우드는 저렴하게 인프라를 제공할 수 없다. 중앙 관리용 솔루션 개발에만 수십억을 들였는데 이게 자선사업도 아니고 고객에게 전가되는게 당연한 거 아닌가?
리소스를 나누어 쓰면서 발생하는 비용 절감이 있다고?
그럼 고객 스스로 나누어 쓸만큼 스펙을 낮추는게 맞는거 아닌가?
클라우드 영업은 누누히 얘기한다.

"서버의 컴퓨팅 파워를 평균 20%밖에 안쓰기 때문에 그런 서버들을 옮겨오면 효율이 있다."

그럼 스펙을 20%로 잡던가.. 아니면 여유잡아 40%로 잡아야지 100%로 잡으면서 가격 네고를 하는게 말이 되는가.. 참고로 모 클라우드 인프라를 코로케이션과 비교하면 클라우드가 2배 정도 비싸다. 동일 스펙으로 1년 사용시 비용이다.

레거시와 클라우드 서비스의 장단점을 알고, 그에 최적화된 구성을 할 수만 있다면 아마도 가격도 절약하면서 최적의 인프라를 관리할 수 있을 것이다.


클라우드/호스팅 서버의 통합 관리 자동화 서비스 : http://giip.littleworld.net
자신의 모든 데이터/사이트를 한 번에 관리 : http://link.littleworld.net

댓글

이 블로그의 인기 게시물

Alter table 에서 modify 와 change 의 차이 :: SQL Server

두 개의 차이를 모르는 경우가 많아서 정리합니다.  modify는 필드의 속성값을 바꿀때 사용하구요.. change는 필드명을 바꿀떄 사용합니다.  alter table tbbs modify bNote varchar(2000) NULL; alter table tbbs change bNoteOrg bNoteNew varchar(2000) NULL; change에는 원래 필드와 바꾸고 싶은 필드명을 넣어서 필드명을 바꾸는 것이죠~ 더 많은 SQL Server 팁을 보려면  https://github.com/LowyShin/KnowledgeBase/tree/master/wiki/SQL-Server giip :: Control all Robots and Devices! Free inter-RPA orchestration tool! https://giipasp.azurewebsites.net/

책에서는 안 알려주는 대규모 트래픽을 위한 설계

음성 버전 :  https://www.youtube.com/watch?v=ZZlW6diG_XM 대규모 트래픽을 커버하는 첫 페이지 만드는 법..  보통 DB를 연결할 때 대규모 설계는 어떻게 하시나요?  잘 만들었다는 전제 하에 동접 3000명 이하는  어떤 DBMS를 사용해도 문제 없이 돌아갑니다.  여기서 이미 터졌다면 이 콘텐츠를 보기 전에 DB의 기초부터 보셔야 합니다.  아.. 개발 코드가 터졌다구요? 그럼 개발자를 때리셔야지요..  만약 3000명을 넘겼다면? 이제 Write/Read를 분리해서  1 CRUD + n개의 READ Replica를 만들겠죠?  보통 Read Replica는 5개가 최대라고 보시면 됩니다.  누가 연구한 자료가 있었는데...  6번째 레플리카를 만든느 순간 마스터가 되는 서버의 효율 저하 때문에  5번째에서 6번쨰로 올릴때의 성능이 급격히 줄어든다는 연구 결과가 있습니다.  때문에 Azure에서도 replica설정할 때 5대까지 밖에 설정 못하게 되어 있지요.  유저의 행동 패턴에 따라 다르긴 하지만,  1 CRUD + 5 Read Replica의 경우 동접 15000명 정도는 커버 합니다.  즉, 동접 15000명 에서 다시 터져서 저를 부르는 경우가 많지요..  이 때부터는  회원 DB, 게시판DB, 서비스DB, 과금 DB 등등 으로 성격, 서로의 연관도에 따라 나누기 시작합니다.  물리적으로 DB가 나눠지면 Join을 못하거나 Linked Table또는 LinkDB등의 연결자를 이용해서 JOIN이 되기도 합니다.  그에 따라 성능 차이가 생기지만 가장 중요한 포인트는  서로 다른 물리적 테이블의 JOIN은 인덱스를 타지 않는다!  라는 것입니다. 즉, JOIN할 테이블들을 최소한으로 만든 뒤에 JOIN을 걸지 않으면 NoSQ...

BI의 궁극판! Apache Drill을 써보자!

사실 Apache Drill 은 BI(Business Intelligence)라고 부르는 것 보다는 단순 데이터 연결 엔진이다. https://drill.apache.org/ 하지만 내가 왜 극찬을 하느냐면.. DBA로서 항상 문제가 되어왔던게, 이기종 데이터의 변환이나 처리였다. 포맷을 맞추는데 엄청난 시간이 걸리고, 데이터 임포트 실패가 무수하게 나고.. 한 번 잘못 데이터를 추출하면 다시 조정, 변환, 추출하는데 시간이 많이 걸린다. 그런데! Apache Drill은 그냥 RDB를 CSV랑 연결해서 조인해서 통계를 낼 수 있다. 그것도 표준 SQL을 사용하여! 예를 들어, CSV의 세 번째 컬럼이 price 이고, 물건의 판매이력을 PG사에서 CSV로 출력 받았다. 우리 DB와의 검증을 위해서는 수동으로 Import를 한 뒤에 포맷이 안맞아 잘리는 데이터가 있다면 다시 맞춰주고, 재 임포트를 수십 번, 그리고 나서 겨우 들어간 데이터를 조인하여 빠진 데이터를 분간한다. 숫자가 적다면 개발자가 개발로 처리할 수도 있지만, 건수가 하루에 300만건 짜리라면.. 한 달 온 파일은 9천만 건이다. 프로그램으로 고작 처리하는 것이 초당 500건. 거의 20만초, 에러 없이 약 56시간.. 에러가 생기면 다시 56시간.. ㅠㅡㅠ 이런게 현실이기 때문에 쿼리 말고는 방법이 없다. apache drill 의 진면목을 보자! 이번에는 좀 범용 적인 MySQL DB와 붙여 보자. . 난 이번에는 Mac에서 작업을 했기 때문에 그냥 다운 받아서 풀었음.. https://drill.apache.org/download/ 여기서 자기 OS에 맞는 버전을 받아서 설치하시길.. 압축을 풀고 나면 MySQL 커넥터를 붙여야 한다. https://dev.mysql.com/downloads/connector/j/5.1.html 여기서 다운로드 이런 커넥터 들을 붙일 때마다 콘피그를 수정해 줘야 하지만, 몇 번만...