기본 콘텐츠로 건너뛰기

IT컨설턴트의 필수 스킬 캐퍼시티 플래닝(Capacity Planning) ! 중에 클라우드 환경에서는?




캐퍼시티 플래닝 하면 무엇이 떠오르시나요? 

아직 리더급이 되지 않으신 분들이나 이제 막 리더가 되어서 잘 모르시는 분들이 많으리라 봅니다. 
프로젝트를 리딩하는 사람들은 예산을 편성해야 합니다. 
원래는 컨설턴트가 주로 하는 것이지만, 운영 중에는 PM이 담당하는 경우가 많지요. 

보통 캐퍼시티 플래닝 이라고 하면 
서비스에 맞추어 어느 리소스를 어느 타이밍에 얼마만큼 늘려주어야 하는지를 계산하여 
그로인해 예산이 편성되는 시기까지 서비스를 멈추지 않고 미리 확장하기 위한 레거시 시절의 산물입니다. 

이젠 클라우드가 되었으니 그냥 매달 내면 되잖아요?
하지만 클라우드가 되면서 더욱 예산 편성이 힘들어진 요즘 
클라우드에 맞는 캐퍼시티 플래닝을 해주는 곳이 별로 없는 것 같아서 
대형 프로젝트는 예산이 불확실 하여 클라우드화 안된다거나, 
클라우드화를 하더라도 레거시처럼 월단위 금액이 고정되는 리소스를 굳이 넣는 경우가 많죠..

여기서 제가 제안하는 클라우드에 특화된 캐퍼시티 플래닝 기법을 소개할까 합니다. 

왠지 거창하죠? 
하지만 보시면 헛 웃음이 나올 정도로 간단합니다. 
이런 간단한 걸 지금 할 줄 아느냐 모르느냐의 차이가 능력의 차이가 되는 것이지요.

이제 감정인식AI프로젝트의 막바지인데요.. 6월에 저의 할 일은 끝나서 저만 프로젝트에서 빠집니다. 
그런데 할게 없어서 캐퍼시티 플래닝을 해주겠다고 하자 좋아하더라구요.. 

그래서 제가 했던 내용을 정리 해 드립니다. 

1. Azure Cost management를 들어갑니다. 
2. 한 달간 사용한 양을 CSV로 떨굽니다. 
3. 이걸 엑셀에서 열어서 항목들을 보면서 고객이 늘어날 때 늘어날 항목들에 가중치를 만들어 줍니다. 
a. 개발이나 테스트 리소스는 0으로, 고객이 늘어날 때 추가할 것은 1로, 고객이 늘어나도 쉐어하는 것은 쉐어 비율을 계산합니다. 보통 0.3~0.7 정도로 많이 하지요. 
4. 이렇게 계산이 끝나면 확장 단위별로 자동 계산 식을 만듭니다. 
5. 이번 고객은 엔드유저 하나당 한 세트씩 늘어나는 방식이기 때문에 엔드 유저 수로 계산하는 표를 만들었지요. 만약 유저 5000명 1만명 당.. 같은 식이라면 그런 느낌으로 가중치와 기본 세트의 금액을 적으면 됩니다. 
6. 그리고 첫 페이지는 고객이 그냥 숫자만 입력하면 되도록 하는 간이 계산기 표를 만들어 주면 되지요. 

너무 쉽죠? 
하지만, 제가 들어간 모든 프로젝트에서 이런 느낌으로 만들어 주시는 분들이 없다보니 
제 방식에 굉장히 신뢰를 해주시더라구요..
그도 그럴게 실 데이터를 익스포트해서 가중치만 잘 계산하면 언제든 새로운 기능이 들어가도 고객이 스스로 계산기를 만들 수 있게 되니까요. 

기존 레거시 시스템의 캐퍼시티 플래닝 표는 완전히 다릅니다. 
이건 클라우드화 되가면서 고객이 어떻게 하면 예산 편성이 쉽게 할 수 있을까 고민하다가 
제가 만들어낸 것이라 제 오리지널이라고 해야 할까요? 

하지만 너무 단순해서 굳이 꽁꽁 싸매고 제거라고 우길만한게 아니라 공개 합니다. 
AWS역시 비용 계산기가 있으니 이 내용을 참고로 스스로 만들어보는 연습을 해보시기 바랍니다. 

IT컨섩팅을 목표로 하시는 분들에게 참고가 되길 바랍니다. 

giip :: Control all Robots and Devices! Free inter-RPA orchestration tool! https://giipasp.azurewebsites.net/

댓글

이 블로그의 인기 게시물

Alter table 에서 modify 와 change 의 차이 :: SQL Server

두 개의 차이를 모르는 경우가 많아서 정리합니다.  modify는 필드의 속성값을 바꿀때 사용하구요.. change는 필드명을 바꿀떄 사용합니다.  alter table tbbs modify bNote varchar(2000) NULL; alter table tbbs change bNoteOrg bNoteNew varchar(2000) NULL; change에는 원래 필드와 바꾸고 싶은 필드명을 넣어서 필드명을 바꾸는 것이죠~ 더 많은 SQL Server 팁을 보려면  https://github.com/LowyShin/KnowledgeBase/tree/master/wiki/SQL-Server giip :: Control all Robots and Devices! Free inter-RPA orchestration tool! https://giipasp.azurewebsites.net/

책에서는 안 알려주는 대규모 트래픽을 위한 설계

음성 버전 :  https://www.youtube.com/watch?v=ZZlW6diG_XM 대규모 트래픽을 커버하는 첫 페이지 만드는 법..  보통 DB를 연결할 때 대규모 설계는 어떻게 하시나요?  잘 만들었다는 전제 하에 동접 3000명 이하는  어떤 DBMS를 사용해도 문제 없이 돌아갑니다.  여기서 이미 터졌다면 이 콘텐츠를 보기 전에 DB의 기초부터 보셔야 합니다.  아.. 개발 코드가 터졌다구요? 그럼 개발자를 때리셔야지요..  만약 3000명을 넘겼다면? 이제 Write/Read를 분리해서  1 CRUD + n개의 READ Replica를 만들겠죠?  보통 Read Replica는 5개가 최대라고 보시면 됩니다.  누가 연구한 자료가 있었는데...  6번째 레플리카를 만든느 순간 마스터가 되는 서버의 효율 저하 때문에  5번째에서 6번쨰로 올릴때의 성능이 급격히 줄어든다는 연구 결과가 있습니다.  때문에 Azure에서도 replica설정할 때 5대까지 밖에 설정 못하게 되어 있지요.  유저의 행동 패턴에 따라 다르긴 하지만,  1 CRUD + 5 Read Replica의 경우 동접 15000명 정도는 커버 합니다.  즉, 동접 15000명 에서 다시 터져서 저를 부르는 경우가 많지요..  이 때부터는  회원 DB, 게시판DB, 서비스DB, 과금 DB 등등 으로 성격, 서로의 연관도에 따라 나누기 시작합니다.  물리적으로 DB가 나눠지면 Join을 못하거나 Linked Table또는 LinkDB등의 연결자를 이용해서 JOIN이 되기도 합니다.  그에 따라 성능 차이가 생기지만 가장 중요한 포인트는  서로 다른 물리적 테이블의 JOIN은 인덱스를 타지 않는다!  라는 것입니다. 즉, JOIN할 테이블들을 최소한으로 만든 뒤에 JOIN을 걸지 않으면 NoSQL처럼 느려터져 죽습니다.  양이 많은 DB에서 양이 적은 테이블을 가져와서 JOIN을 해야겠지요..  이렇게 해서 동접 10만명까지 커버를 했다 칩시다.  여기서 일반적인 동접의 기준도 서비스마

BI의 궁극판! Apache Drill을 써보자!

사실 Apache Drill 은 BI(Business Intelligence)라고 부르는 것 보다는 단순 데이터 연결 엔진이다. https://drill.apache.org/ 하지만 내가 왜 극찬을 하느냐면.. DBA로서 항상 문제가 되어왔던게, 이기종 데이터의 변환이나 처리였다. 포맷을 맞추는데 엄청난 시간이 걸리고, 데이터 임포트 실패가 무수하게 나고.. 한 번 잘못 데이터를 추출하면 다시 조정, 변환, 추출하는데 시간이 많이 걸린다. 그런데! Apache Drill은 그냥 RDB를 CSV랑 연결해서 조인해서 통계를 낼 수 있다. 그것도 표준 SQL을 사용하여! 예를 들어, CSV의 세 번째 컬럼이 price 이고, 물건의 판매이력을 PG사에서 CSV로 출력 받았다. 우리 DB와의 검증을 위해서는 수동으로 Import를 한 뒤에 포맷이 안맞아 잘리는 데이터가 있다면 다시 맞춰주고, 재 임포트를 수십 번, 그리고 나서 겨우 들어간 데이터를 조인하여 빠진 데이터를 분간한다. 숫자가 적다면 개발자가 개발로 처리할 수도 있지만, 건수가 하루에 300만건 짜리라면.. 한 달 온 파일은 9천만 건이다. 프로그램으로 고작 처리하는 것이 초당 500건. 거의 20만초, 에러 없이 약 56시간.. 에러가 생기면 다시 56시간.. ㅠㅡㅠ 이런게 현실이기 때문에 쿼리 말고는 방법이 없다. apache drill 의 진면목을 보자! 이번에는 좀 범용 적인 MySQL DB와 붙여 보자. . 난 이번에는 Mac에서 작업을 했기 때문에 그냥 다운 받아서 풀었음.. https://drill.apache.org/download/ 여기서 자기 OS에 맞는 버전을 받아서 설치하시길.. 압축을 풀고 나면 MySQL 커넥터를 붙여야 한다. https://dev.mysql.com/downloads/connector/j/5.1.html 여기서 다운로드 이런 커넥터 들을 붙일 때마다 콘피그를 수정해 줘야 하지만, 몇 번만