기본 콘텐츠로 건너뛰기

스테이징, 본 서버와 소스 관리를 일원 화! Azure + Github !

1999년도 부터 서버쪽 일을 계속 하면서 느꼈는데,
github등의 공동 작업 서비스들이 발전하면서 엄청난 진화를 했는데,
현재까지도 기존의 방식을 사용하고 있는 기업이 너무 많습니다.

게다가 클라우드면 다되는줄 알고 전부 클라우드에 올렸다가
막대한 비용을 내고 있는 기업들도 있지요..

규모에 따라 여러가지 어렌지는 필요하지만,
제가 사용하는 방법을 공개합니다.

1. Github계정을 생성, 소스 마스터는 유료 계정으로 설정(월 $7).
* 소스 마스터가 유료이면 Contributor를 무제한으로 늘릴 수 있으나 무료 계정이면 2 명까지 밖에 못늘림(언젠가 부터 바뀐 정책). 게다가 워크 그룹이나 오거나이저를 생성하면 계정당 비용을 내야 함.

2. Azure에서 F1(Free) 티어로 App Service등록
* giipasp : 서비스용 App service
* giipaspstg01 : 스테이징 1
* giipaspdev01 : 개발 1

3. DB서버 역시 클라우드로 만들어도 되고, 자체 서버에 DB를 설치해도 됨. 이번엔 Azure의 sql cloud 를 사용함.
* giipdb DB생성. (10DAU로 설정하면 고정 SQL라이선스를 내지 않아도 됨)
* 참고로 S1등의 스탠다드 DB로 만들면 사용을 안해도 1서버당 25만원 정도의 라이선스 비용이 별도로 과금 됨. (처음에 몰랐다가 지불을.....)

4. Github에서 Repository를 Dev, Real 두 개를 생성
* Real은 위의 유료 계정이 아닌 다른 관리 계정으로 만듬.
  유료 계정은 개발 및 기타 여러가지 Repository를 잔뜩 만들기 때문에 나중에 deploy관리시 아주 많이 어려움. Deploy는 Contributor가 필요 없으니 차라리 새로 생성해서 Deploy전용 repository만 관리.
* Dev : https://github.com/LowyShin/giipasp.git
* Stg : https://github.com/LowyNBK/giipasp.git (반드시 Dev에서 folk를 해서 가져옵니다!)
* Real : Stg에서 branch를 Real로 만듭니다.
* Folk한 repository는 다시 folk가 안되기 때문에 branch로 만듭니다.
* Stg, Real을 LowyNBK계정으로 만든 이유는 나중에 Deploy관리가 편하게 하기 위해서 입니다.

5. Azure App Service에서 각 branch를 설정 및 등록
* Azure App Service의 giipaspstg01 서비스에 들어갑니다.
* Deployment란 항목으로 가서 github에서 가져오는 것으로 설정합니다.
  * 이것저것 많은데 처음 선택은 github계정으로, 소스 관리는 K머시기(맨 처음 것)으로 관리하는걸로 설정합니다.
  * github연동 계정은 deployment 관리용 계정으로 로그인. 만약 다른 계정으로 되어 있다면 change account를 선택하여 바꿈.
  * 계정을 LowyNBK(deploy용) 선택
  * Repository는 giipasp 선택
  * Branch를 master로 선택(이게 staging으로 사용)
* giipasp(Real)은 위를 그대로 하되 맨 아래 Branch를 real 선택.

5. Dev는 개발 방법론에 맞추어 branch를 관리하여 개발을 하시면 됩니다.

6. Dev의 마스터까지 merge가 되어 스테이징으로 넘길 때 github에서 New Pull Request를 클릭한 뒤에 설명 부분에 있는 compare across folks 를 클릭하면 아래쪽 branch선택 부분이 두 개의 Repository간 선택 가능하게 바뀝니다.
* 여기서 왼쪽(덮어쓰이는 쪽)을 LowyNBK/giipasp로, 오른쪽(원본)을 LowyShin/giipasp 로 선택하고 Create Pull Request를 클릭하면 두 repository간 Pull Request가 생성됩니다.
* Deployment계정으로 LowyNBK/giipasp 에 들어가보면 Pull Request가 보이고 이를 Merge시키면 자동으로 Azure의 Staging에 deploy가 됩니다.
  * Azure 포털에서 Depoyment에 가보면 실시간으로 업로드 상황이 보입니다.

7 giipaspstg01.azurewebsites.net 에서 테스트를 해보고 문제가 없으면 Real에 디플로이 합니다.
* Deployment 계정으로 LowyNBK/giipasp를 Real로 branch를 다시 Pull Request후 Merge를 하면 자동으로 giipasp 본 서버로 디플로이가 일어납니다.

이렇게 디플로이 관리 및 소스 관리를 하게 되면 반드시 소스의 변경 이력이 남게 되고, 서버가 없기 때문에 서버에 대한 장애 관리는 필요 없게 됩니다.

Scale out등으로 유저가 많이 필요하면 늘리면 되므로 더이상 서버를 신경 안쓰고 관리할 수 있습니다.


이런 형태로 관리가 필요하시면 언제든 연락 주세요!


세계적으로 유명한 RPA기업이 된 UiPath(https://uipath.com)를 비싼 orchestrator없이 복수 대의 윈도우즈 PC및 서버를 관리할 수 있습니다!

https://github.com/LowyShin/giipAgentUIP




Do not login your server any more! giip ::
Free server management tool!
https://giipasp.azurewebsites.net/

댓글

이 블로그의 인기 게시물

Alter table 에서 modify 와 change 의 차이 :: SQL Server

두 개의 차이를 모르는 경우가 많아서 정리합니다.  modify는 필드의 속성값을 바꿀때 사용하구요.. change는 필드명을 바꿀떄 사용합니다.  alter table tbbs modify bNote varchar(2000) NULL; alter table tbbs change bNoteOrg bNoteNew varchar(2000) NULL; change에는 원래 필드와 바꾸고 싶은 필드명을 넣어서 필드명을 바꾸는 것이죠~ 더 많은 SQL Server 팁을 보려면  https://github.com/LowyShin/KnowledgeBase/tree/master/wiki/SQL-Server giip :: Control all Robots and Devices! Free inter-RPA orchestration tool! https://giipasp.azurewebsites.net/

책에서는 안 알려주는 대규모 트래픽을 위한 설계

음성 버전 :  https://www.youtube.com/watch?v=ZZlW6diG_XM 대규모 트래픽을 커버하는 첫 페이지 만드는 법..  보통 DB를 연결할 때 대규모 설계는 어떻게 하시나요?  잘 만들었다는 전제 하에 동접 3000명 이하는  어떤 DBMS를 사용해도 문제 없이 돌아갑니다.  여기서 이미 터졌다면 이 콘텐츠를 보기 전에 DB의 기초부터 보셔야 합니다.  아.. 개발 코드가 터졌다구요? 그럼 개발자를 때리셔야지요..  만약 3000명을 넘겼다면? 이제 Write/Read를 분리해서  1 CRUD + n개의 READ Replica를 만들겠죠?  보통 Read Replica는 5개가 최대라고 보시면 됩니다.  누가 연구한 자료가 있었는데...  6번째 레플리카를 만든느 순간 마스터가 되는 서버의 효율 저하 때문에  5번째에서 6번쨰로 올릴때의 성능이 급격히 줄어든다는 연구 결과가 있습니다.  때문에 Azure에서도 replica설정할 때 5대까지 밖에 설정 못하게 되어 있지요.  유저의 행동 패턴에 따라 다르긴 하지만,  1 CRUD + 5 Read Replica의 경우 동접 15000명 정도는 커버 합니다.  즉, 동접 15000명 에서 다시 터져서 저를 부르는 경우가 많지요..  이 때부터는  회원 DB, 게시판DB, 서비스DB, 과금 DB 등등 으로 성격, 서로의 연관도에 따라 나누기 시작합니다.  물리적으로 DB가 나눠지면 Join을 못하거나 Linked Table또는 LinkDB등의 연결자를 이용해서 JOIN이 되기도 합니다.  그에 따라 성능 차이가 생기지만 가장 중요한 포인트는  서로 다른 물리적 테이블의 JOIN은 인덱스를 타지 않는다!  라는 것입니다. 즉, JOIN할 테이블들을 최소한으로 만든 뒤에 JOIN을 걸지 않으면 NoSQ...

BI의 궁극판! Apache Drill을 써보자!

사실 Apache Drill 은 BI(Business Intelligence)라고 부르는 것 보다는 단순 데이터 연결 엔진이다. https://drill.apache.org/ 하지만 내가 왜 극찬을 하느냐면.. DBA로서 항상 문제가 되어왔던게, 이기종 데이터의 변환이나 처리였다. 포맷을 맞추는데 엄청난 시간이 걸리고, 데이터 임포트 실패가 무수하게 나고.. 한 번 잘못 데이터를 추출하면 다시 조정, 변환, 추출하는데 시간이 많이 걸린다. 그런데! Apache Drill은 그냥 RDB를 CSV랑 연결해서 조인해서 통계를 낼 수 있다. 그것도 표준 SQL을 사용하여! 예를 들어, CSV의 세 번째 컬럼이 price 이고, 물건의 판매이력을 PG사에서 CSV로 출력 받았다. 우리 DB와의 검증을 위해서는 수동으로 Import를 한 뒤에 포맷이 안맞아 잘리는 데이터가 있다면 다시 맞춰주고, 재 임포트를 수십 번, 그리고 나서 겨우 들어간 데이터를 조인하여 빠진 데이터를 분간한다. 숫자가 적다면 개발자가 개발로 처리할 수도 있지만, 건수가 하루에 300만건 짜리라면.. 한 달 온 파일은 9천만 건이다. 프로그램으로 고작 처리하는 것이 초당 500건. 거의 20만초, 에러 없이 약 56시간.. 에러가 생기면 다시 56시간.. ㅠㅡㅠ 이런게 현실이기 때문에 쿼리 말고는 방법이 없다. apache drill 의 진면목을 보자! 이번에는 좀 범용 적인 MySQL DB와 붙여 보자. . 난 이번에는 Mac에서 작업을 했기 때문에 그냥 다운 받아서 풀었음.. https://drill.apache.org/download/ 여기서 자기 OS에 맞는 버전을 받아서 설치하시길.. 압축을 풀고 나면 MySQL 커넥터를 붙여야 한다. https://dev.mysql.com/downloads/connector/j/5.1.html 여기서 다운로드 이런 커넥터 들을 붙일 때마다 콘피그를 수정해 줘야 하지만, 몇 번만...