서버 정보들을 주기적으로 수집하기 - 무접속 서버 관리

서버 관리를 하다보면 주기적으로 또는 특정 상황마다 사소한 정보를 보기 위해 서버에 들어가서 확인을 해야하는 경우가 종종 발생한다.

요즘 대부분의 DevOps를 활용하면 이런 불편함이 해소되긴 하지만..

중요한 것은 DevOps를 준비하기 위해 다시 공부가 필요하고, 설정이 필요하고 노가다가 필요해진다.

적은 숫자의 서버를 관리하는 입장에서는 그럴 필요가 전혀 없음에도 불구하고 해야 하는 상황이 발생한다.

때문에 서버 관리의 방법론은 규모나 상황, 서비스 특징 등등에 따라 무한대의 경우의 수를 가지게 된다.

여기서 서버의 정보를 가져오는 두 가지 팁을 소개하려 한다.

하나는 서버에서 보내는 방법.
또 하나는 내가 가져오는 방법.

어짜피 노가다 아니냐고?
나의 궁극의 빈둥을 실현하기 위해 이 방법보다 편할 수 없는 방법을 소개하려 한다.
(블로그 글 조차 쓰기 귀찮아서 관리가 안되는...)

두 가지 모두 공통으로 필요한 것이 있다.

우선 github에 계정을 만들자.. (개발자라면 거의 가지고 있겠지만, 서버 관리자들은 안가지고 있는 케이스가 많으나 만들자!)
혹시 보안때문에 정보를 올릴 수 없다면 자체 서버에 gitlab을 설치해서 운영해도 똑같이 쓸 수 있다.

관리 서버가 수천대가 되면 그룹으로 관리하지 않으면 더욱 힘들어진다.
서비스나 용도 등에 맞추어 repository를 만든다.
이번에는 파일서버로 하겠다.

A, B 두 대의 서버를 gpfs용으로 사용하기로 한다.
gpfs가 뭐냐고? 내가 만든 용어다. 무시해라. (giip file system...)

1. 서버에서 보내는 방법.

서버에 github계정 설정을 해두면 로그인 정보 없이 명령을 날릴 수 있다.
우선 linux를 예로 들면.. root로 접속 후

echo "machine github.com">~/.netrc
echo "login ai@netbako.com">>~/.netrc
echo "password <password>">>~/.netrc

git config --global user.email "ai@netbako.com"
git config --global user.name "LowyAI"

라고 입력한다.
(https://github.com/LowyShin/KB-KnowledgeBaseHome/wiki/git)

root가 아니면 시스템 정보 취득이나 기타 작업등에 권한이 안되서 문제가 생길 수 있다. 하지만 대규모 서비스라면 root를 받을리 없으니 자기 권한 내에서 해결해라.

위 입력으로 ~/.netrc 에 이상한 것이 입력되었을 거다.
혹시 git이 설치 안되서 아래쪽 에러가 났다면 yum -y install git 으로 가볍게 설치한다.
ubuntu라서 안된다고? apt-get도 똑같이 사용가능하고 맥이라면 brew로도 git설치는 쉽다. 알아서 찾아서 해라!

준비 완료 되었으면 리포지터리를 받는다

git clone https://github.com/LowyShin/giip-svr-gpfs.git

당연히 giip-svr-gpfs는 내가 만든 레포지터리이니 권한없을 것이다. 직접 만든 리포지터리를 넣어라..

위의 설정이 제대로 되었다면 아이디 비번 따위는 물어보지 않는다.
단! 자기의 메인 계정 넣지말고 서버 관리 계정은 언제나 따로 만들고 collaborator로 등록해라.. 안그럼 나중에 망한다.

다 되었으면 아래 스크립트를 쉘로 만든다.

## sysstat.sh

#!/bin/bash

hn=`hostname`

logdt=`date '+%Y%m%d%H%M%S'`

mkdir $hn

df -h >$hn/$hn-df.txt

iostat >$hn/$hn-iostat.txt

netstat -an >$hn/$hn-netstat.txt

iptables -L >$hn/$hn-iptables.txt

crontab -l >$hn/$hn-crontab.txt

\cp -f /etc/my.cnf $hn/my.cnf

for i in `find $hn/ -mtime +15 -type f |grep -v .sh`; do rm -f $i ./; done

뭐냐면..
df -h : 디스크용량 체크
iostat : 디스크 IO부하 체크
netstat : 열려있는 포트 체크
iptables : iptable에 허용 설정 체크
crontab : 설정된 크론탭 내용 체크

덤으로 my.cnf 같은 설정 파일도 전부 git repository의 서버이름 디렉토리에 저장이 된다.

그리고 마지막은 15일 지난 파일은 삭제.. 왜냐하면 설정이 똑같으면 날짜가 안바뀌거나 불필요한 파일들이 남아있거나 하면 지우기 위해서이다.

이렇게 하고 crontab에 위 스크립트를 15분 또는 30분 단위로 실행하도록 설정한다.

0,15,30,45 * * * * cd /home/giip/giip-svr-gpfs/;bash --logic -c 'sh gitshautosync.sh'

이렇게 하면 15분마다 서버의 상태정보가 계속 갱신된다.
재밌는 것은 git의 특성상 파일 내용이 바뀌지 않으면 업데이트가 안된다.
무슨 얘기냐 하면..
github의 이력관리를 이용해서 위 파일들의 변경이력이 확인이 웹에서 가능해진다!
가끔 들어가서 볼 법한 파일 내용이나 로그 등등 모두 끌고 와서 웹에서 관리하자!
근데.. 100MB넘는 파일은 git에서 막고 있다. 원래는 소스 관리용이었으니..
(대용량 파일 관리 확장 모듈이 있지만.. 설정도 귀찮고...)


그리고 두 번째인 외부에서의 접속 방법..
보안이 철저한 기업들은 서버에서 github에 보내게 그냥 놔두지 않는다.

이 때 할 수 있는 것이 권한자의 리모트 접속체크!
그럼 사람이 하냐고?

난 게을러서 그따위는 하지 않는다.
모든건 로봇(?)에게 시킬 뿐.

UiPath (https://www.uipath.com)에 들어가봐라

요즘 autohotkey(https://autohotkey.com)보다 더 애용하고 있는 툴이다.
autohotkey는 저스펙에서도 쉽게 돌아가는 아주 훌륭한 툴이나 화면의 인식률 등의 미세 조정이 어렵고 모두 코드에 의존하는 단점이 있다.
허나, UiPath는 MS의 workflow foundation에서 제공한 Windows를 콘트롤 할 수 있는 프레임웍 위에서 개발되어 어떠한 해상도라도 UI를 Selector단위로 찝어서 콘트롤 할 수 있다는 것이 큰 메리트이다. (물론 한계도 있어서 image 도 활용하는 경우도 있지만)
이걸 활용해서 putty를 열고 서버에 접속 후 logging을 켜놓고 필요한 정보를 읽어와서 뿌리는 방법이 가장 편리하다.

이렇게 두 가지 방법으로 필요한 설정을 모두 해두면 서버에 접속하는 횟수는 획기적으로 줄어들고, 서버 설정의 변경 타이밍 캐치 및 원하는 시점으로의 복원 등도 편리해진다.

개발자만을 위한 툴이라고 생각하는 당신은 뇌가 이미 굳어있다.

상상은 무한한 가치를 만들 수 있다.



Do not login your server any more!
 giip :: Free server management tool!
 https://giipasp.azurewebsites.net/