기본 콘텐츠로 건너뛰기

[DBMS튜닝] 사람들이 쉽게하는 PK및 인덱스 실수

대부분의 사람들의 실수중에 row가 몇백개 없어서 PK자체를 안잡는 사람이 있다.

이런 경우 어떠한 현상이 일어날까?



잘 보이는지는 모르겠지만,
단순 select에 where에 자기 테이블내 특정 필드에 Y값을, 그리고 Z필드로 정렬하고 있다.
하지만 프로파일러에서 보면 20초가 넘었다.
가끔 한 번하는데는 전혀 문제가 없다 500ms미만으로 처리된다.

하지만 왜 이따금 발생하는 것일까?

정확한 DBMS의 엔진 알고리즘을 알고 있지는 않다.
하지만 경험적으로 말할 수 있다.

동일 쿼리를 여러번 시도하는 경우 PK가 없으면 정렬이 되지 않기 때문에 우선 Table Scan을 처음부터 해서 계속 메모리에 올리게 된다. 즉 Disk I/O와 Memory I/O가 지속적으로 일어나는 것이다.
때문에 동시 100번 정도 처리되도 전부 Disk I/O를 사용하게 된다.
단지 800행도 되지 않는데 20초를 먹을 수 있는 것이다.

하지만 PK를 Clustered index로 걸게 되면
처음 Insert할때마다 PK에 의존해서 Sorting을 계속하게 된다.
나중에 Select할때는 언제나 같은 것을 가져오기 때문에 Cache에서 처리할 수 있는 것이다.

그럼 누군가가 다시 질문한다.

"50행도 안되는건 괜찮나요?"

그냥 맘대로 해라..
선을 그어서 어디까지는 되고, 어디부터는 안된다는 흑백논리는 60년대나 하는 것이지,
모든 것을 정해놓고 이렇게 하세요 하는 것은 아직도 현실을 모르는 사람들이나 하는 것이다.

1Row가 1MB가 되도록 짜는 사람들도 있는 것이고,
1000Row가 100KB가 되도록 짜는 사람들도 있을 것이다.
DB의 구조설계부터 스스로 판단하고 튜닝도 결정해라.

누누히 얘기하지만,
튜닝이란 것은 만들때 하고 땡이 아니다.
우리가 1년에 한번씩 건강검진을 받듯이,
DBMS도 자신에게 축적된 노폐물이 어딨는지 찾고 부정맥이 어딨는지 찾기 위해 건강검진을 받아야 한다.
이게 바로 프로파일링이고, 의료처치가 튜닝인 것이다.

같은 구조라도 사용하는 사람들의 패턴에따라 다른 곳에서 부종이 생길 수 있다.

Free Infrastructure information management tool Global Infrastructure Information Platform http://giip.littleworld.net Subscribe and publish your links as a book with friends My Favorite Link Share http://link.littleworld.net

댓글

이 블로그의 인기 게시물

일본 두바퀴 여행(바이크 편)

영상버전 : https://youtu.be/P3vC17iVu1I 이번에는 일본으로 넘어와서 일본 종주하시는 바이커들을 위한 정보입니다.  일본에서의 2륜의 정의가 면허와 도로교통법이 조금씩 다르다고 합니다.  그래도 그렇게 크게 신경쓸 건 없으니 딱 세 종류로 말씀 드릴께요.  50cc는 원동기 1종이라고 하여 3차선 이상 교차로에서 우회전, 한국에선 좌회전 같이 크게 도는 것이지요..  이게 불가능합니다.  직진 신호로 넘어간 뒤에 방향을 틀고 다시 직진으로 두번 꺾어 가야 하구요,  두 명이 타면 안됩니다.  그리고 맨 가장자리 길로만 가야해서 애매하게 끝에서 두 번째 차선만 직진인 곳들이 있어서 난감할 때가 있지요. 그런데에 직진하면 걸리는 곳이 있다고 합니다. 어느 정도까지 걸리고 안걸리고는 정확히는 모르지만,  직좌 마크가 아닌 좌회전 마크만 있는 곳이 은근히 많으니 조심해야 하겠더라구요.  최고 시속도 30km를 넘기면 안되어 천천히 달려야 합니다.  아뭏든 제약이 엄청나게 많으므로 60cc이상을 가져오시거나 렌트 하시는 것을 추천하구요,  125cc미만은 겐츠키 2종이라고 하여 두 명이 타도 되고, 3차선 이상에서 우회전이 가능합니다.  상당히 제약이 풀리는 대신 고속도로를 탈 수가 없지요.  만약 국도로 천천히 올라오신다면 125cc미만으로도 충분합니다.  실제로 일본인 바이커들 중에서도 국도 종주하는 모습을 많이 볼 수 있구요,  도심에 가면 125cc미만까지만 주차 가능한 바이크 주차장도 꽤 많기 때문에 도심용으로는 메리트가 큰 것 같습니다.  뭐, 125cc대는 곳에 큰 바이크를 대는 경우도 자주 보는데, 아무도 뭐라 안하긴 합니다.  그도 그럴 것이, 일본의 바이크 등록대수는 1031만대 인데도 바이크 전용 주차장은 턱없이 부족하다고 합니다. 바이크 주차장이 저렴하기 때문에 웬만한 ...

BI의 궁극판! Apache Drill을 써보자!

사실 Apache Drill 은 BI(Business Intelligence)라고 부르는 것 보다는 단순 데이터 연결 엔진이다. https://drill.apache.org/ 하지만 내가 왜 극찬을 하느냐면.. DBA로서 항상 문제가 되어왔던게, 이기종 데이터의 변환이나 처리였다. 포맷을 맞추는데 엄청난 시간이 걸리고, 데이터 임포트 실패가 무수하게 나고.. 한 번 잘못 데이터를 추출하면 다시 조정, 변환, 추출하는데 시간이 많이 걸린다. 그런데! Apache Drill은 그냥 RDB를 CSV랑 연결해서 조인해서 통계를 낼 수 있다. 그것도 표준 SQL을 사용하여! 예를 들어, CSV의 세 번째 컬럼이 price 이고, 물건의 판매이력을 PG사에서 CSV로 출력 받았다. 우리 DB와의 검증을 위해서는 수동으로 Import를 한 뒤에 포맷이 안맞아 잘리는 데이터가 있다면 다시 맞춰주고, 재 임포트를 수십 번, 그리고 나서 겨우 들어간 데이터를 조인하여 빠진 데이터를 분간한다. 숫자가 적다면 개발자가 개발로 처리할 수도 있지만, 건수가 하루에 300만건 짜리라면.. 한 달 온 파일은 9천만 건이다. 프로그램으로 고작 처리하는 것이 초당 500건. 거의 20만초, 에러 없이 약 56시간.. 에러가 생기면 다시 56시간.. ㅠㅡㅠ 이런게 현실이기 때문에 쿼리 말고는 방법이 없다. apache drill 의 진면목을 보자! 이번에는 좀 범용 적인 MySQL DB와 붙여 보자. . 난 이번에는 Mac에서 작업을 했기 때문에 그냥 다운 받아서 풀었음.. https://drill.apache.org/download/ 여기서 자기 OS에 맞는 버전을 받아서 설치하시길.. 압축을 풀고 나면 MySQL 커넥터를 붙여야 한다. https://dev.mysql.com/downloads/connector/j/5.1.html 여기서 다운로드 이런 커넥터 들을 붙일 때마다 콘피그를 수정해 줘야 하지만, 몇 번만...

PHP SLIM Framework 의 간단한 사용방법

난 개발을 잘 못한다.  언어도 딱히 정해놓은 것도 없다.. 이번에는 누군가 SLIM Framework를 깔았다고 쓰랜다..  이건 또 머지.. 하고 그냥 써보았다.. 아마도 이게 전부가 아니고, 극히 일부중에 걍 쓰는것만 쓰는 것일지도 모르지만,  편리한 부분이 있다. $app->get('/member/emailauth', function () use ($app,$conn,$sqlmgr,$ssp) {     //--Request processing begins here...---------------------------- $email = $app->request()->get('email'); $ref = $app->request()->get('ref'); $authid = $app->request()->get('authid'); $callback = $app->request()->get('callback');     //--Control Process---------------------------------------------- try { $getMemberInfo = $ssp->getMemberInfo($conn, $sqlmgr, $email, $authid, $ref); $idx=$getMemberInfo['idx']; if($idx==""){ $postMemberInfo = $ssp->postMemberInfo($conn, $sqlmgr, $email, $authid, $ref); $data = array('result' => '0', 'message' => 'yes', ...