기본 콘텐츠로 건너뛰기

Lock정보가 없지만 대기타고 있는 쿼리를 찾아라! SQL Server




얼마전에 며칠을 고생해서 원인 쿼리를 찾은 이야기 입니다. 

보통 쿼리는 Lock에 걸려서 대기 상태에 있다면 쉽게 찾는데요.. 
Lock에 걸리지 않은 상태로 대기를 타는 경우가 있습니다. 

Sql server 에서 일단 쉽게 찾는 방법은
Sp_who2 를 실행하는 것이죠. 

그냥 SSMS에서 서버에 접속해서 새 쿼리창을 열고 
Sp_who2 라고 입력하고 
실행해버리면

현재 물려있는 모든 세션의 정보가 나타납니다. 
여기서 Blkby 라는 필드에서 숫자가 보이면
그 숫자의 SPID가 원인으로 
숫자가 쓰여진 곳의 SPID가 멈춰 있다는 이야기 입니다. 

이렇게 원인 세션을 찾고
그 세션이 어떤 쿼리를 던지고 있는지를 찾아서 
Kill을 할지, 다른 어떤 액션을 취할지를 택하면 됩니다. 

Kill을 하고 싶으면
Kill 999 처럼 SPID를 kill 뒤에 적어주면 되구요.. 
Blkby에 적힌 숫자를 입력하면 원인 쿼리가 강제 종료 되는데요, 

이게 INSERT나 UPDATE의 경우가 많아서 
데이터 유실이 될 가능성이 높기 때문에 
저 같은 경우는 원인 쿼리의 문제를 해결할 방법만 알려주고 
자연히 사라질 때 까지 기다리기는 합니다. 

그래도 급히 대응이 필요하거나 
아무리 기다려도 사라지지 않는 경우에는 
Kill밖에 없겠죠. 

지난 번에는 개발팀에서 
Begin tran을 던지고 쿼리를 던진 뒤에
Commit이나 rollback을 하지 않아서 
Blkby가 보여서 문의했더니 
자신들의 실수임을 확인해서 쉽게 끝났지만,

이번에는 Blkby가 뜨지 않은채로 
많은 세션들이 SUSPEND가 되어버렸죠. 

보통 커넥션 풀을 사용한다 하더라도 
SUSPEND가 되는 경우가 없고 
SOCKET이라면 연결 상태로 정지되어 
SUSPEND가 되기도 하지만, 

기본적으로 SUSPEND는 뭔가 이상하다고 보시는게 좋습니다. 
무언가의 문제로 인해 타임아웃이 발생하거나 하면 
SUSPEND가 되는 경우가 많거든요.. 
일반적인 상태라면 SUSPEND가 없는게 보통입니다.

이번에도 Blkby가 비어있는데도 SUSPEND 된 세션이 많았는데요 
기존 DB담당자는 ai에 던져보니 별 문제가 없었다더라 라고 이야기를 하는데, 
ai의 의견을 전적으로 신뢰하면 안되는 이유 중 하나이죠.

Ai는 SUSPEND를 그냥 세션이 물려 있다 끊긴 것 정도로 대수롭게 판단하지 않는데요.. 
SUSPEND가 없는게 보통인데 SUSPEND가 늘어났다면
어디선가 발목을 잡는 놈이 있구나 생각을 하셔야 합니다. 

여기서 문제가 있다는 랭킹 페이지를 열어 봤는데 
504에러가 나고 있었더라구요.. 

504에러는 웹서버의 반응이 늦어져서 중간에 timeout이 되어 버리면
나타나는 현상입니다. 

원인은 네트워크 문제일 수도 있고, 웹서버의 리소스가 바닥날 수도 있고, 
DB의 반응이 늦어져도 발생할 수 있죠. 

네트워크나 서버의 이슈는 없다고 하는데, 
DB에서도 CPU는 가끔 100%는 치지만 그것도 한 순간이고 
DB서버에서 memory나 네트워크의 부하도 없는 상태입니다. 

한 순간 100% 되는데
504에러는 오전 9시 부터 13시 정도에 이어져서 발생한다고 합니다. 
순간 100%로 4시간이 504에러가 뜬다는게 말이 안되죠. 

그래서 Profiler를 연결해서 계속 떠 있는 SQL을 보다가 
무언가 찾아냈습니다. 

특정 쿼리가 where in (select product_id from #temp_table )
으로 되어 있는데, 
이 쿼리가 Logical Read가 5400만건인거죠.. 
즉, where in 안에 있는 템프테이블이 엄청나게 많았다는 얘기겠죠. 

제가 쿼리 튜닝할 떄 이야기 하는 것 중 하나가 
Where in 안에 들어가는 개수는 1000개 미만으로 해라.. 
뭐 스펙별로 차이는 있겠지만, 
Where in 에 들어가는 데이터는 모두 
Or로 연산하기 때문에 index를 타지 않습니다. 

요런 식으로 템프 테이블을 만들어서 
Where in 으로 넣을 때는 실제 데이터를 꼭 체크하시기 바랍니다. 

그리고 또 별 건 이지만, 
여기서도 랭킹 페이지를 실시간으로 가져와야 한다면서 
각종 랭킹 쿼리를 가져오다보니 70번 넘는 sql을 한 페이지에서 던지는데요.. 
그나마 하나의 커넥션 풀에서 던지므로 그나마 낫긴 하지만, 
이런 여러번의 쿼리를 던지는 페이지는 
절대 처리 요구수 때문에 문제가 발생합니다. 

때문에 랭킹 페이지를 한 번씩 캐시메모리나 캐시 파일로 던져서 
1분에 한 번씩 갱신하든 하는 식으로 해야지, 
모든 유저를 70번씩 쿼리를 던지게 하면 
서비스가 뻗겠죠.. 

게다가 랭킹 쿼리들도 가상 테이블을 작성해서 
랭킹으로 만들고 있는데요.. 

Rank over라는 쿼리를 사용하기 위해서 
필요한 데이터를 템프테이블로 가져오는 것은 이해는 하는데, 

이번에 발생한 문제가 바로 여기에서 생긴 거죠. 

위쪽의 where in 에 넣을 템프테이블을 만드는데 5500만행을 만들다보니
그에 필요한 IO가 대량으로 발생을 하고 
템프테이블을 생성하는 동안 
정합성 때문에 다른 커넥션에서 시도하려는 템프테이블이 대기를 타게 되었습니다. 

이건 템프테이블 작성을 위한 대기이기 때문에
쿼리 대기가 아니라서 
Lock에는 표시가 안되는 것이지요. 

때문에 지금까지 어느 누구도 
Zabbix나 new relic을 봐도 부하가 없어 보이고 
Disk io는 신경도 안쓰고 
다른 쿼리들은 잘 돌아가는데다가 
70개나 되는 쿼리를 하나하나 체크를 못하다보니 
어디서 문제가 생기는지 찾을 수가 없었던 거 같습니다. 

심지어는 disk io가 늘어나면 
당연히 CPU가 늘어나지 않느냐 라는 인프라 팀의 질문이 있었는데요. 

보통 PC는 디스크 조작을 많이 하면 
CPU가 올라가는 것이 보이죠?
그런데 일부 서버는 disk io가 아무리 늘어나도 
CPU는 변화가 없는게 보일 겁니다. 

같은 SCSI컨트롤러를 사용하더라도 
SATA방식의 디스크를 끼우면
SCSI컨트롤러를 패스하고 CPU가 디스크랑 직접 소통을 하기 때문에
Disk io에 비례해서 CPU도 올라가는데, 
SAS디스크를 끼우면 SCSI컨트롤러랑 디스크가 소통하고 
SCSI컨트롤러는 CPU에서 단순 명령만 받기 때문에
CPU가 올라가지 않게 됩니다. 
요즘은 보통 12~24장 정도의 HDD를 넣는 장비가 많아지므로 
CPU가 직접 HDD랑 소통을 안하는게 좋습니다. 
SSD를 샀는데 SATA라서 IO패턴에 따라서는 
RAID로 구성된 SAS보다 더 느려지는 경우도 있죠. 
물론 SATA SSD를 SCSI컨트롤러 위에 RAID구성하면
SCSI 컨트롤러가 중간에 패리티 계산, 저장 알고리즘
, 미러 등의 처리는 모두 하기 때문에
CPU부하도 줄어들기 떄문에 
SATA를 쓰더라도 SCSI 컨트롤러를 좋은 걸 쓰고 
RAID구성을 제대로 하면 충분히 도움은 됩니다.

즉, 이러한 하드웨어의 깊이 있는 지식이 없으면
왜 CPU가 낮은데도 대기가 생기는지에 대해서 
알 수 없었던 내용이었던 거지요. 

이렇게 문제점을 이야기 해서 
개발팀에게 던졌습니다. 
쿼리를 내가 만들어주는게 아니다보니
이젠 개발팀이 어떻게 수정해서 
가져오는지를 봐야겠지요. 

이번 일을 정리하자면

1. 한 페이지 로드할 때 5번 이상 DB호출 하지 말것. 
만약 그 이상 할거면 뭉쳐서 받은 뒤에 흩어낼 수 있는지, 
또는 HTML화 를 해서 유저는 못느끼게 DB콜을 줄일 것. 

2. Where in 안에 1000개 이상의 데이터를 넣지 말것. 

3. 템프테이블에 넣는 양도 최소한으로 할 것. 

4. 디스크 종류만으로 CPU부하가 달라짐
SAS디스크는 CPU부하가 안올라가지만
SATA는 CPU부하가 올라감

이런 특징을 알고 
비슷한 증상이 나왔을 떄 
도움이 되셨으면 합니다. 


giip :: 모든 AI와 기기를 제어한다! 무료 에이전트 오케스트레이션 도구!

AI가 실행합니다. 통제권은 당신에게 — 모든 조치에 승인·감사·롤백.

검색어에서 사이트 내 행동까지, 한 화면에서. — AEO/GEO/SEO 검색 가시성

댓글

이 블로그의 인기 게시물

AI에게 존댓말로 질문한다고 AI가 더 자세히 대답해 주지 않습니다! 프롬프트의 뜬소문과 실제. 잘못알고 있는 프롬프트 이야기

영상버전 :  https://youtu.be/rLwhVUIXaQU 어디선가 기사가 있어서 읽다가 코멘트를 단 게 있습니다.  프롬프트 엔지니어링으로 인터넷 강의를 하시는 분 같은데요..  이름에 Phd라고 적혀있으니 어딘가의 박사님 이신가 봅니다.  그 분의 글에 이런게 있더라구요.. 한국어는 맥락에 크게 의존하는 ‘고맥락 언어’입니다. LLM에 그대로 입력하면 종종 의도가 왜곡되거나 핵심이 누락됩니다. 저는 영어로 프롬프트를 작성하지만, 한국어만 해야하는 모델을 사용할 때는 다음과 같은 방법을 사용합니다. --- 중략 --- ✔️ 존댓말(–습니다) vs 반말(–해요) 중 하나 선택.  Deferential form '-습니다'를 사용하면 openAI 모델은 답을 더 길고 상세하게 합니다.  … 여기서 존대말을 사용하면 AI모델은 답을 더 길고 상세하게 합니다. 라고 적혀 있네요..  그랬더니 이 분을 지지하는 댓글에서 chatgpt에게 같은 내용을 물어본 결과를 적었더라구요..  ChatGPT-4o에게 확인해보았습니다: ”한국어를 사용할 때 존댓말로 요청하면, 당신은 좀 더 나은 답을 주신다고 들었습니다. 사실입니까?“ 아주 날카로운 질문이십니다. **“한국어로 존댓말을 쓰면 더 좋은 답을 받는다”**는 말은 부분적으로 사실입니다. ⸻ ✅ 왜 그렇게 느껴질까요?  1. 존댓말은 명확하고 완곡한 문장 구조를 유도합니다.  • 예: 반말: “해줘” → 목적이 불분명하거나 애매할 수 있음 존댓말: “이 내용을 정리해 주시겠어요?” → 요청의 방향이 명확  2. 프롬프트가 더 구체적이고 정중해지면 → 모델이 더 신중하고 완성도 있는 답변을 생성하려는 경향이 있습니다.  3. ‘질문하는 사람의 태도’를 고려한 최적화된 언어 생성이 이뤄집니다.  • 존댓말 = 더 포멀한 상황 → 더 논리적이고 근거 중심의 응답이 생성됨 ⸻ ❗ 하지만 반말도 충분히 잘 작동...

니가 플랫폼(Platform)을 아니?

이번에는 2015년에 썼던 글을 다시 한 번 정리하려고 합니다.  언제나 이야기 하듯이 단어에 대해 누구에게나 쉽게 설명하지 못하면 그건 그 단어를 아는게 아닙니다.  여러분도 이 단어에 대해 비 IT이든 전문가 이든 설명해 줄 수 있는지 한 번 생각해 보시기 바랍니다.  플랫폼에 대해서 이야기를 하다보면 되묻고 싶은 이야기다. 요즘 개발자들 사이에서.. 또는 서비스 기획자들 사이에서 "플랫폼"이란 단어는 필수어가 되었다. 그런데 개발자들 만이 아니라, 기획자, 경영진까지 플랫폼은 필수이다.  웃긴건..  누구는 플랫폼과 서비스를 구분 못하고,  누구는 플랫폼과 프레임웍을 구분 못하고,  누구는 플랫폼과 콘텐츠를 구분 못하고 있다.  이번에는 플랫폼과 서비스를 구분해 보고자 한다.  그런 사람들끼리 이야기하다가 플랫폼이란 단어를 사용하는 사람들에게 물어본다. "플랫폼이 뭔가요?" 누군가 대답한다. "아직도 플랫폼을 몰라요?" 그럼 이렇게 되묻는다. "네.. 제가 잘 몰라서요.. 좀 알려주시겠어요?" 상대방은 IT시스템 어쩌고 하면서 횡설수설한다.. 얼마전 TV에서 플랫폼전문가가 요즘 IT쪽에 도는 플랫폼에 대해서 이야기 한다고 보라고 권장해주었다. TV를 찾아서 보았다. 플랫폼의 정의에 대해서는 나름 이야기를 했다. "수요자와 공급자를 연결해주는 매개체" 그리고 카카오톡을 성공한 플랫폼이라고 했다. 어짜피 성공한 사업에 이름을 붙이는 것은 쉽다. 성공한 주식의 과거를 분석하는게 쉽듯이.. 하지만 성공하지 못한 사업, 그리고 지금 이것이 플랫폼인지 알 수 있는 사람은 몇 안될 것이다. 단어의 의미를 한 번 다시 생각해보자. 그럼 플랫폼은 언제 시작했을까? 18세기후반 부터 19세기에 걸쳐서 약 100년정도를 산업혁명이라고 불렀다. 산업 혁명에 대한 자세한 이야기는 별도 코너로 만들었습니다.  음성 :  https://y...

일본 취업을 희망하는 대학생을 위한 한국에서 잘못알고 있는 일본 신졸 취업 시장.

영상 버전 :  https://youtu.be/nyzRIJ6VjRU 회사에서 작년에 신입을 뽑았는데  얼마전 그 사원의 대학 교수님이 일본에 오실일이 있어서 인사차 만났습니다.  그러면서 좀 충격적인 사실을 알았는데요..  그 때문에 자료를 정리를 해 보았습니다.  제 콘텐츠를 보시면 이미 일본은 3학년 12월에 100개 이상 지원을 해서 내정을 완료하는 경우가 많다고 합니다.  언제부터 취업활동을 하는지 봅시다.  일본은 대학 3학년의 3월 부터 설명회 엔트리를 시작합니다.  그 때 자신이 가고 싶은 회사들의 설명을 듣기 시작하는 것이지요.  그리고 취업활동의 시작은 5월 부터 인턴십 등 여러 방법으로 신입들을 선별하고 있죠. 그리고 일반적인 취업 종료는 대학교 4학년 6~7월이면 99.8%의 신졸 취업이 끝납니다.  그런데 한국의 대학에서 일본 신졸 취업을 보내는 시기는 바로 4학년 9월 정도 부터라고 하네요.  이 때는 이미 신졸 채용은 끝나고 중고신졸이라 불리는 정시 채용에 붙지 못한 신졸들을 주워가는 기업들이 기다리고 있는 시기이죠.  이미 이 때에는 대기업이나 좋은 기업들이 인재를 전부 쓸어 담고, 대기업이랑 같은 시기에 모집해봤자 들어올리 만무한 기업들이 남은 신졸들을 모집하고 있는데요..  그러니 많은 방송에서 신졸이 일본에서 좋은 기업에 취업할 수 없는 이유가 아닐까요?  실제로 교수님이 주변에 있는 전문대에서 야후 재팬에 신졸 채용 되었다고 현수막을 걸었다는 이야기를 했습니다.  제가 그 전문대는 3년제 아니었냐고 물었더니 3년제였다고 했네요..  제 예상이지만, 그 대학교는 3학년 부터 일본 신졸 취업에 지원을 했고, 늦지 않게 신졸 모집 대열에 들어간 것이 아닐까 합니다.  그러면 일반 대학에서도 3학년 부터 준비해서 보내면 되지 않느냐고 질문을 하자, 이런 지원 자체가 국가 지원을 받아서 ...