기본 콘텐츠로 건너뛰기

라벨이 nosql인 게시물 표시

NoSQL은 RDBMS를 대체할 수 있는가? Hadoop, Mongodb, Couchbase 등의 사용 경험자가 말한다!

듣기 버전 :  https://youtu.be/_JtfZzISH5g 역시 한국의 유투브 방송에는 NoSQL이랑 RDBMS랑 비교하면서 초심자 분들에게 NoSQL이 좋아 하는 식으로 방송하는게 많이 보이는데요, 이건 잘못하면 RDBMS는 안써도 되 라는 느낌으로 들립니다. 실제로 그런 사례도 몇 번 일어난 것을 보면 제대로 알려드려야 할 것 같아서 이 주제를 가지고 나왔습니다. 넌 뭐가 잘났는데 하시는 분들을 위해 제 자랑을 또 해드려야지요. 전 하둡으로 4000만 dau가 있는 서비스의 1.76PB 짜리를 설계 구축 해봤습니다. 카우치베이스로 32TB 데이터 올리다가 터뜨려 먹은 적도 있습니다. 몽고디비 운영중에 이건뭐지 하고 리밸런싱 커맨드 날렸다가 락걸려서 8시간 서비스 정지도 시켜봤습니다. 저를 nosql의 n자도 모른다고 하시려는 분들! 사실 전 nosql을 제대로 못써봤습니다! Nosql의 진가는 최소 일간 10억 유니크 엑세스 부터가 아닐까요? Nosql을 처음 봤을 때 그 구조에 대해 경악 했지요. NoSQL이 대단한 것은 데이터 저장 구조가 아닙니다. MySQL도 SQL Server도, ORACLE도 JSON Query를 지원하기 때문에 하나의 필드에 다 때려 넣고 표준 SQL에 JSON Query구문만 추가하면 필드처럼 인식 가능합니다. 비정형 데이터를 RDBMS가 못넣는다는 것은 이미 10년 전 이야기지요.. 많은 영상에서 하드웨어 구조 같은것은 설명을 하나도 못봤는데요.. NoSQL은 만약 100개의 노드에 데이터가 뿌려져 있다고 합시다. 그러면 Namenode에 검색용 쿼리를 날립니다. 그러면 Namenode는 100개의 노드에 동일 쿼리를 던집니다. 그리고 그 중에 해당 쿼리에 데이터가 있으면 그 데이터만 Name node에 가져옵니다. 그걸 머지해서 리턴을 해주지요. 어떤 내용이냐면, 만약 100GB의 하드를 가진 서버 100대에 NoSQL을 설치하고 데이터를 마구 넣었습니다. 동일하게 10TB의 하드디스크 한대에 RDBMS를 설치하고

재밌는 DB 스페셜리스트가 되어보지 않겠어요?

재밌는 DB 스페셜리스트가 되어보지 않겠어요?  이번에는 제 자랑 이야기가 메인이니 재미 없으신 분들은 피해주셔도 됩니다. ^^;; 제 삼자의 입장에서 한국을 보면,  누가 뭔가로 돈을 벌었다 하는 소문이 나면 전 국민이 그거 밖에 없는 듯이 움직이는 모습을 보면  가끔은 웃음이 나와요.. 레밍스 보는 느낌이랄까..  전국민의 개발자화 하려는 나라는 한국 밖에 없지 않을까요?  지금이야 수요가 있으니까 대우를 받는다 해도,  충분한 공급이 나오면 개발자들은 헐값에 넘어가잖아요..  예전에 일본에 IT인력을 넘길 때도 마찬가지 였거든요..  한국에서 자바 개발자가 최고라느니 하는 이상한 소문이 나서  모두 자바 개발을 시키니까 포화상태가 되버려,  국가가 나서서 그걸 풀려고 일본으로 대거 보냈지요.  그러다가 일본에서 경험 부족한 한국인이 대거 오면서 품질이 안좋아져 한국인 금지를 내린 기업들이 늘었고..  그 때문에 다시 한국으로 돌아간 자바 개발자들이 떨이가 된 적이 있었죠..  뭐랄까.. 다양성이 없다고나 할까..  일본에선 아직도 코볼로 먹고 사시는 분도 계시구요.. 일본 디지털 방송 시스템 내에서도 광고 송출 스크립트는 시퀄셜 처리이기 때문에 아직도 코볼을 쓰는데 효율적이거든요..  전 지금도 classic asp로 제가 필요한거 그때그때 만들어서 제공하는데 아무 문제 없거든요..  Skynet을 classic asp로 짜고 있습니다! 요건 나중나중에...  한국에선 자바가 붐 이었을 때 전 세계가 자바밖에 없는 줄 아시는 분도 계셨는데..  이 때 제가 W3Tech라고 하는 전 세계 1000만 상용 웹 사이트의 서버 사이드 개발 언어 통계를 보여드린 적이 있지요. 그 때는 php가 90%가 넘었는데 지금은 그래도 많이 줄었네요..  전제를 어디에 두느냐에 따라 Python이 1등일 수도 있고 Java가 1등일 수도 있으니 그런거에 휘둘리지 않기 바랍니다. 아뭏든 주변에서 이거 안하면 죽는다는 듯이 말을 하더라도 자기가 좋아하는 것을 일관해서 장인이 되

Couchbase couchbase-cli line 260 에러.

서버에 메모리를 증설 한 뒤에  다시 기동을 했는데 couchbase-cli에서 갑자기 에러가 발생.   /opt/couchbase/bin/couchbase-cli server-list -c 127.0.01:8091 -u root -p password  이렇게 했더니  File "/opt/couchbase/lib/python/couchbase-cli", line 260 except getopt.GetoptError, err: SyntaxError: Invalid syntax   이렇게 메시지가 떴다.  이것저것 찾아봤지만 정보도 없고.. 일단 리부팅... 그래도 똑같은 현상 발생.. 파일 내용을 보면.. def main():     debug = False     (cluster, user, password, ssl) = ('', '', '', False)     try:         (opts, _args) = getopt.getopt(sys.argv[2:],                                      'a:b:c:dse:gdlmo:OPp:r:Ssu:vVhH', [                 'cluster=',                 'debug', ....(너무 많아서 생략)                 'delete-users=',                 ])     except getopt.GetoptError, err:         usage.command_error(err)     if len(_args) > 0:         err_message = ("Possible missing '--' in front of one of parameters '%s'," +