기본 콘텐츠로 건너뛰기

메모광.. 그 이후는?

내가 메모광이라는 수필을 본 것은 아마도 중학교 때일 것이다. 
몇학년때인지는 이미 잊어버렸다. 아마 중1이 아니었을까..

그 때의 충격은 아직도 남아있다. 
그리고서 수십년..
 
몇 년이 흘렀을까 여전히 메모를 많이 남기고 있다. 
생각만 나면, 잠자다가던 샤워중이던, 생각이 나면 어딘가에 메모를 한다. 
PC, 노트, 낙서용지... 메모장 파일, 워드, 파워포인트..
 
너무 많은 곳에 저장이 되어있어 한 곳으로 몰기가 힘들다. 
그리고 데이터를 찾는다는 것 자체가 힘들다. 
하지만, 지속적으로 데이터를 어떻게 정리해야할지에 대해서.. 그리고 10년전 데이터를 어떻게 찾을 수 있는지에 대해서 고민하고 있다. 
내게 남겨진 데이터를 백업하고, 정리하는데 많은 시간을 보내고 있다. 

이미 나를 위한 나만의 사이트는 7세대로 넘어왔다. 

공개임에도 불구하고 거의 나혼자 사용하고 있다. 
이 7번째 세대인 내 사이트에는 내 20여년에 걸친 개인 데이터의 집약, 관리, 검색에 초점을 두고 있다. 
아직까지 빛을 보지 못한 이유는 아마도 이렇게 과거의 데이터에 연연해 하는 사람이 적기 때문이리라. 
 
하지만, 지금도 나의 시스템이 빛을 발하곤 한다. 
 
사람들이 몇년 전 자료를 찾으려고 하면 나는 바로 찾아준다. 
바로 클라우드의 힘을 이용하여 방대한 데이터를 넣을 수 있게 해주었으니 말이다. 
 
아직은 가야할 길은 멀다. 
파일 데이터의 내용 인식, 지능형 인식 알고리즘의 추가등..
이미지를 검색해주는 기능은 evernote(http://www.evernote.com)를 사용한다. 이미지 내의 글자들을 찾아준다. 
Office파일은 Onedrive(http://onedrive.live.com)를 사용한다. 바로 수정이 가능하기 때문이다. 
그외의 파일은 Google Drive(http://drive.google.com)를 사용한다. 
가족간의 사진등은 Dropbox(http://www.dropbox.com)를 사용하여 여러 디바이스에서 자동 백업을 한 뒤에 무료 2TB 클라우드 스토리지를 제공하는 Baidu(http://pan.baidu.com)에 저장을 한다. 
여러 디바이스에서 사진을 찍으면 Dropbox를 통해 내 PC에 저장이 되고, 공개, 정리등에 대한 기준으로 수동으로 정리하면 Baidu가 자동으로 백업을 해준다. 
Dropbox를 15GB이상 사용하려면 유료 가입을 해야하기 때문에 무료로 사용하기 위해 이런 복잡한 방법을 사용하고 있다.
저용량 노트북이나 내 자료를 저장하지 않고 사용할 경우 Netdrive(http://www.netdrive.net )으로 관리한다.
이 모든 데이터는 URL로 출력하여 LinkBook(http://link.littleworld.net)에 Link로서 등록하고 태깅을 한다. 
Linkbook을 만들면서 AI Tagging을 만들었는데 자기가 검색하는 단어로 검색이 안되면 다른 단어로 검색하게 된다. 
이들의 유사성에 대해 유저가 판단하여 설정만 해주면 그 다음부터는 처음 검색한 단어로 이후에 검색한 단어들을 인지할 수 있게 한다. 
 
개개인별로 검색하고자 하는 단어의 연관어가 다르기 때문에 이 부분은 AI가 학습을 해나가야 한다. 
아마도 8세대, 9세대가 나올 수도 있다. 
 
하지만, 클라우드로 전환되면서 많은 변혁을 일으켰다. 
아직도 난 메모광이다. 
하지만 다른 사람들에게 이야기한다. 
 
자료를 모은다고 자기것이 아니다. 원할때 바로 찾는 것이야 말로 비로소 자기 자료가 된다고.

댓글

이 블로그의 인기 게시물

Alter table 에서 modify 와 change 의 차이 :: SQL Server

두 개의 차이를 모르는 경우가 많아서 정리합니다.  modify는 필드의 속성값을 바꿀때 사용하구요.. change는 필드명을 바꿀떄 사용합니다.  alter table tbbs modify bNote varchar(2000) NULL; alter table tbbs change bNoteOrg bNoteNew varchar(2000) NULL; change에는 원래 필드와 바꾸고 싶은 필드명을 넣어서 필드명을 바꾸는 것이죠~ 더 많은 SQL Server 팁을 보려면  https://github.com/LowyShin/KnowledgeBase/tree/master/wiki/SQL-Server giip :: Control all Robots and Devices! Free inter-RPA orchestration tool! https://giipasp.azurewebsites.net/

책에서는 안 알려주는 대규모 트래픽을 위한 설계

음성 버전 :  https://www.youtube.com/watch?v=ZZlW6diG_XM 대규모 트래픽을 커버하는 첫 페이지 만드는 법..  보통 DB를 연결할 때 대규모 설계는 어떻게 하시나요?  잘 만들었다는 전제 하에 동접 3000명 이하는  어떤 DBMS를 사용해도 문제 없이 돌아갑니다.  여기서 이미 터졌다면 이 콘텐츠를 보기 전에 DB의 기초부터 보셔야 합니다.  아.. 개발 코드가 터졌다구요? 그럼 개발자를 때리셔야지요..  만약 3000명을 넘겼다면? 이제 Write/Read를 분리해서  1 CRUD + n개의 READ Replica를 만들겠죠?  보통 Read Replica는 5개가 최대라고 보시면 됩니다.  누가 연구한 자료가 있었는데...  6번째 레플리카를 만든느 순간 마스터가 되는 서버의 효율 저하 때문에  5번째에서 6번쨰로 올릴때의 성능이 급격히 줄어든다는 연구 결과가 있습니다.  때문에 Azure에서도 replica설정할 때 5대까지 밖에 설정 못하게 되어 있지요.  유저의 행동 패턴에 따라 다르긴 하지만,  1 CRUD + 5 Read Replica의 경우 동접 15000명 정도는 커버 합니다.  즉, 동접 15000명 에서 다시 터져서 저를 부르는 경우가 많지요..  이 때부터는  회원 DB, 게시판DB, 서비스DB, 과금 DB 등등 으로 성격, 서로의 연관도에 따라 나누기 시작합니다.  물리적으로 DB가 나눠지면 Join을 못하거나 Linked Table또는 LinkDB등의 연결자를 이용해서 JOIN이 되기도 합니다.  그에 따라 성능 차이가 생기지만 가장 중요한 포인트는  서로 다른 물리적 테이블의 JOIN은 인덱스를 타지 않는다!  라는 것입니다. 즉, JOIN할 테이블들을 최소한으로 만든 뒤에 JOIN을 걸지 않으면 NoSQ...

BI의 궁극판! Apache Drill을 써보자!

사실 Apache Drill 은 BI(Business Intelligence)라고 부르는 것 보다는 단순 데이터 연결 엔진이다. https://drill.apache.org/ 하지만 내가 왜 극찬을 하느냐면.. DBA로서 항상 문제가 되어왔던게, 이기종 데이터의 변환이나 처리였다. 포맷을 맞추는데 엄청난 시간이 걸리고, 데이터 임포트 실패가 무수하게 나고.. 한 번 잘못 데이터를 추출하면 다시 조정, 변환, 추출하는데 시간이 많이 걸린다. 그런데! Apache Drill은 그냥 RDB를 CSV랑 연결해서 조인해서 통계를 낼 수 있다. 그것도 표준 SQL을 사용하여! 예를 들어, CSV의 세 번째 컬럼이 price 이고, 물건의 판매이력을 PG사에서 CSV로 출력 받았다. 우리 DB와의 검증을 위해서는 수동으로 Import를 한 뒤에 포맷이 안맞아 잘리는 데이터가 있다면 다시 맞춰주고, 재 임포트를 수십 번, 그리고 나서 겨우 들어간 데이터를 조인하여 빠진 데이터를 분간한다. 숫자가 적다면 개발자가 개발로 처리할 수도 있지만, 건수가 하루에 300만건 짜리라면.. 한 달 온 파일은 9천만 건이다. 프로그램으로 고작 처리하는 것이 초당 500건. 거의 20만초, 에러 없이 약 56시간.. 에러가 생기면 다시 56시간.. ㅠㅡㅠ 이런게 현실이기 때문에 쿼리 말고는 방법이 없다. apache drill 의 진면목을 보자! 이번에는 좀 범용 적인 MySQL DB와 붙여 보자. . 난 이번에는 Mac에서 작업을 했기 때문에 그냥 다운 받아서 풀었음.. https://drill.apache.org/download/ 여기서 자기 OS에 맞는 버전을 받아서 설치하시길.. 압축을 풀고 나면 MySQL 커넥터를 붙여야 한다. https://dev.mysql.com/downloads/connector/j/5.1.html 여기서 다운로드 이런 커넥터 들을 붙일 때마다 콘피그를 수정해 줘야 하지만, 몇 번만...