Talk Lowy(kr)

영상 버전 :  https://youtu.be/-mnNq8f9LA8 얼마전에 개발코드를 좀 만져야 할 일이 있었습니다.  서버 작업이 귀찮아서 bash shell 코드를 chatgpt에게 요청 했지요.  그 코드를 붙여 넣자, 에러가 나왔습니다.  그래서 그 에러 구문을 다시 chatgpt의 소스코드 보여준 세션에 넣고  centos에서 하니까 에러가 뜨는데? 라고 하니 centos용 수정된 버전을 알려주네요..  centos버전으로 받은 스크립트를 실행하니까 이번엔 다른 에러가 떠서 에러 코드를 넣어봤죠.  그랬더니 Bash 에서 지원되지 않은 부분을 파악해서 수정을 해주네요..  수정된 것을 넣었는데도 에러가 떠서 다시 말했습니다.  그랬더니 chatgpt는 내가 사용하는 bash버전이 안맞는다는 사실을 인지하고 낮은 버전의 centos에서도 돌아가는 스크립트를 만들어 주었습니다.  그래서 돌렸더니 잘 돌아가더군요.. 제가 직접 일을 하면서 사용하고 있는 내용입니다.  다른 많은 영상에서는 실제 사용하는 느낌보다 이렇게 되는 겁니다 하는 식의 좀 먼 이야기 같은 영상을 보셨겠지만,  개발 또는 서버 작업을 하시는 분들은 이 내용을 보시고 어떤 생각이 드시나요? 혹시 개발자 분들, 나 이대로 개발자 해야하는건가?  라던가,  개발자는 앞으로 chatgpt가 말한거를 붙여넣고 실행만 하는 직업이 되는거 아냐? 라고 생각하시지 않으셨나요?  chatgpt로 인해 인류의 일자리가 없어진다느니 하는 이야기 이전에,  chatgpt로 인해 많은 고급 일자리의 허들이 낮아져서  초보들도 복붙만 할 수 있고, 내용만 알면 고급 업무를 할 수가 있는 것입니다.  이게 현실이고 여러분의 눈앞에 일어나고 있는 일이지요.  많은 IT엔지니어들이 비슷한 레벨에서 치열하게 경쟁을 하는 모습이 눈에 선하네요....

듣기버전 :  https://youtu.be/7l_vO7fnNBY AI 특이점이 온다면? 터미네이터 vs. 매트릭스 많은 AI를 다루는 방송들이 특이점이 온다면서 Super intelligence를 얘기하는 사람을 못봤네요.. TED에서는 Super Intelligence를 다루는 영상들이 있습니다. AI, Artificial Intelligence 와 SI, Super Intelligence의 차이를 설명해 보려 합니다. AI는 인간이 만든 목표를 위해 움직이게 합니다. 공장 로봇을 가동하기도 하고, 목표 결과를 내기 위해 머신러닝을 합니다. AI는 목적을 제시하지 않으면 안되는 것이지요. 하지만 SI가 되면 말은 달라집니다. 먼저 학습을 하고, 인간이 목적을 나중에 제시하면 그 동안 학습한 내용을 기반으로 결론을 도출합니다. 그 동안 많은 ML이 목적을 기반으로 학습을 했던 이유는, 데이터 자체를 저장하는 것은 너무 방대하기 때문에 h5등의 학습된 내용의 정리를 저장해야 하는데, 모든 데이터는 목적에 대해 얼마만큼 이란 정보를 넣어야 통합 및 압축이 되었습니다. 단순히 학습만 한다면 데이터를 저장만 하지 그걸로 무엇을 할 수 있는지를 알 수가 없습니다. 생성형 AI의 가장 중요한 의의는 바로 이것입니다. 굉장히 많은 데이터를 학습한 후에 질문을 뒤에 해도 기존 학습을 기반으로 결과물을 생성하는 것이지요. 즉, 이젠 무턱대고 학습만 하면 됩니다. 학습 데이터는 어떻게 저장하냐구요? 중복 데이터를 제거하고, 토픽 모델링의 기법이나 기타 여러 방법론을 이용해 어떠한 대답도 할 수 있는 최소 단위로 카테고라이징을 하여 연결해 둡니다. 그러면 지금까지 그냥 저장만 하는 데이터를 엄청나게 압축할 수가 있는 것이지요. 이게 바로 SI의 세상에 진입하는 첫 관문이 아닐까 하는 것입니다. 아직 아무말 대잔치를 하고, 남의 그림 베껴 그리기만 하고 있지만, 어느 한 쪽에서는 더욱더 정교하게 만들려 하고 있습니다. ImageNet에서 발표한 내용이 떠오르네요. 한 장의...

AI를 지배한다는 표현을 지난 글에서 적었는데요..  AI활용이라면 chatGPT나 stable diffusion을 사용해서 생성하거나 하면 될텐데.. 어떻게 하면 AI를 지배할 수 있을까요? AI를 사용하는 인프라를 내가 가진다? AI알고리즘을 내 관리하에 둔다? 2014년 Gartner에서 이야기한 내용이 있지요.  데이터는 21세기 원유다.  https://talklowykr.blogspot.com/2019/03/blog-post_12.html 그래서 데이터 사이언티스트가 되는 것이 아니라 데이터의 석유왕이 되어야 한다는 표현을 제가 한 적이 있습니다. AI도 목말라 하는 것은 바로 학습할 데이터 입니다.  stable diffusion도 갑자기 획기적으로 바뀌게 된 것이 해서는 안되는(?) 데이터의 학습을 한 모듈이 세상에 나왔기 때문이지요.  결론이 보이지 않나요?  이게 진실인지는 모르겠습니다.  단지 말하고 싶은 것은 재주넘는 곰이 되지 않길 바랄 뿐입니다.  테슬러도 매일 버려지는 3TB가 넘는 각 자동차의 데이터를 담기 위해서 많은 노력을 하고 있습니다.  여러분도 지금 매일처럼 버리고 있는 의미 있는 데이터가 있지 않은가요? giip :: Control your future! https://giipasp.azurewebsites.net/

Stable Diffusion 2022년 공개된 딥러닝(deep learning, 심층학습)의 text-to-image학습모델 중 하나. 텍스트를 입력하여 이미지를 생성하는데 많이 사용되는 경우가 많음. 뮌헨 대학의 CompVis그룹이 개발한 잠재확산모델(latent diffusion model)로서 심층생성 뉴럴 네트워크(deep generative neural network)의 일종. 이 모델은 EleutherAI와 LAION의 지원을 받아 Stability AI, CompVis LMU, Runway가 공동으로 공개했다. 2022년 10월 Stability AI는 Lightspeed Venture Partners와 Coatue Management가 주도한 라운드에서 1억100만달러를 조달했다. 기술 https://ja.wikipedia.org/wiki/Stable_Diffusion 기본 개념은 화상을 픽셀공간에서 저차원잠재공간으로 압축하여 화상에서의 기본 의미를 찾는다. 압축된 잠재표현에 순방향 확산 처리(forward diffusion process)에서 가우시안 노이즈가 연속적으로 부여된다. ResNet으로 구성된 U-Net블록은 잠재표현을 얻기 위해 순방향 확산 과정의 출력을 다시 노이즈 제거를 진행한다. 이걸 역방향 확산 처리(reverse diffusion process)라고 한다. 마지막으로 VAE디코더가 잠재 표현을 픽셀 공간에 역변환하여 최종 화상을 생성한다. 노이즈 제거 과정은 문자열, 화상, 그 밖의 요소에 의해 유연하게 조건을 지정할 수 있다. 인코드 된 조건 부여를 위한 데이터는 cross-attention구축에 의해 denosing U-Net에 부여된다. 활용 stable diffusion을 이용한 AI 그림 생성 모듈을 쉽게 만든 WEBUI의 설치 방법 AI가 실사와 애니풍을 정도를 조정해서 그려주는 사례 Real 100% -> 75% -> 50% -> 25%       PVC모델 적용 사례...

주변 사람들이랑 쓰잘데기 없는 이야기를 하다가 #미래 에 대한 웃긴 얘기를 하게 되어 적어봅니다.  얼마 전까지는 #스카이넷 이 폭주하여 #터미네이터 가 인류와 싸우는 것이 가장 가까운 미래라고 생각했는데요.. 제가 이것저것 강의를 하다가 난 결론은 전혀 달랐습니다.  2030년 가솔린은 법적 규제를 받게 되고 모든 #에너지원 은 #전기 가 됩니다.(여러 국가에서 이미 2030년에 가솔린 자동차 판매를 금지시키려는 움직임이 있음) 이미 이 시기에는 인공지능이 발전을 거듭하여 많은 #업무자동화(#RPA, Robotic Process Automation)에 의해 많은 사람들이 직업을 잃고 회사에는 피씨들은 놓여 있는데 사람은 없이 움직이기 시작합니다.  가장 많은 #자동화시스템 을 가진 #아마존 이 초거대 기업이 되면서 나머지 모든 기업을 통폐합시켜 #초월기업 을 만들어 국가의 개념을 무너뜨립니다.(드라마 #컨티넘, #Continuum) 국가는 피폐화 되고 초월 기업은 자체 경비회사를 경찰처럼 운용하고 자체 변호사집단을 재판관으로서 자치기구를 구축하여 이 기업에 속한 사람들만 비호하기 시작합니다.  2045년 #인공지능(#AI, Artificial Intelligence)이 #초지능(#SI, Super Intelligence)로 바뀌는 #특이점(#Singularity)이 나오면서 기존의 인공지능의 특징인 목적별 학습을 했던 것과는 달리 선학습 후 목적에 따라 학습된 결과를 재추론하는 기술이 나와 이제 인간과 동일한 방법의 학습능력을 갖추게 됩니다. (#TED 의 AI전문가들의 공통적인 견해) 하지만 초지능과 인간의 차이는 초지능은 인간의 학습 능력의 수만배에 달하는 것이지요. 순식간에 인류의 모든 문명을 학습하게 됩니다.  이미 이 시기에는 인공지능을 컨트롤하는 거대기업의 수뇌부 0.1%이외에는 나머지 직업의 70%를 인공지능이 점령하고 있고, 로봇조차도 가성비가 안나오는 하위 30%의 허드렛일을 인간인 하게 됩니다....

giip에서는 내가 만든 RPA스크립트로 인해서 얼마나 업무 시간을 줄여 주고 있는지 한 눈에 알 수 있습니다.  한 달 평균 업무 시간은 160시간 전후이지만,  로봇은 여러 대로 무한하게 일을 시킬 수 있기 때문에  내가 로봇들에게 시킨 업무로 인해 800시간을 줄일 수 있었네요!  점점 늘어나는 것을 기대하면서 계속 업무를 자동화 해가고 있습니다. ^^ UiPath를 사용해도 되고 Auto Hot Key를 사용해도 됩니다.  아니면 자신이 직접 만든 스크립트를 사용해도 됩니다.  이 모든 것을 giip에서 통합 관리를 하고, 자신이 만든 자동화가 얼마만큼의 인건비를 줄일 수 있었는지 알 수 있는 지표를 대시보드로 나타냈습니다.  여러분은 얼마나 많은 일을 아직까지 수동으로 하고 계신가요? giip :: Free mixed RPA orchestration tool!  https://giipasp.azurewebsites.net/

술자리에서 갑자기 인공지능 이야기가 달아올랐습니다. 한 사람이 앞으로 1000년 내에는 인공의식조차 나오지 않을 것이다. 라는 말을 했습니다. 뭐, 누구도 알 수 없지만.. 저의 생각은 다릅니다. 그 동안 뇌과학 역시 150년간 연구한 것 보다 그 후 50년이 훨씬 진보 되었고, 50년 연구보다 그 후 10년이 훨씬 진보 되었습니다. 그리고 이젠 1년, 그리고 수 개월마다 뇌과학은 진보를 거듭하고 있습니다. 인공지능도 역사를 보면 마찬가지 입니다. 59년에 만들어진 개념과 공식은 15년간 연구 되었지만, 80년부터의 7년간이 훨씬 많은 진보를 하였고, 2006년 클라우드란 개념의 시작으로 그리드 컴퓨팅에서는 성공하지 못한 대규모의 경험 축적의 확률론이 구현 되었습니다. Fuzzy theory가 그 동안에는 1000번 등의 단순한 되풀이의 확률 결과라고 한 다면 클라우드와 GPU연산으로 1000억번의 반복으로 더욱 정밀도를 높여갔습니다. 현재는 거의 모든 이론이 구현 가능한 형태로 되었고, 이를 기반으로 알고리즘의 복합으로 그 동안 사람이 상상하지 못했던 결과를 도출하고 있습니다. 뇌 과학에서 늘상 얘기하는 내용 중에 이런 게 있습니다. 인간이 판단하고 상상하는 모든 전기적 신호는 계산이 가능하다. 단지 그 동안 모든 케이스의 전기적 신호를 저장할 수 없었을 뿐.. 실제로 뇌파라는 라디오파를 수집하여 뇌의 정보 처리 및 신경 전달을 이미 어느 정도 연구 성과를 내고 있고, 그에 따른 사람의 생각과 판단의 행동을 전기 신호로 바꾸어 로봇 팔이나 로봇 다리에 전달하여 사람처럼 움직일 수 있는 의수, 의족은 2010년 대에 이미 선보였습니다. 초지능은 인간의 지능과는 달리 완전체가 됩니다. 인간의 지능은 완벽하지 않기 때문에 인간스럽지만, 초지능은 감정을 완전히 배제한 통계 및 학습 데이터에 근거한 판단을 하게 됩니다. 그리고 그 결과를 음성, 행동 등으로 출력이 가능하기 때문에 인간의 ...

일반인들에게  RPA를 가르치면서  배우기 위해 온 사람들을 봤습니다. 2~30대도 있지만,  50대가 넘는 사람들도 왔습니다.  배우지 않으면 정년 전에 밀려날 것 같다는 불안감을 떨구기 위해 최소한의 지식이라도 습득하려 오셨더라구요. 그 동안에는  오피스 정도만 만지는게 고작이었는데.. 지금 50대는  PC가 없이 대학을 졸업한 분들도 있습니다. 너무 빠른 변화에 이해가 안되도  어떻게든 따라가려 하는 모습이 안타깝기도 합니다. 이젠 엑셀도 로봇이 대신하고, 휴가도 로봇이 대신 내주고 있습니다. 사람의 실수를 로봇이 체크해주고 있고, 적정성 평가를 로봇이 대신 내주고 있습니다. 로봇에게  빼앗기기 시작하고 있는 일자리 젊은 층은 어떤 일자리를 찾아야 할까요? 단순하게 얘기하면 창의력 이 필요한 일자리는  이미 물건너 갔습니다. 그림을 사람보다 잘 그리는 로봇이나 새로운 향수를 만들어내는 로봇 새로운 음악을 만들어내는 로봇 거의 모든 일자리는  천재 0.01% 로봇 70% 그외 29.99% 이런 구조로 될 것입니다. 천재가 아닌 대부분의 사람들은 로봇에게 일자리를 뺴앗기고 그 외의 29.99% (갈 수록 줄어들겠지만)에서  더욱 치열한 싸움을 하겠죠.. 아직 로봇이 점령하기 전인  지금도 취준생의 문제가 심각한데 말이죠.. 그리고 저 29.99%는 아마도 로봇에게 지시를 받아서 로봇조차 가성비가 안나오는 일을  하는 것일 겁니다. 제가 가르치는 사람들에게  많이 하는 말이 있습니다.  로봇을 제어하거나 로봇을 수리하는 일은 당분간 로봇이 대체하기 힘든 영역일 것입니다. 차라리 이 쪽으로 눈을 돌리라고 종국에는 ...

머신러닝(ML)용 데이터를 수집하다보면 이런 질문을 받습니다. * 인공지능은 사람이 못하는걸 해주지 않나요? * 그동안 안쓸거 같아서 버렸는데 필요한 데이터였나요? 제 대답은 언제나 그렇지만, 인공지능(AI)은 사람이 못하는 것을 하지 못합니다. 단지, 사람이 그동안 해오면서 모든 데이터를 볼 시간이 부족하여 꼭 필요하다고 판단되는 데이터만 남기고 버려왔다면, 인공지능은 병렬로 고속으로 그 데이터를 읽고 무한 교차 대입으로 전혀 상관없는 곳에서 상관 관계를 찾아내는 것이 묘미 입니다. 이런 얘기가 있지 않나요? 트위터에 그냥 사람들이 흘린 정보를 가지고 감기가 언제 한국에 상륙하고 얼마만큼의 피해를 낼 것이니 약을 어느정도 준비하면 되겠다 라던가, 전혀 상관없는 미국의 특정 기업의 주식의 변동이 오스트레일리아의 콩의 생산량과 일치한 경우 등. 우리가 나비효과라 이름은 부르지만 그 추적이 불가능 한 것을 인공지능은 역산하여 꺼낼 수 있습니다. 지금도 아무 생각없이 버리고 있는 데이터가 있다면 아래 제 글을 다시 읽어 보시기 바랍니다. https://talklowykr.blogspot.com/2019/03/blog-post_12.html 데이터는 21세기의 원유 입니다. 정유업체가 되지 말고 석유왕이 되십시요! Do not login your server any more! Free server management tool! http://giipweb.littleworld.net Subscribe and publish your links as a book with friends My Favorite Link Share http://link.littleworld.net

전 세계 핫한 최신 뉴스를 한국어로 보고 싶으신가요>? http://coinnews.littleworld.net 코인이나 블록체인 관련 기사들을 모아서 많이 언급되는 주제를 토픽 모델링으로 분석한 뒤에 보여주는 서비스 입니다~ 현재는 거의 영문 기사를 가지고 오고 있지만, 크롤러의 업데이트를 지속적으로 하면서 전 세계의 기사를 가져오려고 합니다. 사용된 기술은 다음과 같습니다. Google SERP Web Crawler NLP(Natural Language Processing) LDA(Topic Modeling, tf-idf) Google Translate 궁금한 기술이 있으면 물어보세요! Do not login your server any more! Free server management tool! http://giipweb.littleworld.net  Subscribe and publish your links as a book with friends  My Favorite Link Share http://link.littleworld.net

다른 이의 글을 보다가  또 글을 쓰게 만드는 기사들이 있다. 4차 산업혁명 이 말이 무엇을 의미하고 있는지도 모르고  그냥 화두니까 하면서 자신있게 써내려가고 있는 많은 글을 보았다.  뭐, 그렇다고 나도 무조건 맞는 말만 쓰진 않는다.. 가끔 글쓰고 나중에 보니 부끄러운 적 많다.  그래도 최소한 최선을 다해 진실을 찾고나서  남들에게 정확한 정보를 전달해야  이 글을 읽는 사람도 보람이 있지 않을까?  각설하고, 산업혁명 이 무엇이고 의의는 뭘까?  바로 산업의 혁명적인 전환 을 뜻한다.  1차는 농업에서 경공업으로의  혁명적인 변화를 가져왔고,  2차는  전기 및 석유에의한  중화학 공업 및 거대 공장 이 들어서면서 산업이 크게 바뀌었다. 가장 큰 의미는  가내 수공업 이라는 그 동안의 주류 산업을 공장 이란 새로운 산업이 밀어낸 사태이다.  공장으로 인해 밀려난 가내수공업자들이  거리로 내몰리고 반기를 들어봤지만,  결국 공장의 노동자로 전락하고 말았다. 이렇게 산업이 크게 뒤집히는 경우를  산업혁명 이라 한다.  혁명이란 기존 세력을 새로운 세력이 뒤엎는걸 얘기하기 때문에  딱 들어맞는 표현아닌가.  3차 산업 혁명 은  자동화 혁명 이라고 한다.  공장끼리의 대규모 자본 경쟁이 치열해짐에 따라 공장의 효율화를 위해  다양한 공장 제어 및 자동화 를 도입하다보니,  이 효율화가 적중하여 초거대 공장이 들어섰다.  기존 공장설비를 압도적으로 누르는  초거대 자본을 이용한 세계 규모의 시장을 ...