기본 콘텐츠로 건너뛰기

giip KVS에 UiPath에서 던질 때의 주의 점.

xls2kvs를 이용해서 giip KVS에 데이터를 던지는데 이슈가 발생했다.

git : https://github.com/LowyShin/lwrpa-uip-giipxls2kvs

참고로 xls2kvs는
Excel파일의 시트 내용을 읽어서 giip KVS로 던지는 툴이다.
이걸 이용해서 주기적으로 던지면
giip에서는 history로서 저장이 되고
서버 상세에서 바로 테이블 형태로 볼 수 있기 때문에 아주 편리하다.

(Oracle의 테이블 스페이스에서 용량이 얼마 안남은 순서대로 표시하게 한 KVS의 예)

게다가 KVS API를 이용해서 데이터를 특정 지어 조건에 따른 다른 업무(Tablespace의 확장 쿼리를 날리기 라던가)를 Trigger에 걸어놓을 수가 있다.

문제는..

UiPath에서 xlsx처리가 편리해서 만들고 있는데,
API를 호출하려 하니 Azure의 App Service 환경(Serverless) 에서는 UiPath의 Web.HttpRequest 요청이 정상 요청이 아니라고 에러를 반환한다.
Python때처럼 Add Header를 이용해서 다른 브라우저인 척도 넣을 수 있는데,
UiPath의 잇점을 살려서 그냥 브라우저를 열고 URL을 입력하는 방법으로 시도했다.

그랬더니, 이번에는 URL부분에 넣은 데이터의 따옴표["]가 사라진 것이다!
때문에 KVS에서는 필드명을 정상 인식 못하고 빈 테이블로 표시...

실제로 던지기 전의 URL을 Log activity를 이용해서 로깅해 봤더니 URL에는 정상적으로 따옴표가 보였으나,
크롬 브라우저의 주소창에 넣는 순간 자동으로 사라진 것이다.

브라우저에서 따옴표 강제 삭제 기능이 있었다니..

그래서 URLEncode를 할까 고민을 했는데..
UiPath에서 URLEncode VBScript를 넣으면 해결 될 것이나,
이번에는 따옴표를 %22로 리플레이스 해서 처리..

깔끔하게 코드를 짠다면 URLEncode로 해서 브라우저로 던지면 될 것 같다.
참고로 브라우저 및 GET Method의 URL교환은 길이 제한이 있다.(아마 1024byte였던가??) 때문에 대량의 데이터는 POST로 해야 한다.
Add Header를 사용하는 방법도 좋은 예이나,
기껏 UiPath사용한다면 HTML로 FormPage를 만든 뒤에 Method를 POST로 하고 그걸 열어서 던지는 것도 재밌는 방법이 아닐까?


Do not login your server any more!
giip :: Free server management tool!
https://giipasp.azurewebsites.net/

댓글

이 블로그의 인기 게시물

Alter table 에서 modify 와 change 의 차이 :: SQL Server

두 개의 차이를 모르는 경우가 많아서 정리합니다.  modify는 필드의 속성값을 바꿀때 사용하구요.. change는 필드명을 바꿀떄 사용합니다.  alter table tbbs modify bNote varchar(2000) NULL; alter table tbbs change bNoteOrg bNoteNew varchar(2000) NULL; change에는 원래 필드와 바꾸고 싶은 필드명을 넣어서 필드명을 바꾸는 것이죠~ 더 많은 SQL Server 팁을 보려면  https://github.com/LowyShin/KnowledgeBase/tree/master/wiki/SQL-Server giip :: Control all Robots and Devices! Free inter-RPA orchestration tool! https://giipasp.azurewebsites.net/

[Classic ASP] Cookie가 삭제 안되는 문제

만든 쿠키가 삭제가 계속 안되서 여기저기 삽질을 했다. 모든 쿠키를 삭제하는 함수도 만들었다. Function CookieClear(cldomain) For Each cookie in Request.Cookies Response.Cookies(cookie).Domain = "." & cldomain Response.Cookies(cookie).Path = "/" Response.Cookies(cookie).Expires = DateAdd("d",-1,now()) Next End Function 그런데.. 안되서 계속 삽질하다가 하나 알았다.  littleworld.net littleworld.co.kr www.littleworld.net  의 모든 값을 지우려고 했으나.. 처음 만든 쿠키가 www.littleworld.net 인 관계로.. 처음에 www.littleworld.net 의 쿠키를 삭제 해야만 나머지가 지워졌다.. -ㅅ-;; 간단하지만 몰랐던 초보적인 사실.. ---- 누구나 쉽게 광고를! http://www.cashtalk.co.kr Free Infrastructure automation & management tool Global Infrastructure Integration Platform http://giip.littleworld.net Subscribe and publish your links as a book with friends  My Favorite Link Share http://link.littleworld.net

BI의 궁극판! Apache Drill을 써보자!

사실 Apache Drill 은 BI(Business Intelligence)라고 부르는 것 보다는 단순 데이터 연결 엔진이다. https://drill.apache.org/ 하지만 내가 왜 극찬을 하느냐면.. DBA로서 항상 문제가 되어왔던게, 이기종 데이터의 변환이나 처리였다. 포맷을 맞추는데 엄청난 시간이 걸리고, 데이터 임포트 실패가 무수하게 나고.. 한 번 잘못 데이터를 추출하면 다시 조정, 변환, 추출하는데 시간이 많이 걸린다. 그런데! Apache Drill은 그냥 RDB를 CSV랑 연결해서 조인해서 통계를 낼 수 있다. 그것도 표준 SQL을 사용하여! 예를 들어, CSV의 세 번째 컬럼이 price 이고, 물건의 판매이력을 PG사에서 CSV로 출력 받았다. 우리 DB와의 검증을 위해서는 수동으로 Import를 한 뒤에 포맷이 안맞아 잘리는 데이터가 있다면 다시 맞춰주고, 재 임포트를 수십 번, 그리고 나서 겨우 들어간 데이터를 조인하여 빠진 데이터를 분간한다. 숫자가 적다면 개발자가 개발로 처리할 수도 있지만, 건수가 하루에 300만건 짜리라면.. 한 달 온 파일은 9천만 건이다. 프로그램으로 고작 처리하는 것이 초당 500건. 거의 20만초, 에러 없이 약 56시간.. 에러가 생기면 다시 56시간.. ㅠㅡㅠ 이런게 현실이기 때문에 쿼리 말고는 방법이 없다. apache drill 의 진면목을 보자! 이번에는 좀 범용 적인 MySQL DB와 붙여 보자. . 난 이번에는 Mac에서 작업을 했기 때문에 그냥 다운 받아서 풀었음.. https://drill.apache.org/download/ 여기서 자기 OS에 맞는 버전을 받아서 설치하시길.. 압축을 풀고 나면 MySQL 커넥터를 붙여야 한다. https://dev.mysql.com/downloads/connector/j/5.1.html 여기서 다운로드 이런 커넥터 들을 붙일 때마다 콘피그를 수정해 줘야 하지만, 몇 번만