내 머릿속 데이터베이스

Atom Runner 한글 지원 방법

파도소리 — Tue, 4 Apr 2017 18:44:34 +0900

https://github.com/lsegal/atom-runner/issues/94

[HIVE] UNION, SubQuery, With 테이블 합치기 팁.

파도소리 — Mon, 9 Jan 2017 11:22:45 +0900

다수의 테이블을 합쳐서 통계를 산출 시에 UNION을 많이 사용하게 된다.

UNION과 UNION ALL의 차이는 다들 알고 있으리라 언급하자면 중복 데이터를 제거하는 과정이 UNION에 포함되어있다.

테이블을 합칠 때 UNION으로 합치게 되면 각 테이블마다 정렬이 들어가는 것을 실행계획을 통계 알 수 있다.

(그래서 느리다.)

UNION ALL 을 사용하게 되면 중복 상관없이 그냥 합쳐주기만 해서 빠르다.

다수의 테이블인 경우엔 각 테이블마다 중복데이터를 제거해가면서 합치는 것보다 일단 다 합쳐놓고 중복데이터를 제거하는게 빠르다.

실제로 UNION을 이용한 쿼리에선 HIVE의 CBO(Cost-based Optimizer)가 동작하지 않는다.

UNION ALL을 이용하여 테이블을 합치려다가 HIVE는 CTE(Common Table Expression) 을 지원한다는 사실을 알았다.

WITH문으로 더 잘 알려진 이 구문은 오라클 사용자라면 알고 있을 것이다.

단 MySQL은 지원하지 않으며, MariaDB는 10.2.1 버전부터 지원하고 있다.

UNION ALL을 이용하여 테이블을 합치는 방법은 다음 두가지가 있겠다.

1. 서브쿼리를 이용

2. with

위 두가지 방법으로 쿼리를 짜보고 실행계획을 보았으나 실행계획까지도 똑같다.

with구문이 더 가독성이 좋다는데... 난 글쎄.. 그냥 쓰고 싶은거 써도 상관없다.

다음 두 쿼리는 동일하다.

SET TDATE='01'
SELECT COUNT(DISTINCT(usr_key)) FROM (
SELECT mdate, usr_key FROM table1 WHERE mdate>=${hiveconf:TDATE}
UNION ALL
SELECT mdate, usr_key FROM table2 WHERE mdate>=${hiveconf:TDATE}
UNION ALL
SELECT mdate, usr_key FROM table3 WHERE mdate>=${hiveconf:TDATE}
UNION ALL
SELECT mdate, usr_key FROM table4 WHERE mdate>=${hiveconf:TDATE}
) t1

SET TDATE='01'
WITH t1 AS (SELECT usr_key FROM s1
UNION ALL SELECT usr_key FROM s2
UNION ALL SELECT usr_key FROM s3
UNION ALL SELECT usr_key FROM s4
),
s1 as (SELECT mdate, usr_key FROM table1 WHERE mdate>=${hiveconf:TDATE}),
s2 as (SELECT mdate, usr_key FROM table2 WHERE mdate>=${hiveconf:TDATE}),
s3 as (SELECT mdate, usr_key FROM table3 WHERE mdate>=${hiveconf:TDATE}),
s4 as (SELECT mdate, usr_key FROM table4 WHERE mdate>=${hiveconf:TDATE})
SELECT COUNT(DISTINCT(usr_key)) FROM t1;

stackoverflow를 뒤져봐도 subquery와 with은 동일같거나 다름없다고 한다.

차이가 있다면 가독성의 차이와 with문이 recursive한 점인데.. recursive하게 활용하는 with문에 대해서 더 언급하고 싶었으나 길어지니 나중에..

git 관련 자료 모음

파도소리 — Thu, 11 Aug 2016 16:01:18 +0900

팀블로그 자료 퍼옴

http://wp.me/p7MUY6-1U

Kaggle(캐글) – 데이터 과학자들의 링

파도소리 — Thu, 11 Aug 2016 15:59:44 +0900

팀 블로그에 내가 쓴 글을 옮겨옴

http://wp.me/p7MUY6-q

[Python 3.4] 멀티쓰레딩과 멀티프로세싱

파도소리 — Mon, 8 Aug 2016 17:09:09 +0900

날려먹고 이 글이 3번째 쓰는 글이다.

이번이 마지막이길.

파이썬 쓰레드는 GIL(Global Interpreter Lock) 때문에 오히려 싱글쓰레드보다 속도저하가 일어난다는 사실은 파이썬 개발자라면 다 알 것이다.

모른다면 관련 글인 아래를 참고...

하용호 - 파이썬으로 클라우드 하고 싶어요 : http://www.slideshare.net/kthcorp/h32011c6pythonandcloud-111205023210phpapp02
파이썬의 멀티쓰레딩과 멀티프로세스 : http://qkqhxla1.tistory.com/m/post/270

위 글에선 싱글스레드로 3.34초가 나오는 연산이 듀얼스레드로 4.65초가 나온다고 했다.

위 내용은 오래된 내용으로 파이썬 2.x 버전에선 계속 나타날 것이라 생각한다.

하지만 현재까지도 파이썬은 3.x버전으로 계속 업그레이드 되고 있으며, 파이썬 3.2 Release Note 를 보면 이 GIL를 수정했다는 내용이 있다.

(두근두근)

그래서 현재 쓰는 3.4.4 버전의 파이썬은 어떨지 다시 테스트 해보았다.

사용한 코드는 위 글에서 작성된 코드 그대로인데, 다음과 같이 연산횟수를 4배 늘렸다.

Result : 3199999960000000 time = 8.915481090545654

8.9초가 소요되었다.

그럼 이걸 쓰레드 2개로 연산하면 8.9초 보다 느려지는지 확인 해 보겠다.

Result : 3199999960000000 time = 8.185956001281738

8.1초로 느려지는게 아니고 아주 조금 빨라졌다..?

확실히 GIL이 개선되었다고 할 수 있을 것 같다.

쓰레드를 4개로도 돌려본 결과도 공유한다.

Result : 3199999960000000 time = 7.8109190464019775

7.8초로 빨라지는게 보인다.

확실히 과거 파이썬과는 다른 모습을 보여서 I/O 부하가 큰 작업 등은 이제 쓰레드를 이용해도 될 것 같다는 생각이 든다.

마지막으로 멀티프로세싱으로 프로세스 2개를 생성해서 같은 연산도 해보도록 하겠다.

Result : 3199999960000000 time = 4.879086017608643

4.8초.

결론 : 그냥 멀티 프로세싱 쓰자.

[Node.js] forever 로그 찍지 않기

파도소리 — Fri, 3 Jun 2016 16:03:37 +0900

# forever start -a -l /dev/null server.js

# forever list

info: Forever processes running

data: uid command script forever pid id logfile uptime

data: [0] iilT /usr/local/node/bin/node server.js 24219 24224 /dev/null 0:0:0:9.907

잘 된다. a옵션을 빼면 /dev/null을 찾을 수가 없다고 에러가 난다.

아래는 옵션 설명

-a, --append Append logs

-l LOGFILE Logs the forever output to LOGFILE

[Anaconda] 스타트.

파도소리 — Mon, 30 May 2016 16:20:47 +0900

R을 이용해 데이터 분석을 하다가 Anaconda를 접하게 되었다.

데이터 분석과 관련된 파이썬 패키지들을 손쉽게 설치하고 다룰 수 있다.

[Javascript] 패커로 괜찮은 사이트들.

파도소리 — Mon, 30 May 2016 16:12:54 +0900

자바스크립트를 압축할 일이 생길 때 참고할 만한 사이트들.

http://closure-compiler.appspot.com/

http://dean.edwards.name/packer/

이런걸 자동으로 해주는 프레임웍도 있었으면 좋겠지만 아직 찾진 못했다.

[WEB] 부트스트랩3에서 input password padding 버그 이슈

파도소리 — Mon, 30 May 2016 16:10:00 +0900

Bootstrap3 환경에서 input 태그에 padding 속성을 먹이면 유독 password 타입은 출력이 이상하게 나오는 버그가 있다.

padding이 심하게 먹힌다고 해야하나..? 밀려서 보이지 않는다.

몰론 크롬이나 IE에선 정상으로 나타나나 사파리 환경에서는 제대로 보이지 않는 문제가 있다.

stackoverflow.com 에 이와 관련된 글을 찾았다.

http://stackoverflow.com/questions/24090834/bootstrap-3-input-padding-issue

부트스트랩은 기본 높이가 설정 되어 있다는 것.

해결 방법은 height:auto; 를 추가해 주면 된다.

[MySQL] OSX에서 mysql.server stop로 종료가 안되는 현상

파도소리 — Thu, 21 Apr 2016 10:56:58 +0900

설치 및 실행 과정도 이상하게 생각보다 힘들게 했는데, 종료까지 말썽이다.

인터넷에 검색하니 mysql.server stop 를 호출하면 된다던데.. 종료에 성공했다고 뜨나, 종료는 되어있지 않았다.

재 시도 하면 pid 파일을 updating 문제가 있다고 에러가 납니다.

먼저 pid 파일의 updating 문제는 pid 파일의 권한 설정 문제로 해결 했다.

경로는 /usr/local/var/mysql/

chmod 777 유저명.local.pid

걍 이렇게 777줘도 리스타트하면 pid가 재 생성되서 지가 알아서 맞는 권한으로 찾아가니 상관없다.

이젠 종료할 때 에러는 나지 않으나 (항상 성공), 하지만 실제 종료는 되지 않는다.

pkill 로 mysqld를 종료해봐야 mysqld_safe 놈이 감시하고 계속 실행한다.

mysqld_safe 프로세스를 죽였으나 이놈도 계속 좀비같이 살아난다.

이럴 땐 osx의 homebrew를 체크 해 봐야한다.

이 글을 참조 했는데 (https://robots.thoughtbot.com/starting-and-stopping-background-services-with-homebrew)

launchctl unload [plist경로]

를 하랜다. 경로는 ~/Library/LaunchAgents 또는 /Library/LaunchAgents 에 저장되어 있다.

따라서 뭐 이런식으로 하면 되는건데

launchctl unload ~/Library/LaunchAgents/homebrew.mxcl.mysql.plist

난 해당 경로에 파일이 없었다.

찾아보니 /usr/local/opt/mysql/homebrew.mxcl.mysql.plist 가 있길래 요놈으로 unload 시켜줬더니 된다.

그 이후로는 필요할 때만 mysql.server start / stop 로 켜고 꺼고 할 수 있다.

더 나은 방법으론 brew services 를 설치해서 brew services list 때려서 mysql이 목록에 있다면

brew services start mysql

호출하는게 더 간편하다.ㅜㅠㅜㅜㅠㅠㅠㅠㅠㅠ