내 머릿속 데이터베이스

폐쇄망에 python을 설치하면서 얻은 삽질기서버엔 기존 2.7이 설치되어있었고, 특정 사용자만 3.4버전을 쓸 수 있게 홈디렉토리 밑에 설치하려고 하였다. python.3.x.tar.gz 의 압축을 풀고 (with-threads는 스레드를 지원하는 옶션)$ ./configure --prefix=/home/계정명/usr_bin/ --with-threads$ make && make install 을 했다.폐쇄망이라 Ignoring ensure pip failure: pip 7.1.2 requires SSL/TLS 라는 에러가 뜨며 PIP는 설치가 안된다. ~/usr_bin/bin/ 안에 python3 가 있는데, 편하도록 심볼릭 링크를 생성했다.$ ln -s python3 py3 이를 쓰기 좋게 .bash..

파이썬을 이용해 bash 명령 실행하기http://noplanlife.com/?p=949 Python command 명령, os 명령 사용방법http://thdev.net/226

대충 내가 편하게 정리.자세한 설명은 나중에 한다.Selenium : 테스트 자동화 프레임 워크. 웹에서 로그인해서 데이터 긁어올 때 씀.BeautifulSoap : 긁어온 데이터 파싱하기 편함urllib : 내장 라이브러리. 단순 크롤러 만들때 좋음 matplotlib : 그래프 관련seaborn : 히트맵 등, matplotlib 보다 더 예쁘고 다양한 그래프들을 제공하는 것 같다. http://blog.naver.com/ossiriand/220395637106scikit Learn : MR 관련 라이브러리 http://blog.naver.com/hgh73/220556788089 numpy, scipy, sklearn http://blog.naver.com/acwboy/220525345312openp..

http://gyus.me/?p=418 https://simpletutorials.com/c/1457/Python+3+Logging+using+DictConfig

http://cafe.naver.com/cloudbigdata/181 http://skccblog.tistory.com/1883

http://blog.treasuredata.com/blog/2015/03/20/presto-versus-hive/ 다음 한장의 이미지로 정리 할 수 있다.

http://getindata.com/blog/tutorials/tutorial-using-presto-to-combine-data-from-hive-and-mysql-in-one-sql-like-query/

https://www.acmicpc.net/blog/view/16위 예제의 다음 코드를 실행하니 CP949 관련 에러가 났다. 인코딩 에러가 나는 라인은 웹페이지의 일본어 텍스트를 파싱할 때 발생했다. 이 문제를 해결하려고 UTF-8 부터 CP949부터 모든 인코딩 관련 처리를 스택오버플로우에서 검색해서 다 사용해봤지만 결국 찾아낸 원인은 단순했다. 웹페이지도 UTF-8 캐릭터셋이 맞고, 파이썬도 utf-8 캐릭터셋을 사용하는데 출력하는 콘솔(도스창)이 CP949 캐릭터셋을 쓴다.일본어는 한글 윈도우에서 사용하는 CP949 캐릭터셋을 지원하지 않아서, 내부 값들은 잘 저장되더라도 출력하지 못하는 것이었다. 어쨋거나 출력 결과를 콘솔에 띄워보기 위해서 cp949 캐릭터셋을 지원하지 않는 캐릭터들은 걍 날려..

Python + BeautifulSoup을 이용해서 랭킹 JSON으로 만들기(https://www.acmicpc.net/blog/view/16) 블로그를 따라하다, 예제안의 다음의 코드를 실행헀더니 에러가 발생한다. 데이터를 가져오는 사이트의 프로톨이 HTTP가 아닌 HTTPS라서 UserAgent 값을 같이 넣어줘야 이 문제는 해결 된다.

출처 : http://ddiri01.tistory.com/234너무 쉽게 정리 요약된 글이 있어 퍼옴. 말도 많고 탈도 많은 베이지안. 머신러닝 이니 인공지능이니 이런것들이 뜰수록 덩달아 자주 사람들입에 오르 내리는게 베이지안(bayesian) 이다. 수식을 가지고 어렵게 이야기하지만, 기초적인 개념을 소홀히 하고 있는 것 같아, 정리차 포스팅 한다. 1. 베이지안 확률 (Bayesian Probability)베이지안 확률이란 무엇인가? 기존에 우리가 알고 있는 확률과는 다른것인가? 동전을 1000회 던졌을 때, 앞면이 나오는 횟수는 대략 500회 로 기대할수있다. 전통적인 확률 계산은 이렇게 표현한다. 일어난 횟수 전체 시도 횟수 이런 확률론을 frequentist probability, 경험 확률 라..