내 머릿속 데이터베이스

MySQL 로그파일 유닉스에서의 에러 로그 : 'hostname'.err shell>find / -name 'hostname'.err 윈도우에서의 에러 로그 : /mysql/data/mysql.err 리눅스에서 my.cnf파일 만들기 : my-huge.cnf 나 my-medium.cnf 파일을 찾아서 /etc/ 아래에 복사 shell>cp my-medium.cnf /etc/my.cnf 윈도우에서 my.ini 파일 만들기 : /mysql/ 디렉토리 아래에 보면 my-small, my-medium, my-large, my-huge 파일이 존재하는데 이중 1개를 my.ini로 이름을 바꿔서 c:\winnt 아래에 복사. * windows7에선 C:\ProgramData\MySQL\MySQL Server 5.5..

폐쇄망에 python을 설치하면서 얻은 삽질기서버엔 기존 2.7이 설치되어있었고, 특정 사용자만 3.4버전을 쓸 수 있게 홈디렉토리 밑에 설치하려고 하였다. python.3.x.tar.gz 의 압축을 풀고 (with-threads는 스레드를 지원하는 옶션)$ ./configure --prefix=/home/계정명/usr_bin/ --with-threads$ make && make install 을 했다.폐쇄망이라 Ignoring ensure pip failure: pip 7.1.2 requires SSL/TLS 라는 에러가 뜨며 PIP는 설치가 안된다. ~/usr_bin/bin/ 안에 python3 가 있는데, 편하도록 심볼릭 링크를 생성했다.$ ln -s python3 py3 이를 쓰기 좋게 .bash..

파이썬을 이용해 bash 명령 실행하기http://noplanlife.com/?p=949 Python command 명령, os 명령 사용방법http://thdev.net/226

대충 내가 편하게 정리.자세한 설명은 나중에 한다.Selenium : 테스트 자동화 프레임 워크. 웹에서 로그인해서 데이터 긁어올 때 씀.BeautifulSoap : 긁어온 데이터 파싱하기 편함urllib : 내장 라이브러리. 단순 크롤러 만들때 좋음 matplotlib : 그래프 관련seaborn : 히트맵 등, matplotlib 보다 더 예쁘고 다양한 그래프들을 제공하는 것 같다. http://blog.naver.com/ossiriand/220395637106scikit Learn : MR 관련 라이브러리 http://blog.naver.com/hgh73/220556788089 numpy, scipy, sklearn http://blog.naver.com/acwboy/220525345312openp..

http://gyus.me/?p=418 https://simpletutorials.com/c/1457/Python+3+Logging+using+DictConfig

http://cafe.naver.com/cloudbigdata/181 http://skccblog.tistory.com/1883

http://blog.treasuredata.com/blog/2015/03/20/presto-versus-hive/ 다음 한장의 이미지로 정리 할 수 있다.

http://getindata.com/blog/tutorials/tutorial-using-presto-to-combine-data-from-hive-and-mysql-in-one-sql-like-query/

https://www.acmicpc.net/blog/view/16위 예제의 다음 코드를 실행하니 CP949 관련 에러가 났다. 인코딩 에러가 나는 라인은 웹페이지의 일본어 텍스트를 파싱할 때 발생했다. 이 문제를 해결하려고 UTF-8 부터 CP949부터 모든 인코딩 관련 처리를 스택오버플로우에서 검색해서 다 사용해봤지만 결국 찾아낸 원인은 단순했다. 웹페이지도 UTF-8 캐릭터셋이 맞고, 파이썬도 utf-8 캐릭터셋을 사용하는데 출력하는 콘솔(도스창)이 CP949 캐릭터셋을 쓴다.일본어는 한글 윈도우에서 사용하는 CP949 캐릭터셋을 지원하지 않아서, 내부 값들은 잘 저장되더라도 출력하지 못하는 것이었다. 어쨋거나 출력 결과를 콘솔에 띄워보기 위해서 cp949 캐릭터셋을 지원하지 않는 캐릭터들은 걍 날려..

Python + BeautifulSoup을 이용해서 랭킹 JSON으로 만들기(https://www.acmicpc.net/blog/view/16) 블로그를 따라하다, 예제안의 다음의 코드를 실행헀더니 에러가 발생한다. 데이터를 가져오는 사이트의 프로톨이 HTTP가 아닌 HTTPS라서 UserAgent 값을 같이 넣어줘야 이 문제는 해결 된다.