-
Coefficient of Determination(결정계수) / R^2 / R square
# 결정계수 = Coefficient of Determination = R^2 = R squared - Regression model의 성능을 측정하기 위해, mean value로 예측하는 단순 모델에 비해 상대적으로 얼마나 성능이 나오는지를 측정함. (다른 성능 지표인 RMSE나 MAE는 데이터의 scale에 따라서 값이 천차만별이기 때문에, 절대 값만 보고 바로 판단하기가 어려움.) ( 일반적으로 0<= R^2 <= 1 , 0이면 0점, 1이면 100점) 이때 그냥 mean value를 예측하는 regress..
2017.05.22
-
On-policy와 Off-policy, Policy Gradient, Importance Sampling
# On-policy : 학습하는 policy와 행동하는 policy가 반드시 같아야만 학습이 가능한 강화학습 알고리즘. ex) Sarsa on-policy의 경우 1번이라도 학습을 해서 policy improvement를 시킨 순간, 그 policy가 했던 과거의 experience들은 모두 사용이 불가능하다. 즉 매우 데이터 효율성이 떨어진다. 한 번 exploration해서 얻은 experience를 학습하고나면 그냥은 재사용이 불가능하다.(Importance sampling등을 해야 재사용가능..
2017.01.03
-
Ubuntu 에서의 DNS 서버 구축
총 7대의 slave와 1대의 master로 구성된 클러스터 서버에서 IP주소를 일일이 외우지 않고, domain name으로 각 서버컴퓨터들을 사용하기 위해서 bind9을 이용한 DNS를 master서버에 구축하였다. - DNS의 원리 slave.dns.server.co.kr : 이런식으로 구성된 도메인은 역순으로 구성된 DNS서버들을 거쳐서 recursive하게 ip주소를 받아낸다. 즉, kr -> co -> server -> dns 순서로 DNS를 물어봄. 보통의 경우 server.co.kr은 도메..
2016.09.28
-
연구용 파이썬 에디터 찾기 : IPython, Notepad++, PyCharm, Atom, Sublime Text 3
서버에 있는 python 코딩을 IPython으로만하다가 한계를 느끼고 PyCharm을 도입하기로 했다. 우선 IPython을 사용해서 웹으로만 하면, 스크립트 코딩시 찾기 기능이 잘 안되고, 한번에 이름을 못바꾸고, 탭키 사용이 제한적인 등 많은 불편함이 있다. Notepad++의 경우 직관적이고 쉬운 사용법이 강점이지만 체계적인 프로젝트 관리와 ssh를 직접실행할 수 없는 단점이 있다. 이에 PyCharm의 경우 제대로 설정만 한 번 해놓으면..
2016.11.29
-
TensorFlow Extreme Performance Tuning
텐서플로우는 잘못사용하면 정말 정말 정말 느리다. 기본적으로 주어지는 공식 예제는 속도 최적화를 전혀 고려하지 않은 예제이기 때문에, 내가 아무리 비싸고 좋은 GPU를 사용하더라도 끌어낼 수 있는 최고 성능에 심각한 저하가 발생할 수 있다. 이에 대한 여러가지 분석과 해결법을 정리해본다. 1. GPU Utilization 분석 먼저 내가 만든 TensorFlow 모델이 과연 얼마나 최고의 효율로 GPU를 사용해서 돌아가고 있는지 확인하..
2017.01.20
-
Decision Tree 계열 알고리즘
- 랜덤포리스트는 feature space를 랜덤하게 쪼갠다음, 쪼개진 sub feature space를 다시 디시전 트리를 이용해 격자 형태로 분류한다. 학습이 끝나면, 학습된 디시전 트리를 앙상블하여 최종 inference에 사용한다. 즉 추론할 때에는 데이터를 모든 디시전 트리에 집어넣고 클래시피케이션을 한다음, 각각의 분류 결과를 majority voting 하는 방식으로 최종 클래시피케이션. 랜덤포리스트는 앙상블기반의 분류기로, 여러 피처(..
2017.02.13
-
PPT로 포스터 인쇄하기 / 그림파일 추출하기
# A0 사이즈의 고해상도 출력물을 PPT로 만들어 인쇄할 때 주의사항. 우선 [파일-옵션-고급-인쇄]에서 다음과 같이 체크박스를 할 것. https://m.blog.naver.com/PostView.nhn?blogId=radiobj5&logNo=220108065742&proxyReferer=https%3A%2F%2Fwww.google.co.kr%2F http://powerpoint.pe.kr/220079391846 https://support.office.com/en-us/article/PowerPoint-Options-Advanced-bdbee278-4984-4c7d-88ad-6f493bd18343?omkt=en-..
2017.11.14
-
Jupyter Notebook
# Jupyter와 IPython의 관계: 원래는 Jupyter와 IPython은 하나의 프로젝트 였음. 근데 notebook이 엄청 흥하면서 점차 프로젝트의 규모가 커졌음. 이에 Python이 아닌 다른 언어를 지원하기시작하고 더 잦은 업데이트가 필요한데 규모가 너무커서 힘들었음. 그래서 3.0버전까지는 하나의 통합된 IPython만 존재했는데, 이제부터는 쪼개서 jupyter라는 거대한 통합 플렛폼안에 소속된 프로젝트로 IPython이 들어가는 형식으로 쪼..
2017.05.23
-
Bagging, Boosting, Bootstrapping
Bagging, Boosting, Bootstrapping의 세가지 용어가 기계학습에서 자주 사용되는데, 자주 개념이나 뜻이 헷갈려서 정리해본다. 1. Bagging : Bootstrap Aggregating의 줄임말이다. 그런데 이것의 의미는 먼저 원래 데이터에 대해서 여러개의 작은 데이터셋 N개를 샘플링해서 만든다음, 각각의 데이터를 작은 모델 N개로 학습을 시킨다. 그 다음 학습된 N개의 모델을 모두 하나로 합쳐서 최종적인 모델로 사용하는(bag에 담는 느..
2016.12.29
-
가장 효율적인 ML 프로젝트 개발 환경
절대 규칙 1. 무조건 editor가 아니라 IDE를 사용해야한다. pycharm을 쓸 때랑 sublimetext를 사용할 때의 생산성 차이는 압도적이다.(특히 refactor) 1. 무조건 local에서 바로 실행할 수 있어야한다. 즉시 응답하는 빠른 run이 가능해야만 손쉽게 디버깅을 할 수 있다. local run은 단순히 pytorch cpu에서 실행해도 전혀 상관이 없다. 서버에서 실행해야하는 경우도 가능하면 toy환경을 local로 가져오는 것이 좋고, 그마저도..
2020.01.17
-
Z-shell ( zsh ) 사용하기
zsh ( z-shell ) zsh은 bash shell에서는 제공하지 않는 사소하지만 정말 편리하고 우아한 기능들을 제공하는 shell이다. zsh 설치과정 1. sudo apt-get install zsh 2. oh-my-zsh 설치 sh -c "$(wget -O- https://raw.githubusercontent.com/robbyrussell/oh-my-zsh/master/tools/install.sh)" 3. zsh-syntax-highlighting git clone echo "source ${(q-)PWD}/zsh-..
2020.01.17
-
Numpy Optimization and Parallelization
1. 문제상황 [100000, 1000] 크기의 matrix를 10만차원 축으로 cumsum을 했더니 약 2.3초가 걸려서 이를 더 빠르게 하고싶음. 기본 실험: 해당 matrix에 대해서 np.sum과 np.cumsum 을 수행해봄. 3번과 4번 cell에서는 cumsum을 한번에 모든 dim에대해 한것과 하나씩 바꿔가면서 한 실험 결과임 cumsum의 경우 메모리에 writing하는 연산이 많아 sum보다 많이 느림. 그런데 3번과 4번에서 속도차이가 나는 것이 이상해서, inplac..
2020.01.17
-
The Bitter Lesson 번역
The Introduction of Reinforcement Learning의 저자로 유명한 Richard Sutton의 2019년 5월 13일에 올라온 AI에 대한 글을 번역해보았다. (역자: 곽동현, 윤상웅) The Bitter Lesson 씁쓸한 교훈 70년간의 AI연구로부터 깨달을 수 있는 가장 큰 교훈은 바로 계산을 이용하는 일반적인 방법론이야말로 궁극적으로, 큰 격차를 두고도 가장 효율적이라는 것이다. 이에 대한 궁극적인 이유는 바로 무어의 법칙, 더 일반화해서는 유..
2020.01.17
-
Pytorch 문법
자주 발생하는 에러 해결 AttributeError: cannot assign module before Module.__init__() call 이 에러는 nn.Module을 상속받은 class가 __init__에서 먼저 super의 __init__을 호출하지 않아서 발생하는 문제이다. class BaseNetwork(nn.Module): def __init__(self): super().__init__() 위와 같이 호출하면 된다. https://discuss.pytorch.org/t/attributeerror-cannot-assign-module-before-module---init---call/1446
2020.01.16
-
블로그 글쓰기 규칙
Step 0. 기본 설정 - 항상 문단 간격 없음으로 작성한다. - Markdown 보다는 tistory 기본 에디터를 적극 활용한다. - 그이외의 경우 Bold는 사용 가능하나, 글자크기는 따로 수정하지 않는다. Step 1. 제목 및 소제목을 적고, ctrl + 1,2,3 을 이용하여 꾸민다. #은 기본적으로 사용하지 않는다. Step 2. 대표 이미지 설정 구글 이미지 검색 혹은 https://pixabay.com/ko/ 에서 사용 권한이 적절해보이는 dropbox/이미지에 다운..
2020.01.09
-
Python Concurrency Programming
Concurrency Programming Python에서 asyncio를 이용한 concurrency에 대해 알아본다. 아래의 문서를 참고하여 내용을 작성하였다. Async IO in Python: A Complete Walkthrough - Real Python Parallelism은 concurrency의 하위 개념이다. 즉 동시성을 구현하는 방법 중 하나가 병렬화라고 얘기할 수 있을 것이다. 또는 threading이 concurrency에 보다 가까운 개념이다. Concurrency의 핵심은 single cpu에서 동작하는 것 처럼..
2020.01.09
-
Python 프로젝트의 패키지화
개발한 python 프로젝트를 패키지화 하는 방법들 1. pip install로 설치할 수 있게 한다. 2. submodule로 사용할 수 있게 한다. 3. git clone으로 사용할 수 있게 한다. setup.py 와 requirements.txt의 차이 - setup.py : pip install로 사용하는 일반 사용자를 위한 최소 설치 요구사항 - requirements.txt : 개발자를 위한 설치 요구사항 https://stackoverflow.com/questions/14399534/reference-requirements-txt-for-the-i..
2020.01.09
-
음성인식 이해하기
# 기본 개념 # Acoustic model 오디오 --> phoneme(혹은 grapheme 등)을 예측해주는 모델 # Phoneme Dictionary word -> phoneme가 기록된 정보 # G2P model 대규모 dictionary를 학습해서, 임의의 word에 대한 phoneme을 예측해주는 모델 (dictionary와의 차이점은, dictionary에 없는 word에 대한 phoneme 예측도 가능함) # Pitch: 음의 높낮이(진동수 Hz의 크고 작음과는 다르다) Pitch는 보다 추상적인 개념으로, 사람이 인..
2019.12.29
-
Python coding convention: PEP 8
# PEP 8 https://www.python.org/dev/peps/pep-0008/ ## 이름 짓기 - 클래스: ClassName - 예외 처리: WrongNameError - 상수: CONSTANT_VALUE - public 함수나 변수: lower_case - private 함수나 변수: _lower_case - 패키지나 모듈: lower_short - __이름: 은 특별한 python의 기능이 생긴다. 상속된 다른 class의 변수와 이름이 겹치지 않기위한 것으로, 다른이름으로 자동 변경된다. ## 이름 금지사항 - mixedCase - Capita..
2019.12.17
-
소리 합성
# 기본 개념 - Mono vs Stereo: 마이크 2개에서 녹음하고, 정확히 mono 2개의 정보를 저장하면 스테레오. - Sampling rate: data point의 x축 해상도. 즉 1초에 몇번이나 data point를 찍을지, - Bit depth: data point의 y축 해상도. 각 찍힌 점들이 구분될 수 있는 amplitude의 단계. 만약 2 bit rate이면 오직 4단계의 y축 해상도만 존재함. - Bit rate: Sampling rate * Bit depth, 위 두가지 measure를 동시에 고려하는것...
2019.12.09
-
소규모 프로젝트를 위한 GPU 자원, GCP
# 무료 GPU 서버 현재까지 알려진 가장 강력한 무료 GPU 서비스는 Google colab이 유일하다.그러나 colab은 하루에 12시간까지밖에 GPU를 쓸 수 없는 제약이 있고, 데이터를 지속적으로 서버에 올려둘 수가 없어서 google drive에 데이터를 올리고 이를 mount해서 사용해야하는데 이게 매우 불편하다. 또한 command line interface를 제공하지 않아서, jupyter의 cell에 !을 입력해서 해야하는데, 이 또한 매우 불편하다. 그리고..
2019.12.08
-
Google API로 GDrive랑 Gspread 사용하기
# 구글 접속 권한 얻기 먼저 구글 접속을 위한 credential생성이 필요하다. * oauth2client는 deprecated되고, 이제google_auth_oauthlib을 사용해야한다. https://google-auth.readthedocs.io/en/latest/oauth2client-deprecation.html#replacement 1. 구글 계정 생성 2. https://console.developers.google.com/apis/library? 에서 원하는 API선택 3. 사용자 인증 정보 생성 4. OAuth 동의에서 scope설정 5. json credential..
2019.11.22
-
라즈베리파이 4 Model B 시작하기
# 작동을 위해 필요한 최소 주변기기 1. USB-C 전원 연결을 위한 충전기(라즈베리파이 공식 충전기 사용) 2. 8기가 이상의 microSD카드(라즈베리파이 공식 카드 사용) 및 리더기 3. 케이스(있는게 매우 좋음) 4. microHDMI 케이블 # 방열판 부착하기 은색, 검은색 칩에 붙여주면 된다. 그러나 실질적인 효과는 -1~2도라고 한다.... https://www.youtube.com/watch?v=E-4GaAz7XNM # 기본 시작 방법: 아래 링크를 천천히 따라합시..
2019.11.08
-
AMD CPU 가상화 옵션키기
# AMD에서는 CPU가상화 옵션이 살짝 숨겨져있다. 1. 컴퓨터를 부팅하면서 del키를 연타하여 BIOS setup에 들어간다. 2. M.I.T 에서 Advanced Frequency Settings 3. Advanced CPU Core Settings 4. SVM Mode을 enable https://forum.level1techs.com/t/solved-no-virtualization-support-with-gigabyte-ga-ab350-gaming-3/114171
2019.11.08
