-
WSL2 설치하기
# WSL2의 특징 WSL2에서는 진정한 ubuntu와의 결합이 이루어졌다. 기존보다 훨씬 빠른 파일 시스템을 제공하고, 더 많은 커널함수를 구현하여 ubuntu native docker를 설치할 수가 있다. 그러나 아직 GPU를 지원하지 않고, 안정화가 덜되어있어서 설치 등에서 불편한 사항이 있다. 사용 인터페이스는 WSL 1과 완전히 동일하여 적응하는 데 문제는 없다. # 약 2주간 사용후기 WSL2자체에도 아직 몇가지 문제가 있었고, Windows In..
2019.11.08
-
PPT로 포스터 인쇄하기 / 그림파일 추출하기
# A0 사이즈의 고해상도 출력물을 PPT로 만들어 인쇄할 때 주의사항. 우선 [파일-옵션-고급-인쇄]에서 다음과 같이 체크박스를 할 것. https://m.blog.naver.com/PostView.nhn?blogId=radiobj5&logNo=220108065742&proxyReferer=https%3A%2F%2Fwww.google.co.kr%2F http://powerpoint.pe.kr/220079391846 https://support.office.com/en-us/article/PowerPoint-Options-Advanced-bdbee278-4984-4c7d-88ad-6f493bd18343?omkt=en-..
2017.11.14
-
Windows10 에서 화면 녹화하기
# 윈도우10 유저라면 Xbox 를이용해 유료 소프트웨어를 쓰지 않고 화면을 쉽게 녹화할 수 있다. Windows 로고 키+G: 게임 표시줄 열기 Windows 로고 키+Alt+G: 게임 플레이의 마지막 순간들 녹화(게임 표시줄 > 설정에서 녹화되는 시간을 변경할 수 있습니다.) Windows 로고 키+Alt+R: 녹화 시작/중지 Windows 로고 키+Alt+Print Screen: 게임 스크린샷 찍기 Windows 로고 키+Alt+T: 녹화 타이머 표시/숨기기 Windows 로고 키+Al..
2018.03.12
-
Thompson Sampling, Multi-armed bandit, Contextual bandit
# Multi-armed bandit(=K-armed bandit) 여기서 armed는 action이고, K는 action의 개수를 의미함. - Multi-armed bandit = One-state MDP one-state MDP란 것은 state가 1가지로, 항상 고정된 상태를 의미함. 즉 state가 변하지 않기 때문에 이는 곧 state를 무시한다는 말과 동일함. 한마디로 state가 없는 MDP임 # Contextual bandit(=Associative Search) Multi-armed bandit에서 한발 나아가, context를 given condition으..
2018.01.05
-
PID 제어
# PID Controller: 산업적으로 매우 넓게 사용되는 제어 시스템. 수학적이기보단 실용적인 목적으로 만들어져서 사용되는 공학의 영역이다. https://en.wikipedia.org/wiki/PID_controller#Proportional_term P, I, D 세가지 요소로 우리가 원하는 target value를 만들어내기 위해 최적의 제어 routine을 만들려는 것이다. 예를 들어 에어컨을 틀어서 실내온도를 30도에서 20도로 만들려면 어떻게 해야할까? 너무 과하게 가동하..
2018.11.13
-
라즈베리파이 4 Model B 시작하기
# 작동을 위해 필요한 최소 주변기기 1. USB-C 전원 연결을 위한 충전기(라즈베리파이 공식 충전기 사용) 2. 8기가 이상의 microSD카드(라즈베리파이 공식 카드 사용) 및 리더기 3. 케이스(있는게 매우 좋음) 4. microHDMI 케이블 # 방열판 부착하기 은색, 검은색 칩에 붙여주면 된다. 그러나 실질적인 효과는 -1~2도라고 한다.... https://www.youtube.com/watch?v=E-4GaAz7XNM # 기본 시작 방법: 아래 링크를 천천히 따라합시..
2019.11.08
-
딥러닝에서 쓸만한 다양한 Ensemble Method
# 앙상블 - Soft voting: 각 Softmax확률의 평균을 낸다음 argmax - Hard voting: 각 softmax에서 argmax한 다음 아래와 같은 방법으로 voting * Unanimous voting: 만장일치일 때만 decision함 * Majority voting: 다수결로 선택된 decision이 전체의 50%를 넘어야됨. * Plurality voting: 각각의 softmax에대해 argmax한다음 가장 다수의 의견을 따름.(50%를 넘지 않아도 됨) - Weighted voting: Soft 혹은 Hard voting에서 각..
2018.11.01
-
윈도우즈10 파일 탐색창 왼쪽 메뉴의 바로가기 수정하기
# Registry를 건드릴 수밖에 없다. 1) Window+R 키를 누르고 regedit을 입력해서 실행한다. 2) 레지스트리 편집기에서 HKEY_CLASSES_ROOT\CLSID을 선택한 다음, 해당 디렉토리에 대해 ctrl+F 를 눌러 찾기를 실행 후 System.IsPinnedToNameSpace 을 검색한다. 3) System.IsPinnedToNameSpace 값이 1이면 탐색창 메뉴가 보이고, 0이면 보이지 않는다. 4) 어떤 key 값이 어떤 프로그램을 가리키는지 알기 어려우므로, 일일이 1로..
2018.03.11
-
Matplotlib 에서 한글 font로 출력하기
1. 한글 폰트를 다운받고 압축을 푼다. https://zetawiki.com/wiki/%EB%A6%AC%EB%88%85%EC%8A%A4_%EB%82%98%EB%88%94%ED%8F%B0%ED%8A%B8_%EC%84%A4%EC%B9%98 2. 해당 경로로 matplotlib font를 설정해준다. https://financedata.github.io/posts/matplotlib-hangul-for-osx.html import matplotlib.font_manager as fm font_list = font_manager.findSystemFonts(fontpaths='/nfs/user/DonghyunKwak_NFS/DonghyunKwak/NanumFont'..
2018.11.27
-
Graph Neural Networks
0. Convolutional Neural Networks의 Graph 해석 Karate club graph, colors denote communities obtained via modularity-based clustering (Brandes et al., 2008) 위와 같은 그래프 형태의 데이터를 학습하기 위한 가장 좋은 네트워크 아키텍쳐는 무엇일까? 바로 Graph Convolutional Networks이다. GCN은 널리 알려진 Convolutional Neural Networks에 Adjacency Matrix를 도입하여 보다 데이터의 structure를 보다 일반화된..
2020.01.30
-
음성인식 이해하기
# 기본 개념 # Acoustic model 오디오 --> phoneme(혹은 grapheme 등)을 예측해주는 모델 # Phoneme Dictionary word -> phoneme가 기록된 정보 # G2P model 대규모 dictionary를 학습해서, 임의의 word에 대한 phoneme을 예측해주는 모델 (dictionary와의 차이점은, dictionary에 없는 word에 대한 phoneme 예측도 가능함) # Pitch: 음의 높낮이(진동수 Hz의 크고 작음과는 다르다) Pitch는 보다 추상적인 개념으로, 사람이 인..
2019.12.29
-
Belief Propagation
# Belief Propagation Acyclic PGM 모델을 학습하여 MLE나 MAP를 수행하기 위한 알고리즘이다. Cyclic PGM의 경우 수렴성이 보장되지 않고, 계속 확률분포가 진동하지만, Acyclic한 경우 수렴성이 이론적으로 증명되었다고 한다. 어떤 임의의 parametric PGM모델을 Acyclic하게 만들고, 이것의 파라미터를 MLE나 MAP에 대해 최적화 하기 위해 각 그래프에서의 Node가 자기와 연결된 주변 Node로 Belief Propagation을 시키고, 이..
2018.01.05
-
Git Large File Storage(LFS) 사용하기
Git의 용량제한 기본적으로 git은 여러개의 작은 파일들을 위한 버전 컨트롤 시스템(VCS)이다. 따라서 Github의 경우 50Mb부터 Warning이 표시되고, 100Mb부터는 Error가 발생한다. 그럼에도 불구하고 경우에 따라서 반드시 대용량 파일을 git repo에 포함시켜야하는 상황이 존재할 수 있다(예를 들면 학습된 모델파라미터 등). 이러한 경우에 사용할 수 있는 Git LFS(Large File Storage)의 사용법을 기록한다. 기본적인 사용방..
2020.03.30
-
CSV파일 인코딩(Encoding)
CSV파일 인코딩(Encoding) 문제 해결하기 1. 현재 가지고 있는 csv파일에서 encoding이 무엇인지 알아내기 import chardet import pandas as pd filename = "Data_kr_v2.0.0_no_label_all_train3.csv" with open(filename, 'rb') as f: result = chardet.detect(f.readline()) # or read() if the file is small. print(result['encoding']) 이와 같은 방식으로 해당 라인의 encoding이 무엇인지 알아낼 수 있다. 2. Excel에서 c..
2020.03.23
-
On demand와 On the fly
On demand: As soon as possible 유저의 요청을 하면, 그 즉시 시작해서 최대한 빨리 return 해주는 시스템 On the fly: While in progress 유저가 요청을 하면, 그 과정에서 멈추지 않고 무언가를 처리해서 return 해주는 시스템 https://ell.stackexchange.com/questions/140402/how-to-describe-the-difference-between-on-demand-and-on-the-fly ML에서의 예시 On demand 전처리 : 유저가 학습 버튼을 클릭하면, 그 즉시 전..
2020.03.19
-
Forward Looking Problem, Omniscient(Oracle)
Forward Looking Problem 기본적으로 time-series데이터를 이용한 future forecasting task에서는 절대적으로 미래의 정보가 예측 모델(함수)의 input으로 들어가는 것이 엄격히 금지된다. 특히 금융 모델의 경우, 미래 주가를 validation셋으로 사용하고, 여기서 구한 단순 1차 통계(mean값)를 사용해 과거의 데이터인 training셋을 normalize하기 위해서 사용하는 것 만으로도 엄청난 문제가 된다. 그 정도로 future 정보는 엄..
2020.03.16
-
ML Python 프로젝트의 test code만들기
Test coverage for ML proejct 머신러닝 프로젝트에 대해서도 공동 개발을 할 경우에는 pytest를 이용한 Test Coverage 측정이 필요하다. 그래서 test coverage를 대충 80%이상 통과해야 PR이 가능한 방식으로 협업을 해야한다. 그런데 일반 서비스 프로젝트와 달리 ML은 GPU로 학습이 잘 되어서 성능이 원래대로 나오는지 까지 확인해야 아마 버그 없음을 증명할 수 있을텐데, 이렇게까지 하기에는 너무 엔지니어링과 계산량이..
2020.03.16
-
Python 설치 및 삭제하기
python을 src부터 빌드하는 것은 절대로 해서는 안될 짓이다. 컴파일이 굉장히 복잡하고 엄청나게 오래걸리며, 버전 변경또한 어렵기 때문이다. 무조건 pyenv를 쓰거나, apt-get도 별로 좋지 않다.(버전관리가 안됨). 가장 좋은 방법은 python을 conda로 설치해서 관리하는 것이다. 왜냐하면 conda는 완전한 동작을 보장하는 dependency로 설치해주기 때문이다. Conda를 이용해 Python 설치하기 # 특정 버전의 Python 설치하기 1..
2020.02.27
-
Python subprocess와 Multi-process
System Command python에서 command line으로 명령을 내리는 방법은 os.system()을 이용하는 방법과, subprocess를 이용하는 방법 두가지가 있다. 그러나 여러가지 이유로 os.system()보다는 subprocess를 이용하는 것이 훨씬 더 많은 기능을 제공하고, 더 권장되는 방법이다. https://stackoverflow.com/questions/89228/calling-an-external-command-from-python Python에서 Subprocess 사용하기 subprocess 명령어는 윈도우에..
2020.02.20
-
Python에서 directory 관련 명령어
cp --parents 명령어 구현하기 def make_safe_dir(dir): if not os.path.exists(dir): os.makedirs(dir) def remove_safe_dir(dir): if os.path.isfile(dir) or os.path.exists(dir): shutil.rmtree(dir) def cp_parents(cwd, full_file_path, tmpdir): dir_diff = full_file_path.replace(cwd, "").split("/")[1:-1] file_name = full_file_path.split("/")[-1] target_dir = "" if len(dir_diff): target_dir = os.path.join(*..
2020.02.19
-
Python 코드 안에서 git과 pip 사용하기
Python 코드 안에서 pip install하기 import sys import subprocess def pip_install(package): subprocess.check_call(["sudo", sys.executable, "-m", "pip", "install", package]) def pip_install_requirements(requirements_dir): subprocess.check_call(["sudo", sys.executable, "-m", "pip", "install", "-r", requirements_dir.rstrip(".txt")+".txt"]) https://stackoverflow.com/questions/12332975/installing-pytho..
2020.02.19
-
Advanced Python Scheduler
Advanced Python Scheduler (APScheduler) Python으로 이뤄진 전처리나 ETL 을 주기적으로 실행해야하는 경우, dynamic task scheduler가 팔요하다. 이에 대한 선택지로는 Airflow나 dask, zenkins 등이 있으나, 매우 간단하게 single machine에서의 job scheduling으로는 좀 오버스팩이 아닐 수 없다. 이러한 경우에 APS를 사용하면 편리하다. 설치방법 pip install apscheduler API문서 https://apscheduler.readthedocs.io/en..
2020.02.18
-
Airflow
Airflow 튜토리얼 에어플로우는 dask와 유사한 프로젝트로, 분산 환경에서의 python 자동 실행 스케줄러이다. 그런데 dask에서 더 나아가서 자동으로 지정된 시간과 조건에 따라 스크립트를 순차적으로 실행시켜주는 젠킨스(?) 와 같은기능도 한다. Airflow에 새로운 패키지 설치하기 worker, scheduler, webserver 세군데에 모두 동일한 python 패키지를 설치해주어야만 에러가 나지 않는다. 실제 실행되는 환경은 worker이지만..
2020.02.11
-
Black: Uncompromising Python Coding Convetion
Black: Uncompromising Python Coding Convetion Python의 coding convention에 따라서 강제로 현재의 소스코드를 reformatting 시켜주는 오픈소스프로젝트이다. Window에서 Pycharm anaconda 환경에서 setup하기 pipi install black C:\ProgramData\Anaconda3\Scripts\black.exe 경로 복사 Pycharm에서 File-Setting-Tools-External Tools에서 추가버튼 누르고, 다음을 입력 Name: Black Description: Black is the uncompromis..
2020.02.04
-
Python 파일을 exe파일로 컴파일하기
Windows anaconda 환경에서 실행 방법 (아나콘다에서) pip install auto-py-to-exe auto-py-to-exe.exe 를 윈도우에서 실행시킨다.(혹은 anaconda prompt에서 실행해도됨) 아래와 같이 해당 python파일의 경로를 입력하고 conver를 누른다. https://pypi.org/project/auto-py-to-exe/
2020.02.04
-
Graph Neural Networks
0. Convolutional Neural Networks의 Graph 해석 Karate club graph, colors denote communities obtained via modularity-based clustering (Brandes et al., 2008) 위와 같은 그래프 형태의 데이터를 학습하기 위한 가장 좋은 네트워크 아키텍쳐는 무엇일까? 바로 Graph Convolutional Networks이다. GCN은 널리 알려진 Convolutional Neural Networks에 Adjacency Matrix를 도입하여 보다 데이터의 structure를 보다 일반화된..
2020.01.30
-
작은 따옴표, 아포트트로피, 그레이브 악센트 구분
아포스트로피: I'll 같이 말을 생략하거나, Google's와 같은 소유격에 사용되는 특수문자. 보통 작은따옴표를 사용한다. https://ko.wikipedia.org/wiki/%EC%95%84%ED%8F%AC%EC%8A%A4%ED%8A%B8%EB%A1%9C%ED%94%BC Quote: 따옴표. 마찬가지로 작은따옴표나 큰따옴표를 사용한다. He said, "I can't swim." Grave Accent: 특정한 발음기호를 가진 알파벳을 나타낼 때 사용한다. ESC아래에 있는 ` 키로 입력한다. https://en.wikipe..
2020.01.30
-
다양한 Convolution Layer
Convolution 기본적으로 convolution layer는 fully connected layer에서 spatial(이미지의 가로세로) 영역을 잘게 쪼개고, 그만큼 weight sharing을 시킨 아키텍쳐이다. 그러나 feature dimension(=channel, depth)에 대해서는 여전히 fully connected를 유지하고 있다. 즉 모든 input channel을 섞어서 각각의 output channel로 연결하는 과정이 fully connected라는 의미이다. 수식으로 말하자면 input channel이 256 dim이고..
2020.01.30
-
Bayesian Inference
Machine Learning 에서 궁극적으로 추구하는 목표는 P(X'|X) 를 알아내는 것이다. (X' : 예측하고자 하는 데이터 , X : 기존에 관측된 사건의 데이터) 즉, 기존에 관측된 사건의 데이터 X를 이용해서 앞으로 일어날사건 X'에 대해 예측하는 것이다. 만일, X 없이 그냥 P(X')를 계산한다는 것은 기존에 일어난 사건 데이터 전혀 고려하지 않고, 오직 수학적 모델만으로 확류를 계산하겠다는 의미이다. 이는 machine learning이라..
2020.01.29
-
Advanced Supervised Learning
Advanced Supervised Learning Active Learning Unlabeled data에 대해 MC dropout을 inference를해서 confidence를 측정해서 낮은것부터 labeling한다. 똑같은 방법으로 loss prediction을 해서 loss가 큰 것부터 labeling할 수도 있다. Online Service Data + Active Learning 감독학습 모델의 실서비스를 하면서 계속해서 들어오는 input x에 대해, 모든 데이터를 전부 labeling할 수는 없다. 따라서 이 중에서 어떤 데이터를..
2020.01.28
-
Librosa, Numba 에러 해결
RuntimeError: cannot cache function '__jaccard': no locator available for file '/opt/conda/lib/python3.6/site-packages/librosa/util/matching.py' 원인 0.7이 넘어가는 librosa에서 numba cache를 사용하는데, numba cache dir에 대한 권한이 없어서 생기는 문제이다, https://github.com/numba/numba/issues/4032 https://github.com/ska-sa/montblanc/issues/253 해결책: 다음 셋 중 하나로 해결가능 1. numba_cache d..
2020.01.23
-
가장 효율적인 ML 프로젝트 개발 환경 / Sublime과 Pycharm
절대 규칙 1. 무조건 editor가 아니라 IDE를 사용해야한다. pycharm을 쓸 때랑 sublimetext를 사용할 때의 생산성 차이는 압도적이다.(특히 refactor) 1. 무조건 local에서 바로 실행할 수 있어야한다. 즉시 응답하는 빠른 run이 가능해야만 손쉽게 디버깅을 할 수 있다. local run은 단순히 pytorch cpu에서 실행해도 전혀 상관이 없다. 서버에서 실행해야하는 경우도 가능하면 toy환경을 local로 가져오는 것이 좋고, 그마저도..
2020.01.17
-
Z-shell ( zsh ) 사용하기
zsh ( z-shell ) zsh은 bash shell에서는 제공하지 않는 사소하지만 정말 편리하고 우아한 기능들을 제공하는 shell이다. zsh 설치과정 1. sudo apt-get install zsh 2. oh-my-zsh 설치 sh -c "$(wget -O- https://raw.githubusercontent.com/robbyrussell/oh-my-zsh/master/tools/install.sh)" 3. zsh-syntax-highlighting git clone echo "source ${(q-)PWD}/zsh-..
2020.01.17
-
Numpy Optimization and Parallelization
1. 문제상황 [100000, 1000] 크기의 matrix를 10만차원 축으로 cumsum을 했더니 약 2.3초가 걸려서 이를 더 빠르게 하고싶음. 기본 실험: 해당 matrix에 대해서 np.sum과 np.cumsum 을 수행해봄. 3번과 4번 cell에서는 cumsum을 한번에 모든 dim에대해 한것과 하나씩 바꿔가면서 한 실험 결과임 cumsum의 경우 메모리에 writing하는 연산이 많아 sum보다 많이 느림. 그런데 3번과 4번에서 속도차이가 나는 것이 이상해서, inplac..
2020.01.17
-
The Bitter Lesson 번역
The Introduction of Reinforcement Learning의 저자로 유명한 Richard Sutton의 2019년 5월 13일에 올라온 AI에 대한 글을 번역해보았다. (역자: 곽동현, 윤상웅) The Bitter Lesson 씁쓸한 교훈 70년간의 AI연구로부터 깨달을 수 있는 가장 큰 교훈은 바로 계산을 이용하는 일반적인 방법론이야말로 궁극적으로, 큰 격차를 두고도 가장 효율적이라는 것이다. 이에 대한 궁극적인 이유는 바로 무어의 법칙, 더 일반화해서는 유..
2020.01.17
-
Pytorch 개발 팁
자주 발생하는 에러 해결 AttributeError: cannot assign module before Module.__init__() call 이 에러는 nn.Module을 상속받은 class가 __init__에서 먼저 super의 __init__을 호출하지 않아서 발생하는 문제이다. class BaseNetwork(nn.Module): def __init__(self): super().__init__() 위와 같이 호출하면 된다. https://discuss.pytorch.org/t/attributeerror-cannot-assign-module-before-module---init---call/1446 Con..
2020.01.16
-
블로그 글쓰기 규칙
Step 0. 기본 설정 - 항상 문단 간격 없음으로 작성한다. - Markdown 보다는 tistory 기본 에디터를 적극 활용한다. - 그이외의 경우 Bold는 사용 가능하나, 글자크기는 따로 수정하지 않는다. Step 1. 제목 및 소제목을 적고, ctrl + 1,2,3 을 이용하여 꾸민다. #은 기본적으로 사용하지 않는다. Step 2. 대표 이미지 설정 구글 이미지 검색 혹은 https://pixabay.com/ko/ 에서 사용 권한이 적절해보이는 dropbox/이미지에 다운..
2020.01.09
-
Python Concurrency Programming
Concurrency Programming Python에서 asyncio를 이용한 concurrency에 대해 알아본다. 아래의 문서를 참고하여 내용을 작성하였다. Async IO in Python: A Complete Walkthrough - Real Python Parallelism은 concurrency의 하위 개념이다. 즉 동시성을 구현하는 방법 중 하나가 병렬화라고 얘기할 수 있을 것이다. 또는 threading이 concurrency에 보다 가까운 개념이다. Concurrency의 핵심은 single cpu에서 동작하는 것 처럼..
2020.01.09
-
Python 프로젝트 패키지화 및 다른 패키지 가져오기
개발한 python 프로젝트를 배포하는 방법들 1. pip install로 설치할 수 있게 한다. 2. submodule로 사용할 수 있게 한다. 3. git clone으로 사용할 수 있게 한다. 1. pip로 install하기 먼저 pip로 install하게 하기 위해서는 setup.py와 requirements.txt를 작성해야한다. 그 다음으로 해야할 일은 python 에서 import가 가능한 프로젝트를 패키지 구조로 만드는 것이다. 즉 import <패키지명>의 파이썬 코드로 사용할 수 있도..
2020.01.09
-
음성인식 이해하기
# 기본 개념 # Acoustic model 오디오 --> phoneme(혹은 grapheme 등)을 예측해주는 모델 # Phoneme Dictionary word -> phoneme가 기록된 정보 # G2P model 대규모 dictionary를 학습해서, 임의의 word에 대한 phoneme을 예측해주는 모델 (dictionary와의 차이점은, dictionary에 없는 word에 대한 phoneme 예측도 가능함) # Pitch: 음의 높낮이(진동수 Hz의 크고 작음과는 다르다) Pitch는 보다 추상적인 개념으로, 사람이 인..
2019.12.29
-
Python Coding Convention: PEP 8
PEP 8 https://www.python.org/dev/peps/pep-0008/ 이름 짓기 - 클래스: ClassName - 예외 처리: WrongNameError - 상수: CONSTANT_VALUE - public 함수나 변수: lower_case - private 함수나 변수: _lower_case - 패키지나 모듈: lower_short - __이름: 은 특별한 python의 기능이 생긴다. 상속된 다른 class의 변수와 이름이 겹치지 않기위한 것으로, 다른이름으로 자동 변경된다. 이름 금지사항 - mixedCase - mixedCASE - Ca..
2019.12.17
-
소리 합성
# 기본 개념 - Mono vs Stereo: 마이크 2개에서 녹음하고, 정확히 mono 2개의 정보를 저장하면 스테레오. - Sampling rate: data point의 x축 해상도. 즉 1초에 몇번이나 data point를 찍을지, - Bit depth: data point의 y축 해상도. 각 찍힌 점들이 구분될 수 있는 amplitude의 단계. 만약 2 bit rate이면 오직 4단계의 y축 해상도만 존재함. - Bit rate: Sampling rate * Bit depth, 위 두가지 measure를 동시에 고려하는것...
2019.12.09
