본문 바로가기

전체보기248

Windows 10 단축키 https://blogs.windows.com/windows-insider/2014/10/03/keyboard-shortcuts-in-the-windows-10-technical-preview/ Keyboard Shortcuts in the Windows 10 Technical Preview Brad Sams asked me on Twitter yesterday if we had a list of new keyboard shortcuts in the Windows 10 Technical Preview. Here is what I was able to pull together for the keyboard junkies out there: Snapping window: WIN + LEFT or RIGHT .. 2022. 7. 22.
CTC Beam Search CTC 알고리즘 GT alignment가 없는 상황에서, 가장 그럴듯한 alignment를 학습하는 것 Forward Backward를 반복하면서, likelihood를 계산하고 maximize하는데, 이걸 계속해서 무한히 반복함으로써, 가장 그럴듯한 path들에 대한 확률을 높이는 것임 Full search하는 것에 대해서 계산량을 줄이기 위해서 dynamic programming을 한것 https://seunghyunseo.github.io/speech/2021/10/24/CTC/ CTC는 RNN이나 Transformer Decoder를 이용한 seq2seq이랑 전혀 다른 방식으로 생각을 해야한다. 모든 token에 대한 vocab probability를 BERT의 softmax(token featu.. 2022. 7. 18.
Python Module 실행 python -m ~~ https://jins-sw.tistory.com/22 2022. 6. 27.
PPL 원리와 구현 PPL 원리와 구현 PPL이란 PPL의 정의는 기본적으로 target token seq에 대한 모델의 negative log-likelihood (NLL)의 평균을 exponential한 것이다. Perplexity of fixed-length models 계산 방법 PPL은 target data와 model prediction 사이의 CrossEntropy Loss를 exponentiation하여 매우 쉽게 계산할 할 수 있다. 이는 자명한 것이, model prediction과 target data (일종의 label로 생각)와의 CE를 계산하게 되면, target token의 index에 대한 model predction의 확률만으로 NLL이 계산되기 때문이다. $$ CrossEntropy(Mode.. 2022. 5. 16.
Contrastive Learning Contrastive Learning Contrasitive Learning이 Masked Language Model하고 다른 핵심은, 감독학습처럼 명확하게 정답을 만들기 힘든 상황에서, ambiguous한 보기 중 가장 가까운 정답을 찾도록 하는 방식이라는 것이다. https://analyticsindiamag.com/contrastive-learning-self-supervised-ml/#:~:text=Contrastive%20learning%20is%20an%20approach,between%20similar%20and%20dissimilar%20images. Contrastive Learning에 쓰이는 Loss는 보통의 retreiver model 학습하는것처럼 CrossEntropy loss를.. 2022. 2. 28.
Hinge Loss https://en.wikipedia.org/wiki/Hinge_loss Hinge Loss는 확률에 대한 정의가 들어있지 않으므로, 아주 쉽게 생각하면 일종의 regression 방식으로 학습된다고 생각할 수 있다. 즉 pos label에 대해서는 예측된 y값이 1로 수렴하도록 리그레션을 하는 것이다. 좀 더 정확히는 정답 class에 대해서는 1-y가 최소가 되도록 학습을 해서, y가 커지도록 학습이 되는건데 다만 y값이 무한히 커지면 안되니까 max(0, 1-y)를 취해서 y가 1보다 커지면 0으로 처리해버려서 1에서 멈추도록 한다. 즉 확률이란 가정없이 y의 범위가 1이하로 되도록 제한하는 것이다. 반면에 오답 class에 대해서는 1+y가 최소가 되어야하므로, y가 작아지도록 학습하는데, 이 역.. 2022. 1. 6.
절전모드 해제 시 강제 재부팅이 되는 문제 해결 https://narie.tistory.com/328 컴퓨터 절전모드 재부팅되는 문제해결 컴퓨터 절전모드 해제(다시 켜짐) 문제 해결 어느 날 갑자기 컴퓨터 절전모드에서 다시 켜지는 경우가 생깁니다. 절전모드는 시간을 설정하면 그 시간에 컴퓨터가 자동으로 절전모드로 꺼집니 narie.tistory.com https://comeinsidebox.com/%EC%9C%88%EB%8F%84%EC%9A%B0-%EC%BB%B4%ED%93%A8%ED%84%B0-%EC%9E%90%EB%8F%99-%EC%9E%AC%EC%8B%9C%EC%9E%91-%EC%9E%90%EB%8F%99-%EC%9C%BC%EB%A1%9C-%EC%BC%9C%EC%A7%90-%EC%A1%B0%EC%B9%98-%ED%95%B4%EA%B2%B0/ 윈도.. 2021. 10. 11.
How to fix ERR_UNSAFE_PORT error on Chrome when browsing to unsafe ports https://superuser.com/questions/188006/how-to-fix-err-unsafe-port-error-on-chrome-when-browsing-to-unsafe-ports How to fix ERR_UNSAFE_PORT error on Chrome when browsing to unsafe ports I'm getting this error when connecting to a web server on port 6666 (http://myserver:6666/): Error 312 (net::ERR_UNSAFE_PORT): Unknown error. Is there an easy way to resolve this without rebuilding superuser.com 2021. 9. 28.
Windows10에서 안드로이드 앱 실행하기 일반 버전의 BlueStacks을 설치하면, Hyper-V를 disable해야만 설치가 가능하다. 그러나 Windows Subsystem Linux (WSL)을 사용하는 중이라면, Hyper-V를 필수로 사용해야하기 때문에 불편하다. BlueStacks for Hyper-V 이 버전은 블루스택에서 공식적으로 제공하는 Hyper-V(베타)연동 버전이다. https://support.bluestacks.com/hc/en-us/articles/360049701852-Release-Notes-for-BlueStacks-Hyper-V-BETA- Release Notes for BlueStacks Hyper-V (BETA) BlueStacks version 4.280.0.4206 Download this versi.. 2021. 9. 12.
Ubuntu 20.04 고정 IP 할당 및 NetPlan으로 DNS설정하기 NetPlan 아마도 Ubuntu 18.04부터는 기존에 /etc/network/interfaces로 ip를 설정하던 방식에서, netplan과 yaml파일로 ip주소를 관리하는 방식으로 변경이 되었다. 따라서 기존에 방식 말고, 아래의 새로운 방식으로 설정해주어야 한다. 설정 방법 ip link : mac address 확인 cd /etc/netplan sudo cp 01-network-manager-all.yaml 01-network-manager-all.yaml.backup sudo vim 01-network-manager-all.yaml 아래와 같은 형식으로 주소를 입력한다. nameservers는 DNS 서버주소를 의미한다. 여기서 주의할 점은 띄어쓰기나, 들여쓰기 간격(탭이 아니라 띄어쓰기 2.. 2021. 7. 1.
Real Time C Programming 자료링크https://www.youtube.com/watch?v=N3XkQqhE6sY 2021. 1. 28.
소리에 대한 사람의 인지적인 특성 Mel scalemel scale의 핵심은 사람이 멜로디를 인지하는 방식대로, hz에 대해 log scale을 취하겠다는 것이다. 데시벨소리의 크기인 amplitude를 log scale로 처리해주는 것. 이는 사람이 자극의 크기(소리의 크기)를 log scale로 인지하는 [베버-페히너의 법칙](https://ko.wikipedia.org/wiki/%EB%B2%A0%EB%B2%84-%ED%8E%98%ED%9E%88%EB%84%88%EC%9D%98_%EB%B2%95%EC%B9%99)에서 기초한다. https://m.blog.naver.com/PostView.nhn?blogId=msnayana&logNo=80100281096&proxyReferer=https:%2F%2Fwww.google.com%2F ht.. 2021. 1. 7.
Decibel과 SPL(Sound Pressure Level) Decibel과 Sound Pressure Level(SPL)우선 벨은 단순히 P2과 P1의 비율에 log_10을 취한 것으로 두 값의 상대적인 비율을 나타내는 값이다. 보통 분자인 P2는 output signal을 의미하고, P1은 input signal을 의미한다.그다음 데시벨은 벨에서 1/10을 한 값이다. 보통의 경우 그냥 Bel은 너무나 큰 값이라서 쓰기가 매우 불편하다. 3 Bel 만해도 1000배를 의미하기 때문에 실제로 사용하려면 소수점이 발생하기 쉽다. 그래서 여기에 1/10을 곱해서 30 dB가 1000배를 의미하도록 만든 것이 바로 데시벨이다. 또한 데시벨은 기본적으로 log_10 을 사용하므로, 데시벨 수치가 +10 씩 증가할 때마다 실제 값은 기준치의 10배씩 증가하게 된다. (물.. 2020. 12. 22.
Pytorch를 TensorRT로 변환해서 사용하기 TensorRT 설치과정TensoRT(trt)는 GPU inference 상황에서 최적의 optimization을 제공한다. 경우에 따라서는 거의 10배 이상 inference속도가 향상된다. 이 TensorRT를 사용하려면 조금 번거로운 설치과정을 해야한다. 그러나 설치만 잘 하면 변환 과정자체는 매우 쉽다. 1. CUDA 설치하기cuda 버전 10.2 ~ 11.1 까지 지원된다. 여기서는 CUDA 11.0 버전을 사용한다. 2. PyCUDA 설치하기pip install pycuda==2020.1 만약, CUDA를 새로 설치하거나 업데이트하면 pycuda역시 다시 재설치 or 업데이트가 필요하고 한다. 3. Pytorch 설치하기pytorch는 1.5.0부터 테스트되었으나, 그전 버전에서도 동작할 수 .. 2020. 11. 25.
Python Profiling Line Profilerhttps://lothiraldan.github.io/2018-02-18-python-line-profiler-without-magic/python script를 한줄 단위로 profiling해줌 아래의 code snippets으로 쉽게 decorator로 구현 가능https://gist.github.com/kylegibson/6583590 cProfileimport cProfile, pstats, io from pstats import SortKey pr = cProfile.Profile() pr.enable() self.train_run() pr.disable() s = io.StringIO() sortby = SortKey.CUMULATIVE ps = pstats.Stats(.. 2020. 10. 21.
딥러닝을 위한 장비 한성컴퓨터 TFG257XG http://prod.danawa.com/info/?pcode=11258712 1.9키로인데 RTX2070이 달려있어서 딥러닝 학습도 가능하고, 발열제어가 뛰어나서 학습중에도 75도가 넘지 않는선으로 유지된다.(노트북 뒷판을 들어주는 거치대 사용시) 현재시점(2020년 9월)에서 유일하게 RTX2070 데스크탑버전이 쌩으로 달려있는 노트북이다. V100 한대당 10000달러 정도 하는 것으로 보인다. RTX3080 학습 속도는 V100과 거의 비슷한데, 가격은 700달러이다. 단, GPU RAM이 10Gb으로 매우 작다. 2020. 9. 21.
AWS Jupyter setting You need to DNS server registration with 8.8.8.8꼭 필요하진 않지만, 기본적으로 pip install등을 할 때 DNS를 못찾는 에러가 자주 발생하므로 구글 DNS서버를 등록해주자. sudo vim /etc/resolv.conf 를 하고, 아래 line을 추가해준다.nameserver 8.8.8.8 public jupyter notebook serverssl key를 만들고, 그것을 입력해서 jupyter 서버를 띄워야한다. https://docs.aws.amazon.com/dlami/latest/devguide/setup-jupyter-config.htmlhttps://docs.aws.amazon.com/dlami/latest/devguide/setup-jupyte.. 2020. 9. 6.
Python Callback Callback Method Callback Method에 변수 전달 방법callback method에는 오직 global variable만이 전달될 수 있다. 만약 이것이 문제가 될 것 같다면 global variable만 가지고 있는 global class를 만들어서 이를 전달하는 방법이 좋다.https://stackoverflow.com/questions/51959978/how-to-pass-a-value-to-callback-for-anonymization-without-global-variables Callback 함수에 전역 변수를 전달하는 가장 효과적인 방법Singleton을 사용한다. 싱글톤은 전역변수이기 때문에 쉽게 callback에 전달 가능하고, 디자인도 깔끔해진다. https://n.. 2020. 8. 13.
Python Subprocess Subprocess VS Multi-processSubprocess는 python으로 다른 프로그램을 실행하기 위한 기능이다. 즉 단순히 system command를 실행하기 위함이라고 이해할 수 있다. 따라서 subprocess로 실행된 프로그램과는 오직 stdin/stdout만으로 통신 할 수 밖에 없다.반대로 multiprocess는 python 내에서 task를 쪼개 여러 cpu에서 실행하며, 좀 더 communication이 용이하다. Subprocess로 System Command 실행하기python에서 command line으로 명령을 내리는 방법은 os.system()을 이용하는 방법과, subprocess를 이용하는 방법 두가지가 있다. 그러나 여러가지 이유로 os.system()보다는 .. 2020. 8. 13.
Smooth Approximation LogSumExpLogSumExp는 max()의 smooth approximation이다.그 이유는 exp를 취하게 되면, 숫자가 큰 값의 영향력이 지수적으로 커지게 되는데, 이것들을 덧셈을 하게되면 숫자가 작은 값들은 영향력이 매우 줄어들게된다.그다음 log를 취해서 다시 exp의 역과정을 하게 되면, 사실상 영향력이 큰 숫자만 의미를 갖게 되므로 max함수와 유사한 기능을 하게 된다. https://en.wikipedia.org/wiki/LogSumExp Softmaxsoftmax는 argmax()의 smooth approximation이다.argmax의 결과물이 one-hot encoding으로 표현되는 상황에서 사실상 softmax의 결과물은 argmax와 같은 솔루션을 갖는다. 특히 temper.. 2020. 8. 6.