전체보기257 Jaccard Similarity 두 집합의 교집합을 합집합으로 나눈 값 https://medium.com/h-document/%EC%9E%90%EC%B9%B4%EB%93%9C-%EA%B1%B0%EB%A6%AC-jaccard-distance-e5b246603775 2024. 7. 9. Precision의 의미 - bf16: 표현할 수 있는 값의 범위가 훨씬 넓은 대신, 숫자의 정밀한 표현이 어려움 loss underflow에 대해서 상당히 robust함 - fp16: 표현할 수 있는 값의 범위가 아주 아주 좁은 넓은 대신, 숫자를 정밀하게 표현할 수 있음 loss underflow가 일어나지 않는 경우에 훨씬 더 정확한 학습/추론이 가능함. fp16이든 bf16이든 모두 다 0에 가까운 숫자일 수록 정밀하게 표현할 수 있지만, 0에서 멀어질수록 점점 더 표현의 정밀도가 낮아질 수 있음. 그런데 bf16은 0에 가까운 숫자를 표현할 때의 정밀도는 더 떨어지지만, 더 넓은 범위를 표현할 수 있어서 loss explosion이나 NaN 문제에 있어서 robust함 2024. 2. 2. T-Test에 대한 이해 scikit learn에는 두가지 종류의 t-test가 구현되어 있다. 하나는 ttest_ind이고, 다른하나는 ttest_rel이다. 전자는 두 종류의 sample들이 완전히 독립적으로 추출되었을 때를 가정하고, 후자의 경우 그 반대를 의미한다. T-test의 구체적인 계산 과정은 아래와 같다. https://diseny.tistory.com/entry/t-test-%EB%B0%91%EB%B0%94%EB%8B%A5%EB%B6%80%ED%84%B0-%EC%9D%B4%ED%95%B4%ED%95%98%EA%B8%B0 즉, 각 분포에서 뽑은 sample들의 차이들의 평균을 구해서 빼주고, 그리고 분모에 해당하는 모집단의 분산은 직접 구할수가 없기 때문에, 각 sample들의 분산을 구한다음 합쳐서 사용하는 방.. 2024. 2. 2. 확률 통계에서 분포에 대해 말하는 모드(Mode)란 https://dawoum.ddns.net/wiki/Mode_(statistics) 2023. 8. 21. Python Traceback 에러 로그에 표시되는 line이 부정확할 때 https://stackoverflow.com/questions/33175257/how-can-the-line-numbers-in-my-stack-traces-be-wrong How can the line numbers in my stack traces be wrong? I have a python (version 2.7.6) program that had been running for a day or two as of last night when it reported some errors. However, the stack traces were blatantly wrong. Pretend my code is like... stackoverflow.com 컴파일 시점의 python 소스코드와, 실제로 실.. 2023. 7. 28. Kernel Density Estimation https://darkpgmr.tistory.com/147 KDE는 히스토그램을 훨씬 고도화한 방법으로 이해할 수 있다. 각각의 x이 가우시안분포(커널)를 갖는다고 가정한다. 모든 점에 대해 가우시안분포를 부여한다음, 모든 확률을 누적해서 거대한 하나의 분포를 그린다. 즉, 히스토그램의 bin 대신 가우시안분포를 쓴다고보면 된다. Kernel Density Estimation(커널밀도추정)에 대한 이해 얼마전 한 친구가 KDE라는 용어를 사용하기에 KDE가 뭐냐고 물어보니 Kernel Density Estimation이라 한다. 순간, Kernel Density Estimation이 뭐지? 하는 의구심이 생겨서 그 친구에게 물어보니 자기도 잘 모른 darkpgmr.tistory.com 2023. 7. 26. 윈도우 파일 중복 제거 무료 프로그램 https://zkim0115.tistory.com/1867 무료 중복 파일 삭제 프로그램 'Duplicate File Finder' PC내 중복 파일을 검색하고 필요없는 중복 파일을 삭제하는 무료 프로그램인 'Duplicate File Finder'입니다. 'Duplicate File Finder' 프로그램은 한국어 지원이 안되지만 단순히 중복 파일만을 검색하고 삭 zkim0115.tistory.com 2023. 5. 4. Equalizer APO 1.3 https://rdsong.com/3008 노트북 소리 키우기 - 컴퓨터 소리 증폭 프로그램 Equalizer APO 1.3 노트북 소리 키우는 프로그램 입니다. 노트북 소리 작아서 크게 올리는 프로그램 있는데 사용법도 간단합니다 노트북 컴퓨터 소리 증폭 하는 Equalizer APO 1.3 프로그램 사용 하면 됩니다.기본은 이 rdsong.com 2023. 4. 24. CCA(Canonical Correlation Analysis) https://en.wikipedia.org/wiki/Canonical_correlation 두개의 vector를 각각 Linear Projection한다음 최대의 유사해지도록 가지도록 학습한 상태에서 corrleation을 구한것 SVCCA : SVD와 CCA를 결합 https://arxiv.org/abs/1706.05806 2023. 3. 21. Windows 10 단축키 https://blogs.windows.com/windows-insider/2014/10/03/keyboard-shortcuts-in-the-windows-10-technical-preview/ Keyboard Shortcuts in the Windows 10 Technical Preview Brad Sams asked me on Twitter yesterday if we had a list of new keyboard shortcuts in the Windows 10 Technical Preview. Here is what I was able to pull together for the keyboard junkies out there: Snapping window: WIN + LEFT or RIGHT .. 2022. 7. 22. CTC Beam Search CTC 알고리즘 GT alignment가 없는 상황에서, 가장 그럴듯한 alignment를 학습하는 것 Forward Backward를 반복하면서, likelihood를 계산하고 maximize하는데, 이걸 계속해서 무한히 반복함으로써, 가장 그럴듯한 path들에 대한 확률을 높이는 것임 Full search하는 것에 대해서 계산량을 줄이기 위해서 dynamic programming을 한것 https://seunghyunseo.github.io/speech/2021/10/24/CTC/ CTC는 RNN이나 Transformer Decoder를 이용한 seq2seq이랑 전혀 다른 방식으로 생각을 해야한다. 모든 token에 대한 vocab probability를 BERT의 softmax(token featu.. 2022. 7. 18. Python Module 실행 python -m ~~ https://jins-sw.tistory.com/22 2022. 6. 27. PPL 원리와 구현 PPL 원리와 구현 PPL이란 PPL의 정의는 기본적으로 target token seq에 대한 모델의 negative log-likelihood (NLL)의 평균을 exponential한 것이다. Perplexity of fixed-length models 계산 방법 PPL은 target data와 model prediction 사이의 CrossEntropy Loss를 exponentiation하여 매우 쉽게 계산할 할 수 있다. 이는 자명한 것이, model prediction과 target data (일종의 label로 생각)와의 CE를 계산하게 되면, target token의 index에 대한 model predction의 확률만으로 NLL이 계산되기 때문이다. $$ CrossEntropy(Mode.. 2022. 5. 16. Contrastive Learning Contrastive Learning Contrasitive Learning이 Masked Language Model하고 다른 핵심은, 감독학습처럼 명확하게 정답을 만들기 힘든 상황에서, ambiguous한 보기 중 가장 가까운 정답을 찾도록 하는 방식이라는 것이다. https://analyticsindiamag.com/contrastive-learning-self-supervised-ml/#:~:text=Contrastive%20learning%20is%20an%20approach,between%20similar%20and%20dissimilar%20images. Contrastive Learning에 쓰이는 Loss는 보통의 retreiver model 학습하는것처럼 CrossEntropy loss를.. 2022. 2. 28. Hinge Loss https://en.wikipedia.org/wiki/Hinge_loss Hinge Loss는 확률에 대한 정의가 들어있지 않으므로, 아주 쉽게 생각하면 일종의 regression 방식으로 학습된다고 생각할 수 있다. 즉 pos label에 대해서는 예측된 y값이 1로 수렴하도록 리그레션을 하는 것이다. 좀 더 정확히는 정답 class에 대해서는 1-y가 최소가 되도록 학습을 해서, y가 커지도록 학습이 되는건데 다만 y값이 무한히 커지면 안되니까 max(0, 1-y)를 취해서 y가 1보다 커지면 0으로 처리해버려서 1에서 멈추도록 한다. 즉 확률이란 가정없이 y의 범위가 1이하로 되도록 제한하는 것이다. 반면에 오답 class에 대해서는 1+y가 최소가 되어야하므로, y가 작아지도록 학습하는데, 이 역.. 2022. 1. 6. 절전모드 해제 시 강제 재부팅이 되는 문제 해결 https://narie.tistory.com/328 컴퓨터 절전모드 재부팅되는 문제해결 컴퓨터 절전모드 해제(다시 켜짐) 문제 해결 어느 날 갑자기 컴퓨터 절전모드에서 다시 켜지는 경우가 생깁니다. 절전모드는 시간을 설정하면 그 시간에 컴퓨터가 자동으로 절전모드로 꺼집니 narie.tistory.com https://comeinsidebox.com/%EC%9C%88%EB%8F%84%EC%9A%B0-%EC%BB%B4%ED%93%A8%ED%84%B0-%EC%9E%90%EB%8F%99-%EC%9E%AC%EC%8B%9C%EC%9E%91-%EC%9E%90%EB%8F%99-%EC%9C%BC%EB%A1%9C-%EC%BC%9C%EC%A7%90-%EC%A1%B0%EC%B9%98-%ED%95%B4%EA%B2%B0/ 윈도.. 2021. 10. 11. How to fix ERR_UNSAFE_PORT error on Chrome when browsing to unsafe ports https://superuser.com/questions/188006/how-to-fix-err-unsafe-port-error-on-chrome-when-browsing-to-unsafe-ports How to fix ERR_UNSAFE_PORT error on Chrome when browsing to unsafe ports I'm getting this error when connecting to a web server on port 6666 (http://myserver:6666/): Error 312 (net::ERR_UNSAFE_PORT): Unknown error. Is there an easy way to resolve this without rebuilding superuser.com 2021. 9. 28. Windows10에서 안드로이드 앱 실행하기 일반 버전의 BlueStacks을 설치하면, Hyper-V를 disable해야만 설치가 가능하다. 그러나 Windows Subsystem Linux (WSL)을 사용하는 중이라면, Hyper-V를 필수로 사용해야하기 때문에 불편하다. BlueStacks for Hyper-V 이 버전은 블루스택에서 공식적으로 제공하는 Hyper-V(베타)연동 버전이다. https://support.bluestacks.com/hc/en-us/articles/360049701852-Release-Notes-for-BlueStacks-Hyper-V-BETA- Release Notes for BlueStacks Hyper-V (BETA) BlueStacks version 4.280.0.4206 Download this versi.. 2021. 9. 12. Ubuntu 20.04 고정 IP 할당 및 NetPlan으로 DNS설정하기 NetPlan 아마도 Ubuntu 18.04부터는 기존에 /etc/network/interfaces로 ip를 설정하던 방식에서, netplan과 yaml파일로 ip주소를 관리하는 방식으로 변경이 되었다. 따라서 기존에 방식 말고, 아래의 새로운 방식으로 설정해주어야 한다. 설정 방법 ip link : mac address 확인 cd /etc/netplan sudo cp 01-network-manager-all.yaml 01-network-manager-all.yaml.backup sudo vim 01-network-manager-all.yaml 아래와 같은 형식으로 주소를 입력한다. nameservers는 DNS 서버주소를 의미한다. 여기서 주의할 점은 띄어쓰기나, 들여쓰기 간격(탭이 아니라 띄어쓰기 2.. 2021. 7. 1. Real Time C Programming 자료링크https://www.youtube.com/watch?v=N3XkQqhE6sY 2021. 1. 28. 이전 1 2 3 4 ··· 13 다음