New Sight

본문 바로가기

Git LFS (Large File Storage) 사용하기 Git의 용량제한과 LFS 기본적으로 git은 여러개의 작은 소스코드 파일들을 위한 버전 컨트롤 시스템(VCS)이다. 따라서 Github의 경우 50Mb부터 Warning이 표시되고, 100Mb부터는 push시 Error가 발생한다. 그럼에도 불구하고 경우에 따라서 반드시 대용량 파일을 git repo에 포함시켜야하는 상황이 존재할 수 있다(예를 들면 학습된 모델파라미터를 올려야할 때). 이러한 경우에 사용할 수 있는 해결책인 Git LFS(Large File St.. 댓글 2 2020.03.30
Conda로 Python 버전 별 설치, 관리, 삭제하기 Ubuntu에 다른버전의 Python 설치하기 필자처럼 다른 버전의 python을 설치하려고 src부터 빌드하는 것은 절대로 해서는 안될 짓이다. 컴파일 과정이 굉장히 복잡하고 또 엄청나게 오래걸리며, 버전 변경 또한 어렵기 때문이다. 그런데 pyenv를 쓰거나, apt-get도 버전 관리가 안되기 때문에 별로 좋지 않은 방법이다. 결국 가장 좋은 방법은 python을 conda로 설치해서 관리하는 것이다. 왜냐하면 conda는 완전한 동작을 보장.. 댓글 0 2020.02.27
Graph Neural Networks 0. Convolutional Neural Networks의 Graph 해석 Karate club graph, colors denote communities obtained via modularity-based clustering (Brandes et al., 2008) 위와 같은 그래프 형태의 데이터를 학습하기 위한 가장 좋은 네트워크 아키텍쳐는 무엇일까? 바로 Graph Convolutional Networks이다. GCN은 널리 알려진 Convolutional Neural Networks에 Adjacency Matrix를 도입하여 보다 데이터의 structure를 보다 일반화.. 댓글 6 2020.01.30
Python Multiprocessing 가이드 Multiprocessing 가이드 공식 레퍼런스 문서를 참고하여 작성하였다. 다음이 요소들이 multiprocessing의 가장 기본이고, 우선 이 네가지만 잘 알면된다. Process Pool Queue Pipe Process 단일 프로세스를 생성하는 경우, Process()를 사용한다. from multiprocessing import Process, Queue queue = Queue() p = Process(target = my_function) #, args=(queue, 1)) p.start() # p.join() # this blocks until the process ter.. 댓글 2 2020.02.20
라즈베리파이 OS 포멧/초기화/업데이트 라즈베리파이 OS 초기화하기 라즈베리파이에서 특별한 초기화 기능을 제공하지는 않는다. 검색해보면 shift키를 누른 상태로 재부팅을 하라고 하는데, 암만해도 안된다. 결국 OS초기화를 위한 방법은 간단하다. 라즈베리파이에서 Micro SD 카드를 뽑고, 컴퓨터에 연결한다음 SD카드를 포멧시키고 다시 운영체제 설치부터 시작하는 것이다. https://newsight.tistory.com/287 https://kocoafab.cc/tutorial/view/299 Python 3.7... 댓글 0 2020.06.21
Python 코드 안에서 git과 pip 사용하기 Python 코드 안에서 pip install하기 import sys import subprocess def pip_install(package): subprocess.check_call(["sudo", sys.executable, "-m", "pip", "install", package]) def pip_install_requirements(requirements_dir): subprocess.check_call(["sudo", sys.executable, "-m", "pip", "install", "-r", requirements_dir.rstrip(".txt")+".txt"]) https://stackoverflow.com/questions/12332975/installing-pyth.. 댓글 0 2020.02.19
Python 파일을 exe파일로 컴파일하기 Windows anaconda 환경에서 실행 방법 (아나콘다 cmd 상에서) pip install auto-py-to-exe auto-py-to-exe.exe 를 윈도우에서 실행시킨다.(혹은 anaconda prompt에서 실행해도됨) 아래와 같이 해당 python파일의 경로를 입력하고 conver를 누른다. https://pypi.org/project/auto-py-to-exe/ 댓글 0 2020.02.04
Pytorch를 TensorRT로 변환해서 사용하기 TensorRT 설치과정 TensoRT(trt)는 GPU inference 상황에서 최적의 optimization을 제공한다. 경우에 따라서는 거의 10배 이상 inference속도가 향상된다. 이 TensorRT를 사용하려면 조금 번거로운 설치과정을 해야한다. 그러나 설치만 잘 하면 변환 과정자체는 매우 쉽다. 1. CUDA 설치하기 cuda 버전 10.2 ~ 11.1 까지 지원된다. 여기서는 CUDA 11.0 버전을 사용한다. 2. PyCUDA 설치하기 pip install pycuda==2020.1 만약, CU.. 댓글 0 2020.11.25
Windows 10에서 PDF에 펜으로 필기하기 PDF에 디지타이저를 이용해서 필기하기 Inkodo 무료이다. 펜압을 인지하는 펜을 사용하려거든, marker로 변경해주어야한다. 사용해보니 매우 불편하다.... Drawboard PDF 무료버전으로도 충분히 기본적인 필기는 가능 프로버젼은 한달에 7 달러로 유료인 대신 가장 기능이 우수함 드로우보드 상세팁: https://www.clien.net/service/board/lecture/13297353 참고자료 https://gigglehd.com/gg/soft/4403534 댓글 0 2020.06.08
CSV파일 인코딩(Encoding) CSV파일 인코딩(Encoding) 문제 해결하기 1. 현재 가지고 있는 csv파일에서 encoding이 무엇인지 알아내기 import chardet import pandas as pd filename = "Data_kr_v2.0.0_no_label_all_train3.csv" with open(filename, 'rb') as f: result = chardet.detect(f.readline()) # or read() if the file is small. print(result['encoding']) 이와 같은 방식으로 해당 라인의 encoding이 무엇인지 알아낼 수 있다. 2. Excel에서 c.. 댓글 0 2020.03.23
Python Audio Processing Realtime Fast Audio Library: sounddevice 소리를 녹음하거나 재생하려면 sounddevice라는 라이브러리를 사용하는 것이 가장 빠르다. Sounddevice는 PortAudio라는 library의 python wrapper에 해당하며 Audio stream을 numpy로도 다룰 수 있게 해준다. 단, Windows 10의 WSL 1을 사용하는 경우 사운드에 대한 device접근이 불가능해서 동작이 안된다. 이러한 경우 WSL 2(?)가 해당 기능을 제공하거나, 혹은 anaconda를 사용.. 댓글 0 2020.05.02
Ubuntu 처음 시작하기, 여러가지 설정 Apt와 apt-get의 차이 apt는 좀더 편한 엔드유저용, apt-get은 로우레벨용 https://askubuntu.com/questions/829864/is-apt-get-deprecated Apt remove/auto-remove/purge의 차이 -> man apt를 입력하면 나온다고한다. remove는 반면 해당 패키지가 차지하는 최소한의 항목만 삭제하기 때문에 dependency가 그대로 남아있게 된다. purge는 remove 행동과 더불어 해당 패키지의 configuration file까지 삭제한다. (여전히 depende.. 댓글 0 2020.06.24

티스토리툴바