Dev Stack

텐서플로우를 설치하는데 공식 문서에는 18.04 를 기준으로 안내를 하고 있다. Ubuntu20.04 를 기준으로 설치하는데 몇번을 삽질하고 쉽게 설치하는 방법을 찾아 정리 해본다. 아래의 명령어를 통해 GPU 드라이버와, 기초 라이브러리를 설치한다. # Add NVIDIA package repositories wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/cuda-ubuntu2004.pin sudo mv cuda-ubuntu2004.pin /etc/apt/preferences.d/cuda-repository-pin-600 sudo apt-key adv --fetch-keys https://developer...

이전글 : 2021.08.04 - [Develope/Python] - Detectron - 응용편1 #image labeling Detectron - 응용편1 #image labeling detectron 샘플 예제를 응용하기 위해 직접 모델을 만들어 보기로 한다. 안경을 구분해 내는 모델을 만들어 보도록 한다. 훈련용 이미지에 labeling 을 해줘야 하는데, 여러가지 툴 중 Polygon 형태의 lab brtech.tistory.com 이전 응용편에 이어 validation 과정을 진행해볼 차례이다. 기본 코드는 샘플과 동일하며 다른점은 dataset 을 불러오는것과 validation 용 이미지를 불러오는 방식이 다를뿐 샘플과 완전히 동일하다. 샘플에서는 validation 용 이미지 파일 리스트..

* 이 글은 공부하는 단계에서 샘플을 이해하고 개인적인 해석이 들어가 있으므로 잘못된 내용이 있을수 있습니다. 이번에는 Custom Dataset(balloon) 을 이용한 모델 훈련 예제를 실행해본다. 먼저 ballon_dataset 을 다운받아서 압축을 풀어준다. wget https://github.com/matterport/Mask_RCNN/releases/download/v2.1/balloon_dataset.zip unzip ballon_dataset.zip 폴더 안에는 train 전용 이미지들과 validation 용 이미지들이 각각 폴더에 있고 풍선에 레이블링이 된 json파일이 있다. 아래 코드는 detectron zoo 모델에 커스텀 데이터 세트(balloon) 를 등록하고 확인하는 코드이..

https://colab.research.google.com/drive/16jcaJoc6bCFAQ96jDe2HwtXj7BMD_-m5#scrollTo=4Qg7zSVOulkb Detectron2 Tutorial.ipynb Colaboratory notebook colab.research.google.com 구글 코랩에 올라와있는 샘플 코드를 기반으로 로컬에서 실행해본다. # check pytorch installation: import torch, torchvision print(torch.__version__, torch.cuda.is_available()) assert torch.__version__.startswith("1.9") # please manually install torch 1.9 if C..

4만장의 이미지를 keras train 하는데 자꾸만 Memory Error 가 나길래 Out Of Memory 도 아니고 try , except 로 에러도 출력해보고 하며 몇시간을 해결책을 찾아 해메이던 끝에... 해결 방법은... 그저 훈련 파일을 분할하기 였다.( 서버 메모리는 128기가, 4만장 이미지 이미지 처리후 최종 메모리는 약 60기가 - 충분히 메모리 여유가있었음 ) 4만장 이미지가 칵 클래스별로 총 3000개 폴더에 나뉘어 저장이 되어있는데 1000개의 폴더씩 나누어서 트레이닝을 하기로 했다. 폴더의 이름이 규칙적이지 않아서 단순히 mv 로 일일히 나누기에는 한계가 있었다. ls 명령어에는 limit 기능이 따로 없는것 같다. 따라서 ls 한 결과에 head 명령어를 통해 limit 을..

오래전 라즈베리파이에 우분투를를 설치하고, 카메라 모듈을 달아서 같은부서 직원들의 프로필을 만들어 하루 평균 화장실 이용횟수와 시간을 구하는 재미있는 발상을 해본적이 있다. 이때는 지금보다 더 쪼렙일때라.. python 도 해본적없고 opencv 도 처음 접해보는거라 결국 실패로 돌아갔지만... 당시에 opencv 를 해보려 http://www.pyimagesearch.com/2016/10/24/ubuntu-16-04-how-to-install-opencv/ 이곳 설치방법을 보고 열심히 따라 해보았던 기억이 난다.. 3.1 버전 소스설치라 상당히 많은 삽질을 했었다. 꽤 오랜시간이 지난 지금 다시 opencv 를 시작해보려 한다. 이번에는 소스설치보다는 패키지 관리자로 웬만한 모든것을 설치하기로 하고, ..

우분투에 파이썬2.7 설치하기 맥에 파이썬 2.7 설치하기 머신러닝을 위한 작업환경 세팅하기. 이번에는 윈도우에 파이썬2.7을 설치해보자. https://www.python.org/ 파이썬 공식 홈페이지에 가서 파이썬만 설치하고, 리눅스나 맥에서 해왔던것처럼 필요한 라이브러리를 그때그때 설치 할 수 있겠지만 그렇게 하다가 2일을 삽질했다. ( 온갖 에러들과 함께 ) 그래서 윈도우에서는 아나콘다(Anaconda) 라는 파이썬을 기반으로 하는 데이터 과학 플랫폼을 설치를 했다. 720개의 패키지가 파이썬과 함께 한방에 설치된다. 또한, 환경변수까지 자동으로 잡아주기 때문에 별다른 설정도 필요가없다. 파이썬 버전도 3.6 혹은 2.7 중 골라서 설치도 가능하다. https://www.continuum.io/d..