Dev Stack

4만장의 이미지를 keras train 하는데 자꾸만 Memory Error 가 나길래 Out Of Memory 도 아니고 try , except 로 에러도 출력해보고 하며 몇시간을 해결책을 찾아 해메이던 끝에... 해결 방법은... 그저 훈련 파일을 분할하기 였다.( 서버 메모리는 128기가, 4만장 이미지 이미지 처리후 최종 메모리는 약 60기가 - 충분히 메모리 여유가있었음 ) 4만장 이미지가 칵 클래스별로 총 3000개 폴더에 나뉘어 저장이 되어있는데 1000개의 폴더씩 나누어서 트레이닝을 하기로 했다. 폴더의 이름이 규칙적이지 않아서 단순히 mv 로 일일히 나누기에는 한계가 있었다. ls 명령어에는 limit 기능이 따로 없는것 같다. 따라서 ls 한 결과에 head 명령어를 통해 limit 을..

앞번 PART2 까지의 과정에서 우리는 데이터셋을 여러가지 방법으로 살펴보았다. 이제는 이 데이터셋을 가지고 특정 알고리즘을 적용하여 예측하기까지 최적의 알고리즘을 찾고 검증하는 단계를 진행해보고자 한다. 본 글은 http://machinelearningmastery.com/machine-learning-in-python-step-by-step/을 참고로 하였으며 필자는 전문적인 지식이 없고 공부하는 과정으로 일부 잘못된점이 있을 수 있으니 참고해 주세요. 먼저 유효성 검사에 쓰일 데이터 세트를 만들어야 한다. 기존에 로드된 iris 데이터 세트를 두개로 분할한다. 80% 는 모델을 학습하는데 사용할것이고, 20%는 유효성 검사에 사용할 것이다. PART 2 마지막에 진행했던 코드들을 주석처리하고 다음 ..

집에서는 PC가 주 개발 환경이라 PC 에서 해왔지만 회사에서는 맥이 주가 되서, 그리고 실무에서 바로 조금씩 사용해보려 맥에서도 설치해보기로 한다. 우선 리눅스의 패키지 매니저(Homebrew)가 설치 되어있어야 한다. /usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)" 그리고 파이썬 2.7 버전을 설치한다.brew install python -- 옵션.. 기존 homebrew 가 설치되어있고, python 구버전이 설치되어있었다면 업그레이드가 진행되는데, 업그레이드가 되는 경우라면 아래 setup-tools 도 업그레이드를 해주자. pip install --upgrade pip..

이번장에서는 PART 1. Hello World ? 장에 이어 데이터셋을 이용하여 데이터 시각화를 해보자. 그전에 먼저 다시한번 필자의 구동 환경에 대해 짚어보자. VULTR 클라우드 호스팅에 우분투 17.04 서버를 얹혀 PC 윈도우상에서 putty 로 접속해서 코드를 짜서 실행해보고있다. 이번장에 데이터 시각화를 하기위해서는 우분투 데스크탑이 필요하다. 서버라서 그런건 없고 우분투는 서툴고.. 간편한 맥으로 넘어가서 python2.7 만 설치하고 다시 처음부터 할까 하다가 시작을 이렇게 했는데 계속 해야지! 하며 우분투 서버에 데스크탑을 설치하기로 했다. 자세한 내용은 우분투 17.04 서버에 VNC로 접속하기 편을 참고. ----------------------------------- PART 1에..

본 글은 http://machinelearningmastery.com/machine-learning-in-python-step-by-step/ 의 글을 토대로 번역아닌 번역과 함께 필자가 따라해보며 쓴 글임. 보다 자세한 설명이나 원문을 보고싶으신분은 위의 링크를 통해 보시길 추천합니다. 파이썬이 준비되었으면 iris flowers 라는 데이터셋을 가지고 여러가지를 해보자. *참고 : Iris flower data set WIKI ( 이 데이터셋은 기계학습 및 통계에서 마치 프로그램 언어의 "hello world" 와 같이 쓰인다고 함 ) 먼저 모든 모듈들을 import 해서 이상이없는지 체크를 해보자. load_dataset.py 라는 파일을 만들어 다음 코드를 넣는다.# Load libraries i..

머신러닝 무작정 따라하기에 앞서 서버에 파이썬을 설치부터 한다. lsb_release -a 명령어를 통해 우분투의 버전을 확인한다. 파이썬2.7 버전을 설치할 서버의 버전. 먼저 파이썬과 라이브러리를 설치하기위한 툴들을 설치한다. 필자는 루트에서 먼저 기본 설치를 진행했다.sudo apt-get install python2.7 sudo apt-get install python-pip python-dev python-setuptools 이후 루트 계정이 아닌 일반 사용자 계정으로 로그인 한 뒤, .bashrc 에 다음 경로를 추가해준다.vi ~/.bashrc export PATH="$PATH:/home/{user_id}/.local/bin" {user_id} 는 사용자 계정명을 입력한 후, 로그아웃 한뒤 ..