Dev Stack

4만장의 이미지를 keras train 하는데 자꾸만 Memory Error 가 나길래 Out Of Memory 도 아니고 try , except 로 에러도 출력해보고 하며 몇시간을 해결책을 찾아 해메이던 끝에... 해결 방법은... 그저 훈련 파일을 분할하기 였다.( 서버 메모리는 128기가, 4만장 이미지 이미지 처리후 최종 메모리는 약 60기가 - 충분히 메모리 여유가있었음 ) 4만장 이미지가 칵 클래스별로 총 3000개 폴더에 나뉘어 저장이 되어있는데 1000개의 폴더씩 나누어서 트레이닝을 하기로 했다. 폴더의 이름이 규칙적이지 않아서 단순히 mv 로 일일히 나누기에는 한계가 있었다. ls 명령어에는 limit 기능이 따로 없는것 같다. 따라서 ls 한 결과에 head 명령어를 통해 limit 을..

우분투에 apidoc(http://apidocjs.com/) 을 사용중이다. API 문서를 다루기에 주소가 노출될 경우 보안에 위협이 될수도 있다. 사내에서는 사내 아이피만 접근 가능하도록 할수 있겠지만, 외부 개발자와 함께 하는 경우에는 부득이하게 오픈을 해야한다. Basic Auth를 이용해 간단한 인증 절차를 통한 보안처리를 해보기로 했다. 우분투에 아파치가 설치가 되어있다는 가정하에 진행을 한다. 필자는 /home 폴더 아래에 각 계정별 폴더가 있다. api와 같은 특정 폴더만 basic auth 를 이용할 예정이므로 /etc/apache2/sites-enables/000-default.conf위의 사이트 설정 파일에 다음과 같이 설정이 되어 있어야 한다. Options FollowSymLinks..

라즈베리 파이에 우분투를 설치해두고 오랜만에 들어가려 했더니 ssh 가 접속이 안된다. 서비스 상태를 보니 로드가 되어있지 않다고 나온다.. 서비스가 자동으로 시작되도록 설정이 안되어있는건가 service ssh status 명령어로 보았을때 위와같이 ssh.service; disabled; 가 되어있다면 시작 서비스로 등록이 되어있지 않은것이다. 시작 서비스로 등록을 해준다.sudo update-rc.d ssh enable 등록하고 나면 다음과같이 enable로 바뀌어있는것을 확인할수 있다. update-rc.d 명령어에 대한 자세한 메뉴얼은 다음 링크 참고https://wiki.debianusers.or.kr/index.php?title=Update-rc.d

우분투 서버 설치 이후, 사용자 계정을 추가하고 사용자 계정으로 로그인 했을 경우 아래 사진과 같이 $ 하나만 표시되고 자동완성도 안되고, vi 에디터도 온통 회색으로 보이고 이상한점을 발견했다. 알고보니 cshell 이 기본이다. bash 명령어로 bash 쉘로 변경할수 있지만 로그인시마다 매번 입력해줘야한다. 기본 쉘을 바꾸는 두가지 방법을 소개한다. 1. chsh ( change login shell ) sudo chsh 또는 sudo chsh -s /bin/bash {사용자명} 으로 가능하다. 쉘을 종료하고 다시 접속 해 보면 id@domain:~$ 과 같이 bash 쉘이 기본으로 설정된것을 확인할수 있다. 2. /etc/passwd 파일을 수정하는 방법 여러 사용자를 대신해서 바꿔주는 방법이다...

다른 사용자들이 서버에서 무슨 명령어를 사용했는지 알고 싶다면?#사용자별 명령어 로그 vi /home/{사용자 계정명}/.bash_history #루트 계정의 명령어 로그 vi /root/.bash_history단 bash shell 일때 기준이다.

Ubuntu 17.04 설치하기 3편. 기본 설정하기1편 USB 설치준비 바로가기 : http://brtech.tistory.com/64 2편 USB 설치하기 바로가기 : http://brtech.tistory.com/65 OS 가 잘 설치되었고 로그인까지 잘 되었다면~ 이제 외부 접속이 가능하도록 네트워크 설정, 로케일 설정, 필요한 소프트웨어 설치등을 진행한다. 필자는 sudo 명령어 없이 편히 진행하기 위해 su root 을 통해 root 계정으로 접속한 다음 다음과정들을 진행하였다. 우선, 공기가 안좋은 서버실을 어서 벋어나고싶어 네트워크 설정을 우선 진행하였다.vi /etc/network/interfaces공인 아이피인 경우 아래와 같이 수정해준다. { 아이피 부분 변경 필요 } # This f..

Ubuntu 17.04 USB로 서버에 설치하기 2편. 1편 보기 : http://brtech.tistory.com/64 USB에 우분투 설치 이미지를 준비했다면, 이제 서버에 꽂은 다음 설치를 진행하면 된다. bios 설정에서 USB를 인식하고 설치할수 있도록 부팅 순서를 바꿔준다. USB가 인식되었다면 언어 선택 화면이 나오는데, 친숙한 한국어를 선택해주었다. 다음 설치 메인화면이다. 우분투 서버 설치 를 눌러서 설치를 진행한다. 한국어를 선택하고 설치를 진행하려 하면 다음과 같이 번역이 완전하지 않다고 알려주는데, 기본적인 설치 과정으로는 크게 번역에 문제는 없다. 예를 눌러 계속 진행한다. 위치선택화면. 당연히 대한민국~ 키보드 설정 화면. 시중에 파는 일반적인 키보드를 사용하므로 필요없다. 아니..

Ubuntu17.04 버전 USB로 설치하기. Step1. Ubuntu17.04 버전 다운받기 > https://www.ubuntu.com/download/server Step2. 부팅 가능한 USB로 만들기 > Rufus 라는 프로그램을 이용하여 부팅가능한 USB 드라이버로 만들어준다. 프로그램 portable 버전 다운로드 : https://rufus.akeo.ie/downloads/rufus-2.15p.exe ( 링크가 끊겼을 경우 https://rufus.akeo.ie/ ) 프로그램을 실행한 화면이다. 기본적인 설정을 딱히 바꿔줄것은 없다. ( 필자는 불륨 레이블만 수정함 ) 빨간색 네모안의 아이콘을 클릭하여 다운받은 iso 파일을 선택한 다음 시작을 누른다. 그러면 아래와같이 Syslinux 를..

디비 서버 하드웨어별, my.cnf 세팅별 성능을 측정해보기위해 VPS 서버에 오랜만에 들어와 보니 mysql root 패스워드가 기억이 나질 않는다.. 초기화 디비 서버를 세팅해놓고 Mysql root 패스워드를 분실했다면 초기화를 하고 다시 재설정을 하면된다. 그 방법은 다음 순서에 따라 하면 된다. 1. Mysql 프로세스를 종료시킨다. /etc/init.d/mysql stop or kill -9 {pid} 2. mysqld_safe 에 인증생략 옵션을 넣어서 실행한다. mysqld_safe --skip-grant-tables & 3. 데몬이 잘 실행되었다면, mysql 콘솔로 접속한다. mysql -uroot ( 패스워드 없이 바로 mysql 콘솔이 잘 열린다면 성공이다 ) 4. 원하는 패스워드로..

기존 centos를 사용하다가 ubuntu로 서버환경을 바꾸면서 설치방식도 바뀌었을까싶어서 다시 정리하며 간략하게 방법위주로 풀어나가는 글임. 설치한 서버 : Ubuntu 16.04 1. 엔진 파일을 다운받는다git clone https://github.com/tesseract-ocr/tesseract.git 2. 필요한 라이브러리들을 설치한다. sudo apt-get install libjpeg8-dev sudo apt-get install libtiff5-dev sudo apt-get install libpng12-dev sudo apt-get install libjbig-dev sudo apt-get install libgif-dev sudo apt-get install gnuplot sudo ap..