리눅스 파일 또는 폴더 분할 ( 대량 이동 )
4만장의 이미지를 keras train 하는데 자꾸만 Memory Error 가 나길래 Out Of Memory 도 아니고 try , except 로 에러도 출력해보고 하며 몇시간을 해결책을 찾아 해메이던 끝에... 해결 방법은... 그저 훈련 파일을 분할하기 였다.( 서버 메모리는 128기가, 4만장 이미지 이미지 처리후 최종 메모리는 약 60기가 - 충분히 메모리 여유가있었음 ) 4만장 이미지가 칵 클래스별로 총 3000개 폴더에 나뉘어 저장이 되어있는데 1000개의 폴더씩 나누어서 트레이닝을 하기로 했다. 폴더의 이름이 규칙적이지 않아서 단순히 mv 로 일일히 나누기에는 한계가 있었다. ls 명령어에는 limit 기능이 따로 없는것 같다. 따라서 ls 한 결과에 head 명령어를 통해 limit 을..
Develope/Server
2018. 9. 21. 18:10
공지사항
최근에 올라온 글
최근에 달린 댓글
- Total
- Today
- Yesterday
링크
TAG
- diy
- php
- Python
- 미세먼지
- ios
- 우분투
- 리눅스
- 머신러닝
- 인공지능
- OpenCV
- 공기청정기
- 서버
- IOT
- 아두이노
- Android
- 딥러닝
- swift
- 캠핑
- 엘라스틱서치
- 스위프트
- 아이폰
- 사물인터넷
- 파이썬
- Deeplearning
- 강좌
- object-C
- ubuntu
- mysql
- xcode
- 라즈베리파이
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | ||||||
| 2 | 3 | 4 | 5 | 6 | 7 | 8 |
| 9 | 10 | 11 | 12 | 13 | 14 | 15 |
| 16 | 17 | 18 | 19 | 20 | 21 | 22 |
| 23 | 24 | 25 | 26 | 27 | 28 | 29 |
| 30 | 31 |
글 보관함