Google colab 메모리 된 후 전체 이미지 데이터 집합은 업로드

0

질문

작업 중에서 분류한 문제는 이미지 데이터 집합,데 11 클래스입니다. 그것은 총을 포함 11,000 개 이미지,각각하는 클래스 1000 이미지,저장되는 폴더-wise(11 폴더). 의 데이터베이스 크기가 대략 40MB. 후 업로드에서 데이터는 google 드라이브로 collab(실제로는 약간의 시간이 소요)그리고 사전 프로세스하기 전에 그것을 먹이는 모델의 메모리 collab 가 95%전시됩니다. 시작할 때 교육 collab 충돌 및 런타임을 다시 설정됩니다. 이러한 일이 일어나지 않을 사용할 때 Keras 데이터 흐름에서 디렉토리 기능입니다. 난 못 해결책을 찾을 수 있습니다. 스크린샷

1

최고의 응답

0

이런 일이기 때문에 호출하여 적합과 함께 훈련 및 유효성 검사 데이터를 colab 을 로드하는 모든 이미지를 ram 에서 당신이 당신의 쓰기 발전기 쉬운 솔루션으로 대부분의 이미 작성된 코드를 사용하여 tfrecords,keras 의 나머지 부분을 처리합니다.

https://www.tensorflow.org/tutorials/load_data/tfrecord

야 할 이미지를 저장하기 위해 디스크에 있고 그들을 훈련하는 동안,모든에서 시작합니다.

2021-11-20 16:21:30

당신이 사용하 tfrecords 사용할 수 있습니다 모든 발전기를 좋아하지만 그들은 오른쪽에서 박쥐
BestDogeStackoverflow

잘 나를 사용하여 Keras 튜너가 여기에,그래서 나는 확실하지 않으면 발전기와 함께 사용할 수 있는 튜너-검색하거나지
SDS

다른 언어로

이 페이지는 다른 언어로되어 있습니다

Русский
..................................................................................................................
Italiano
..................................................................................................................
Polski
..................................................................................................................
Română
..................................................................................................................
हिन्दी
..................................................................................................................
Français
..................................................................................................................
Türk
..................................................................................................................
Česk
..................................................................................................................
Português
..................................................................................................................
ไทย
..................................................................................................................
中文
..................................................................................................................
Español
..................................................................................................................
Slovenský
..................................................................................................................