반복 파일 폴더에서는 프로세스에서 밀라노

0

질문

나는 몇 가지의 폴더에 파일을 다른 국가를 위해. 아래와 같이

Casedata_GBR_202110_timestamp.csv

Casedata_ARG_202110_timestamp.csv

지금 나는 프로세스에 이러한 파일을 프로세스들에 의해 국가를 현명하고 복사본을 해당 폴더에 있습니다. 나의 대상에는 폴더 구조처럼 될 것이다

2021-->11-->GBR

2021-->11-->ARG

에서 불꽃 scala/스칼라 데 도움이 나는 코드를 작성하는 프로세스 파일에 의해 국가와 해당 국가로 이동 폴더에 있습니다.

apache-spark scala
2021-11-24 06:42:17
1

최고의 응답

0

그것은 소리처럼 당신 partitionBy 에서 정의 DataFrameWriter. 에서 scaladoc:

def partitionBy(colNames: String*): DataFrameWriter[T]

파티션을 출력하여 지정된 열에 파일 시스템입니다. 지정된 경우,출력이 배치 파일 시스템에 유사한 하이브의 분할 계획 이다. 예를 들어,때 우리는 파티션 데이터 집합에 의해 다음 달고,디렉토리 레이아웃을 다음과 같을 것이다:

year=2016/month=01/
year=2016/month=02/

분할은 하나의 가장 널리 사용되는 기술 최적화를 실제 데이터 레이아웃이 있습니다. 을 제공한 개략적인 지수 건너뛰기 위한 불필요한 데이터를 읽는 경우 쿼리에는 조건에서 분할된 열이 있습니다. 기 위해서는 분할하기 위한 작업을 잘 수가의 고유한 값에서 각각의 열 일반적으로 보다 적은 수만.

이를 위해 적용 가능한 모든 파일-기반 데이터 소스(예를 들면 마루,JSON)을 시작으로 불꽃 2.1.0.

2021-11-24 08:25:52

요 다음과 같 2016/01 및 foreach 도움을 반복 하여 하나의 파일
Krishna Murthy

가 프로세스 중 하나에 의해 하나의 파일로 데이터 프레임과 복사본으로 blob
Krishna Murthy

다른 언어로

이 페이지는 다른 언어로되어 있습니다

Русский
..................................................................................................................
Italiano
..................................................................................................................
Polski
..................................................................................................................
Română
..................................................................................................................
हिन्दी
..................................................................................................................
Français
..................................................................................................................
Türk
..................................................................................................................
Česk
..................................................................................................................
Português
..................................................................................................................
ไทย
..................................................................................................................
中文
..................................................................................................................
Español
..................................................................................................................
Slovenský
..................................................................................................................