하려고 해요 모든 파일과 하위 디렉터리에서 컨테이너에 Azure 저장소 계정에서 다른 구독 및 비즈니스 요구 사항을 사용하는 것입 abfss url. abfss://@.dfs.core.windows.net//. 도 가져오는 불꽃을 config 가입 및 사용 아래 코드를 반환하는 파일의 목록입니다. 아직하지 못했습니다.
import os
from fnmatch import fnmatch
root_list="abfss://[email protected]/staging/"
files_list = []
pattern = "*.*"
print(pattern)
for path, subdirs, files in os.walk(root_list):
for name in files:
if fnmatch(name.upper(), pattern.upper()):
files_list.append(path+"/"+name)
이 인쇄"[]"빈 목록입니다.
당신이 사용할 수 있는 아래 코드를 이용한 경우.
from pyspark.sql.functions import col
from azure.storage.blob import BlockBlobService
from datetime import datetime
import os.path
account_name='accountname'
container_name ='container_name'
second_conatainer_name ='data'
account_key = 'storage-account-key'
prefix_val = second_conatainer_name+'/'
block_blob_service = BlockBlobService(account_name='%s'%(account_name), account_key='%s'%(account_key))
#block_blob_service.create_container(container_name)
generator = block_blob_service.list_blobs(container_name,prefix="%s"%(prefix_val))
report_time = datetime.now().strftime('%Y-%m-%d %H:%M:%S')
Target_file = "/target2/%s.csv" % (container_name)
print(Target_file)
Target_file = open("%s"%(Target_file), 'w')
for blob in generator:
length = BlockBlobService.get_blob_properties(block_blob_service,container_name,blob.name)
last_modified = BlockBlobService.get_blob_properties(block_blob_service,container_name,blob.name).properties.last_modified
file_size = BlockBlobService.get_blob_properties(block_blob_service,container_name,blob.name).properties.content_length
blob_type = BlockBlobService.get_blob_properties(block_blob_service,container_name,blob.name).properties.blob_type
creation_time = BlockBlobService.get_blob_properties(block_blob_service,container_name,blob.name).properties.blob_tier_change_time
if file_size != 0:
line = account_name+'|'+container_name+'|'+blob.name+'|'+ str(file_size) +'|'+str(last_modified)[:10]+'|'
print(line)
Target_file.write(line+'\n')