설치 Mlflow 백엔드(SQLite)및 이슈(Azure Blob 스토리지)저장

0

질문

나는 설정 Mlflow 을 다음과 같은 구성 요소:

  • 백엔드 저장소에(지역):를 사용하여 SQLite 데이터베이스에 로컬로 저장 Mlflow 체(run_id,params,메트릭...)
  • 물 저장소(원):를 사용하여 blob 장 내 Azure 데이터 레이크 스토리지 Gen2 출력을 저장하는 파일(버전의 데이터세트 직렬화 모델,이미지,...)에 관련된 내 모델
  • 추적 server:를 사용하여 이와 같이 명령

z

mlflow server --backend-store-uri sqlite:///C:\sqlite\db\mlruns.db --default-artifact-root wasbs://container-name@storage_account_name.blob.core.windows.net/mlartifacts -h 0.0.0.0 -p 8000

는 mlruns.db 는 데이터베이스 내에서 만든 SQLite(내부 db 폴더)고 mlartifacts 는 폴더가 만들어 내부에 blob 컨테이너을 받는 모든 출력 파일이 있습니다.

내가 이 명령을 실행한 다음 나오고 mlflow 실행(또는 kedro 으로 실행하는 사용 Kedro)하지만 거의 아무 일도 일어나지 않습니다. 데이터베이스로 채워지 12 테이블이지만 모두 비어 있는 동안 아무 일도 일어나 내부에 데이터 호수도 있습니다.

나가 원하는 무엇을 봐야 하는 시나리오 4 에서 문서입니다.

에 대한 유물 저장소를 찾을 수 없습니다 자세한 내용을 참조하십시오. I tried to look at Mlflow 의 문서 여기 있지만 이것은 매우 도움이 됩니다(난 아직도 있습니다.) 그들이 말하는:

MLflow 예 Azure 저장소를 액세스 자격 증명서 AZURE_STORAGE_CONNECTION_STRING,AZURE_STORAGE_ACCESS_KEY 환경변수는 당신의 자격 증명되도록 구성된 DefaultAzureCredential(). 클래스를 선택할 수 있습니다.

그러나 그 때에도 추가하여 환경을 변수를,아무것도 될 것으로 보인에 저장된 데이터 호수도 있습니다. 내가 만든 두 개의 환경 변수(Windows10):

  • AZURE_STORAGE_ACCESS_KEY=wasbs://container-name@storage_account_name.blob.core.windows.net/mlartifacts

  • AZURE_STORAGE_CONNECTION_STRING=DefaultEndpointsProtocol=https;계=storagesample;AccountKey=. 나는 그것을 가지고 다음으로 이 경로에 Azure 포털 저장소 계정 액세스/키/연결 문자열은(했다 하나의 키 2).

그들은 또한 상태:

또한,실행해야 합니다 pip 설치 azure-storage-blob 별도로(모두에서 당신의 클라이언트와 서버)에 액세스 Azure Blob 저장합니다. 마지막으로,사용하려면 DefaultAzureCredential 해야 합니다 pip 설치 azure-id;MLflow 하지 않는 선에 의존 이 패키지는 기본적으로 합니다.

내가 그들에게 내 프로젝트에서 요구하지만,그들은 무엇을 의미가 정확히 설치하여 클라이언트와 서버? Azure 는 어떻게 정체성에 도움이 설치?

당신은 도울 수 있습니다 나를 단계별 지침을 만드는 방법에 대한 완전한 설치?

사전에 감사합니다!

azure mlflow mlops python
2021-11-23 16:46:18
1

최고의 응답

2

당신이 필요로 그냥 설정 AZURE_STORAGE_CONNECTION_STRING, AZURE_STORAGE_ACCESS_KEY 는 선택적인 경우 첫번째 환경 변수를 사용한다(어쨌든, AZURE_STORAGE_ACCESS_KEY 안 URL 지만,실제 access key).

azure-storage-blob 패키지-그것이 있어야 모두에 설치된 서버를 실행하는 mlflow server과 같은 기계에 당신을 실행 교육(클라이언트).

2021-11-27 11:41:33

당신의 대답을 주셔서 감사합니다! 당신이 옳아에 대한 AZURE_STORAGE_ACCESS_KEY,내가 왜 몰라 내가 만들어라. 궁극적으로 고려되지 않았 내 경우에는 사용으로 나는 AZURE_STORAGE_CONNECTION_STRING. 마지막으로 관리하고 작동하도록 사용하여 더블 백슬래시와 포트를 사용하여 5000==> mlflow server --backend-store-uri sqlite:///C:\\sqlite\\db\\mlruns.db --default-artifact-root wasbs://container-name@storage_account_name.blob.core.windows.net/mlartifacts -h 0.0.0.0 -p 5000
Downforu

다른 언어로

이 페이지는 다른 언어로되어 있습니다

Русский
..................................................................................................................
Italiano
..................................................................................................................
Polski
..................................................................................................................
Română
..................................................................................................................
हिन्दी
..................................................................................................................
Français
..................................................................................................................
Türk
..................................................................................................................
Česk
..................................................................................................................
Português
..................................................................................................................
ไทย
..................................................................................................................
中文
..................................................................................................................
Español
..................................................................................................................
Slovenský
..................................................................................................................