Scla/자바 라이브러리 설치하지 않습에 실행 Databricks 노트북

0

질문

직장에서 나는 스칼라 Databricks 노트북을 사용하는 많은 라이브러리를 가져오기 모두에서 메이븐과에서 일부는 JAR 파일이 있습니다. 문제가 있는 계획을 할 때는 작업에 이 노트북,그것은 때로는 실패(완전히 무작위로 하지만 대부분은 1 시간 10)기 때문에 그것을 실행한 세포하기 전에 모든 라이브러리가 설치되어 있습니다. 따라서 작업 실패에 가서 나는 그것을 실행합니다. 이러한 학습부터 좀 받아에서 이 Databricks'제품은 지금까지되는 전문적으로 사용할 수 있습니다에서 생산하기 때문에 그것은 때로는 실패합니다.

I tried to put a Thread.Sleep() 의 1 분 전에 그렇게 내 모든 수입이지만,그것은 아무 것도 변경되지 않습니다. 파이썬가 dbutils.library.installPyPI("library-name") 하지만 그런 일이 없을 위한 스칼라에서 Dbutils 문서입니다.

그래서 사람이 있었 같은 문제를 만약 그렇다면,당신은 어떻게 당신이 그것을 해결?

감사합니다!

azure-databricks databricks import jobs
2021-11-23 08:17:20
1

최고의 응답

1

단순히 넣어에 대한 자극이 예정 작업에 사용 New Job ClusterAll Purpose Cluster.

New Job Clusters 전용 클러스터를 만들고 시작할 때는 작업을 실행하고 즉시 종료 후에 작업이 완료됩니다. 에서 생산, Databricks 좋 을 사용하여 새로운 클러스터 그래서 각 작업이 실행에서 완전히 절연 환경입니다.

UI 에서 설정할 때까지 당신의 노트북 작업이 선택 New Job Cluster 고 나중에 추가로 모든 의존 라이브러리 작업입니다.

가격 다르 New Job Cluster. 내가 말할 것 그것을 끝까지 저렴합니다.

참고: 사용 Databricks 수영장 을 감소하는 클러스터 시작 및 자동 크기 조정 시간(이하로 시작).

2021-11-24 15:19:31

다른 언어로

이 페이지는 다른 언어로되어 있습니다

Русский
..................................................................................................................
Italiano
..................................................................................................................
Polski
..................................................................................................................
Română
..................................................................................................................
हिन्दी
..................................................................................................................
Français
..................................................................................................................
Türk
..................................................................................................................
Česk
..................................................................................................................
Português
..................................................................................................................
ไทย
..................................................................................................................
中文
..................................................................................................................
Español
..................................................................................................................
Slovenský
..................................................................................................................