OzoneFS를 사용하는 Kubernetes의 Spark

로드하고 압축을 풉니 다. 이 방법은 spark-2.4.6-bin-hadoop2.7배포판으로 테스트됩니다 .

또한 다음이 필요합니다.

• 스파크 + 오존 이미지를 푸시하고 가져 오는 컨테이너 저장소입니다. (이 레시피에서는 dockerhub를 사용합니다)
• 커스텀 컨테이너의 리포지토리 / 이름 (이 레시피에서는 myrepo / ozone-spark )
• kubernetes의 전용 네임 스페이스 ( 이 레시피 에서는 yournamespace 사용 )

드라이버 용 Docker 이미지 만들기

기본 Spark 드라이버 / 실행기 이미지 만들기

우선 Spark 이미지 생성기로 도커 이미지를 만듭니다. Spark 배포에서 다음을 실행합니다.

./bin/docker-image-tool.sh -r myrepo -t 2.4.6 build

참고 : Minikube -m를 사용하는 경우 Minikube 이미지의 docker 데몬을 사용하도록 플래그를 추가하십시오 .

./bin/docker-image-tool.sh -m -r myrepo -t 2.4.6 build

./bin/docker-image-tool.sh은 컨테이너 이미지를 생성하는 공식 Spark 도구 이며이 단계에서는 myrepo / spark 라는 이름으로 여러 Spark 컨테이너 이미지를 생성 합니다. 첫 번째 컨테이너는 다음 단계에서 기본 컨테이너로 사용됩니다.

Docker 이미지 사용자 지정

생성 된 도커 이미지를 사용자 지정하기위한 새 디렉터리를 생성합니다.

ozone-site.xml클러스터에서 복사 :

작업 실행

다음 spark-submit 명령을 실행하되 최소한 다음 값을 변경합니다.

• Kubernetes 마스터 URL ( ~ / .kube / config 를 확인하여 실제 값을 찾을 수 있음)
• Kubernetes 네임 스페이스 ( 이 예에서는 yournamespace )
• serviceAccountName ( 이전 단계를 수행 한 경우 Spark 값을 사용할 수 있음 )
• container.image (이 예에서는 myrepo / spark-ozone 입니다. 이전 단계에서 레지스트리로 푸시 됨)

사용 가능한 spark-word-count-...포드를 확인하십시오.kubectl get pod

다음을 사용하여 계산 결과를 확인하십시오.
kubectl logs spark-word-count-1549973913699-driver