기술_Kudu

기존 테이블 업그레이드

구일칠구 2022. 7. 6. 07:50

Kudu-HMS 통합을 활성화하기 전에 Kudu 및 HMS가 기존 테이블에 대한 일관된보기로 시작하는지 확인하는 것이 중요합니다. Hive 이름 지정 제약 조건을 준수하기 위해 Kudu 테이블 이름을 변경해야 할 수 있습니다. 이 세부 워크 플로는 Hive Metastore 통합을 활성화하기 전에 기존 테이블을 업그레이드하는 방법을 설명합니다.

업그레이드 준비

  1. 유지 관리 기간을 설정하십시오. 이 기간 동안 Kudu 클러스터는 계속 사용할 수 있지만 Kudu 및 Hive Metastore의 테이블은 업그레이드 프로세스의 일부로 변경되거나 이름이 변경 될 수 있습니다.
  2. 다음 명령을 사용하여 모든 외부 테이블을 기록하고 삭제합니다. 이렇게하면 업그레이드 프로세스 중에 오류가 발생할 수있는 Kudu 테이블과 이름 충돌 가능성이 줄어 듭니다. 또한 기본 Kudu 테이블의 이름이 변경되어 카탈로그 업그레이드로 인해 외부 테이블이 손상되는 경우에도 도움이됩니다. 업그레이드가 완료된 후 외부 테이블을 다시 만들 수 있습니다.
  3. $ sudo -u kudu kudu hms list master-name-1:7051,master-name-2:7051,master-name-3:7051

업그레이드 수행

  1. kudu hms precheck도구를 실행하여 Kudu 테이블이 대소 문자 만 다르지 않도록합니다. 도구가 경고를보고하지 않는 경우 다음 단계를 건너 뛸 수 있습니다.
  2. $ sudo -u kudu kudu hms precheck master-name-1:7051,master-name-2:7051,master-name-3:7051
  3. 는 IF kudu hms precheck도구 보고서 테이블 충돌, 다음 명령을 사용하여 대소 문자를 구별 고유 한 이름으로이 이름을 바꿉니다
  4. $ sudo -u kudu kudu table rename_table master-name-1:7051,master-name-2:7051,master-name-3:7051 <conflicting_table_name> <new_table_name>
  5. kudu hms check다음 명령을 사용 하여 도구를 실행하십시오 . 도구가 카탈로그 불일치를보고하지 않으면 아래 7 단계로 건너 뛰십시오.
  6. $ sudo -u kudu kudu hms check master-name-1:7051,master-name-2:7051,master-name-3:7051 --hive_metastore_uris=<hive_metastore_uris> [--ignore_other_clusters=<ignores_other_clusters>]

kudu hms check도구가 일관되지 않은 카탈로그를보고하는 경우 도구의 테스트 실행을 수행 kudu hms fix하여 도구가 자동으로 수정 가능한 문제를 해결하는 방법을 이해합니다.

$ sudo -u kudu kudu hms fix master-name-1:7051,master-name-2:7051,master-name-3:7051 --hive_metastore_uris=<hive_metastore_uris> --dryrun=true [--ignore_other_clusters=<ignore_other_clusters>]

'기술_Kudu' 카테고리의 다른 글

기존 테이블 쿼리  (0) 2022.07.06
Apache Impala와 함께 Apache 사용  (0) 2022.07.06
Hive 메타 스토어 통합 활성화  (0) 2022.07.06
함께 Hive 메타 스토어 사용  (0) 2022.07.06
마스터 구성  (0) 2022.07.05