Apache Impala와 함께 Apache 사용

개요

Kudu는 Apache Impala와 긴밀하게 통합되어 있으므로 Kudu API 를 사용하여 사용자 지정 Kudu 애플리케이션을 구축 하는 대신 Impala를 사용하여 Impala의 SQL 구문을 사용하여 Kudu 태블릿에서 데이터를 삽입, 쿼리, 업데이트 및 삭제할 수 있습니다 . 또한 JDBC 또는 ODBC를 사용하여 Impala를 브로커로 사용하여 모든 언어, 프레임 워크 또는 비즈니스 인텔리전스 도구로 작성된 기존 또는 새 애플리케이션을 Kudu 데이터에 연결할 수 있습니다.

요구 사항

• 이 문서는 특정 버전의 Impala에만 해당됩니다. 설명 된 구문은 다음 릴리스에서만 작동합니다.
  • CDH 5.10과 함께 제공되는 Impala 2.7.0 버전입니다. SELECT VERSION()보고 impalad version 2.7.0-cdh5.10.0합니다.
  • 소스에서 컴파일 된 Apache Impala 2.8.0 릴리스. SELECT VERSION()보고 impalad version 2.8.0합니다.

이전 버전의 Impala 2.7 ( IMPALA_KUDU이전에 사용 가능한 특별 릴리스 포함 )에는 구문이 호환되지 않습니다. 향후 버전은이 구문과 호환 될 가능성이 있지만 설치 한 적절한 버전에 해당하는 최신 문서인지 확인하는 것이 좋습니다.

• 이 문서는 Impala 설치 절차를 설명하지 않습니다. Impala 문서를 참조하고 계속하기 전에 HDFS의 Impala 테이블에 대해 간단한 쿼리를 실행할 수 있는지 확인하십시오.

구성

Impala에서 액세스 할 수 있도록 Kudu 내에서 구성 변경이 필요하지 않습니다.

꼭 필요한 것은 아니지만 Kudu 마스터 서버의 위치로 Impala를 구성하는 것이 좋습니다.

• --kudu_master_hosts=<master1>[:port],<master2>[:port],<master3>[:port] Impala 서비스 구성에서 플래그를 설정하십시오 .

이 플래그가 Impala 서비스 내에서 설정되지 않은 경우 절 kudu.master_addresses내부에 속성 을 지정하여 테이블을 생성 할 때마다이 구성을 수동으로 제공해야합니다 TBLPROPERTIES.

이 가이드의 나머지 부분에서는 구성이 설정되었다고 가정합니다.

내부 및 외부 Impala 테이블

Impala를 사용하여 새 Kudu 테이블을 생성 할 때 테이블을 내부 테이블 또는 외부 테이블로 생성 할 수 있습니다.

내부의

내부 테이블은 Impala에서 관리하며 Impala에서 삭제하면 데이터와 테이블이 실제로 삭제됩니다. Impala를 사용하여 새 테이블을 생성하면 일반적으로 내부 테이블이됩니다.

외부

외부 테이블 (에서 생성 CREATE EXTERNAL TABLE)은 Impala에서 관리하지 않으며 이러한 테이블을 삭제해도 소스 위치 (여기서는 Kudu)에서 테이블이 삭제되지 않습니다. 대신 Impala와 Kudu 간의 매핑 만 제거합니다. 이것은 기존 테이블을 Impala에 매핑하기 위해 Kudu에서 제공하는 구문에서 사용되는 모드입니다.

참고 항목 임팔라 문서 내부 및 외부 테이블에 대한 자세한 정보를.

Hive Metastore 통합 사용

Kudu 1.10.0 및 Impala 3.3.0부터 Impala 통합은 Kudu의 Hive Metastore 통합으로 활성화 된 자동 Kudu-HMS 카탈로그 동기화를 활용할 수 있습니다. Kudu 테이블과 외부 테이블간에 일대일 매핑이 없을 수 있으므로 내부 테이블 만 자동으로 동기화됩니다. 참조 HMS 통합 문서 쿠두의 하이브 메타 스토어 통합에 대한 자세한 내용을.