지금

Impala를 사용하면 표준 SQL 구문을 사용하여 Kudu에 데이터를 삽입 할 수 있습니다. 단일 값 삽입 이 예에서는 단일 행을 삽입합니다. INSERT INTO my_first_table VALUES (99, "sarah"); 이 예에서는 단일 문을 사용하여 3 개의 행을 삽입합니다. INSERT INTO my_first_table VALUES (1, "john"), (2, "jane"), (3, "jim"); 대량으로 삽입 대량으로 삽입 할 때 최소한 세 가지 일반적인 선택 사항이 있습니다. 데이터와 상황에 따라 각각 장단점이있을 수 있습니다. 여러 단일 INSERT문 이 접근 방식은 이해하고 구현하기 쉽다는 장점이 있습니다. Impala는 Kudu의 삽입 성능에 비해 쿼리 시작 비용이 높기 때문..

경우 WHERE쿼리의 절은 운영자와의 비교를 포함 =, =, BETWEEN또는 IN, 쿠두 직접 상태를 평가하고 만 관련 결과를 반환합니다. Kudu는 관련 결과 만 Impala에 반환하기 때문에 최적의 성능을 제공합니다. 술어 !=, LIKE또는 Impala에서 지원하는 다른 술어 유형의 경우 Kudu는 술어를 직접 평가하지 않지만 모든 결과를 Impala에 반환하고 Impala를 사용하여 나머지 술어를 평가하고 그에 따라 결과를 필터링합니다. 이로 인해 WHERE절 평가 전후의 결과 집합의 델타에 따라 성능 차이가 발생할 수 있습니다 . 테이블 분할 테이블은 기본 키 열의 파티션 스키마에 따라 태블릿으로 분할됩니다. 각 태블릿은 하나 이상의 태블릿 서버에서 제공됩니다. 이상적으로는 테이블을 여러 태블..

HMS 통합을 활성화하지 않으면 Kudu API 또는 Apache Spark와 같은 기타 통합을 통해 생성 된 테이블이 Impala에 자동으로 표시되지 않습니다. 이를 쿼리하려면 먼저 Impala 내에 외부 테이블을 만들어 Kudu 테이블을 Impala 데이터베이스에 매핑해야합니다. CREATE EXTERNAL TABLE my_mapping_table STORED AS KUDU TBLPROPERTIES ( 'kudu.table_name' = 'my_kudu_table' ); Kudu-HMS 통합이 활성화되면 Impala없이 Kudu에서 테이블을 만들 때 HMS에서 내부 테이블 항목이 자동으로 생성됩니다. Impala를 통해 이러한 테이블에 액세스하려면 invalidate metadataImpala가 최신..

개요 Kudu는 Apache Impala와 긴밀하게 통합되어 있으므로 Kudu API 를 사용하여 사용자 지정 Kudu 애플리케이션을 구축 하는 대신 Impala를 사용하여 Impala의 SQL 구문을 사용하여 Kudu 태블릿에서 데이터를 삽입, 쿼리, 업데이트 및 삭제할 수 있습니다 . 또한 JDBC 또는 ODBC를 사용하여 Impala를 브로커로 사용하여 모든 언어, 프레임 워크 또는 비즈니스 인텔리전스 도구로 작성된 기존 또는 새 애플리케이션을 Kudu 데이터에 연결할 수 있습니다. 요구 사항 이 문서는 특정 버전의 Impala에만 해당됩니다. 설명 된 구문은 다음 릴리스에서만 작동합니다. CDH 5.10과 함께 제공되는 Impala 2.7.0 버전입니다. SELECT VERSION()보고 impa..

Kudu-HMS 통합을 활성화하기 전에 Kudu 및 HMS가 기존 테이블에 대한 일관된보기로 시작하는지 확인하는 것이 중요합니다. Hive 이름 지정 제약 조건을 준수하기 위해 Kudu 테이블 이름을 변경해야 할 수 있습니다. 이 세부 워크 플로는 Hive Metastore 통합을 활성화하기 전에 기존 테이블을 업그레이드하는 방법을 설명합니다. 업그레이드 준비 유지 관리 기간을 설정하십시오. 이 기간 동안 Kudu 클러스터는 계속 사용할 수 있지만 Kudu 및 Hive Metastore의 테이블은 업그레이드 프로세스의 일부로 변경되거나 이름이 변경 될 수 있습니다. 다음 명령을 사용하여 모든 외부 테이블을 기록하고 삭제합니다. 이렇게하면 업그레이드 프로세스 중에 오류가 발생할 수있는 Kudu 테이블과 이..

Hive Metastore가 세분화 된 권한으로 구성된 경우 Kudu 관리자는 HMS에서 Kudu 용으로 생성 된 디렉터리에 액세스하고 수정할 수 있어야합니다. 예를 들어 usermod -aG hive kuduHMS 노드에서 실행하여 Kudu 관리자를 Hive 서비스 사용자 그룹에 추가하면 됩니다. 알림 이벤트 리스너 및 Kudu HMS 플러그인을 포함하고 열 변경 및 삭제를 허용하고 알림에 전체 Thrift 개체를 추가하도록 Hive Metastore를 구성합니다. 의 HMS 구성에 다음 값을 추가합니다 hive-site.xml. 소스에서 Kudu를 빌드 한 후 hms-plugin.jar빌드 디렉토리 (예 :) 아래에있는 build/release/bin것을 HMS 클래스 경로에 추가합니다. HMS를 다..

개요 Kudu에는 자체 카탈로그를 HMS (Hive Metastore)와 통합 할 수있는 선택적 기능이 있습니다. HMS는 Hadoop 에코 시스템의 사실상 표준 카탈로그 및 메타 데이터 제공 업체입니다. HMS 통합이 활성화되면 Kudu 테이블은 Kudu를 인식하거나 통합하지 않더라도 외부 HMS 인식 도구에서 검색 및 사용할 수 있습니다. 또한 이러한 구성 요소는 HMS를 사용하여 Kudu 마스터 주소와 같이 테이블을 소유하는 Kudu 클러스터에 연결하는 데 필요한 정보를 검색 할 수 있습니다. 데이터베이스 및 테이블 이름 Hive Metastore 통합이 비활성화 된 경우 Kudu는 데이터베이스의 계층 또는 개념이없는 단일 플랫 네임 스페이스로 테이블을 제공합니다. 또한 테이블 이름에 대한 Kudu..

kudu-master실행 파일에 대해 사용 가능한 모든 구성 옵션을 보려면 다음 --help옵션 과 함께 실행하십시오 . $ kudu-master --help 표 1. Kudu 마스터에 지원되는 구성 플래그깃발유효한 옵션기본기술 --master_addresses 끈 localhost 마스터 합의 구성을위한 모든 RPC 주소의 쉼표로 구분 된 목록입니다. 지정되지 않은 경우 독립형 마스터로 간주합니다. --fs_data_dirs 끈 마스터가 데이터 블록을 배치 할 디렉토리 목록입니다. --fs_metadata_dir 끈 마스터가 태블릿 메타 데이터를 배치 할 디렉토리입니다. --fs_wal_dir 끈 마스터가 미리 쓰기 로그를 저장할 디렉토리입니다. --log_dir 끈 /tmp 마스터 로그 파일을 저장할..

Kudu 구성 구성 기본 사항 각 Kudu 프로세스의 동작을 구성하려면 시작할 때 명령 줄 플래그를 전달하거나 하나 이상의 --flagfile=옵션을 사용하여 전달하여 구성 파일에서 해당 옵션을 읽을 수 있습니다. --flagfile다른 파일을 포함하도록 구성 파일에 옵션을 포함 할 수도 있습니다. 설명서 를 읽고 gflags에 대해 자세히 알아보십시오 . 마스터 및 태블릿 서버에 대한 옵션을 동일한 구성 파일에 배치 할 수 있으며 각 옵션은 적용되지 않는 옵션을 무시합니다. 플래그는 하나 또는 두 개의 -문자 로 시작될 수 있습니다 . 이 문서는 --example_flag. 구성 옵션 검색 여기에는 가장 일반적인 구성 옵션 만 설명되어 있습니다. 구성 옵션의 전체 목록은 구성 참조를 참조하십시오 . 주..

위의 소스 에서 빌드 하단에있는 Kudu 클라이언트 설치 섹션을 참조하십시오 . 클라이언트 라이브러리 및 헤더 ( kudu_client.so및 client.h) 에 대해서만 빌드합니다 . 다른 라이브러리와 헤더는 Kudu 내부에 있으며 안정성을 보장하지 않습니다. 자바 클라이언트 구축 요구 사항 JDK 8 Java 클라이언트를 빌드하려면 Kudu Git 저장소를 복제하고 java 디렉토리로 변경 한 후 다음 명령을 실행하십시오. $ ./gradlew assemble Kudu 프로젝트의 Java 파트 빌드 및 Eclipse 통합에 대한 자세한 정보는을 참조하십시오 java/README.md. 이전 버전의 Kudu에서 업그레이드 업그레이드하기 전에 설치하려는 Kudu 버전에 대한 릴리스 노트 를 읽어야합니다..