지금

Kudu-HMS 통합을 활성화하기 전에 Kudu 및 HMS가 기존 테이블에 대한 일관된보기로 시작하는지 확인하는 것이 중요합니다. Hive 이름 지정 제약 조건을 준수하기 위해 Kudu 테이블 이름을 변경해야 할 수 있습니다. 이 세부 워크 플로는 Hive Metastore 통합을 활성화하기 전에 기존 테이블을 업그레이드하는 방법을 설명합니다. 업그레이드 준비 유지 관리 기간을 설정하십시오. 이 기간 동안 Kudu 클러스터는 계속 사용할 수 있지만 Kudu 및 Hive Metastore의 테이블은 업그레이드 프로세스의 일부로 변경되거나 이름이 변경 될 수 있습니다. 다음 명령을 사용하여 모든 외부 테이블을 기록하고 삭제합니다. 이렇게하면 업그레이드 프로세스 중에 오류가 발생할 수있는 Kudu 테이블과 이..

Hive Metastore가 세분화 된 권한으로 구성된 경우 Kudu 관리자는 HMS에서 Kudu 용으로 생성 된 디렉터리에 액세스하고 수정할 수 있어야합니다. 예를 들어 usermod -aG hive kuduHMS 노드에서 실행하여 Kudu 관리자를 Hive 서비스 사용자 그룹에 추가하면 됩니다. 알림 이벤트 리스너 및 Kudu HMS 플러그인을 포함하고 열 변경 및 삭제를 허용하고 알림에 전체 Thrift 개체를 추가하도록 Hive Metastore를 구성합니다. 의 HMS 구성에 다음 값을 추가합니다 hive-site.xml. 소스에서 Kudu를 빌드 한 후 hms-plugin.jar빌드 디렉토리 (예 :) 아래에있는 build/release/bin것을 HMS 클래스 경로에 추가합니다. HMS를 다..

개요 Kudu에는 자체 카탈로그를 HMS (Hive Metastore)와 통합 할 수있는 선택적 기능이 있습니다. HMS는 Hadoop 에코 시스템의 사실상 표준 카탈로그 및 메타 데이터 제공 업체입니다. HMS 통합이 활성화되면 Kudu 테이블은 Kudu를 인식하거나 통합하지 않더라도 외부 HMS 인식 도구에서 검색 및 사용할 수 있습니다. 또한 이러한 구성 요소는 HMS를 사용하여 Kudu 마스터 주소와 같이 테이블을 소유하는 Kudu 클러스터에 연결하는 데 필요한 정보를 검색 할 수 있습니다. 데이터베이스 및 테이블 이름 Hive Metastore 통합이 비활성화 된 경우 Kudu는 데이터베이스의 계층 또는 개념이없는 단일 플랫 네임 스페이스로 테이블을 제공합니다. 또한 테이블 이름에 대한 Kudu..

kudu-master실행 파일에 대해 사용 가능한 모든 구성 옵션을 보려면 다음 --help옵션 과 함께 실행하십시오 . $ kudu-master --help 표 1. Kudu 마스터에 지원되는 구성 플래그깃발유효한 옵션기본기술 --master_addresses 끈 localhost 마스터 합의 구성을위한 모든 RPC 주소의 쉼표로 구분 된 목록입니다. 지정되지 않은 경우 독립형 마스터로 간주합니다. --fs_data_dirs 끈 마스터가 데이터 블록을 배치 할 디렉토리 목록입니다. --fs_metadata_dir 끈 마스터가 태블릿 메타 데이터를 배치 할 디렉토리입니다. --fs_wal_dir 끈 마스터가 미리 쓰기 로그를 저장할 디렉토리입니다. --log_dir 끈 /tmp 마스터 로그 파일을 저장할..

Kudu 구성 구성 기본 사항 각 Kudu 프로세스의 동작을 구성하려면 시작할 때 명령 줄 플래그를 전달하거나 하나 이상의 --flagfile=옵션을 사용하여 전달하여 구성 파일에서 해당 옵션을 읽을 수 있습니다. --flagfile다른 파일을 포함하도록 구성 파일에 옵션을 포함 할 수도 있습니다. 설명서 를 읽고 gflags에 대해 자세히 알아보십시오 . 마스터 및 태블릿 서버에 대한 옵션을 동일한 구성 파일에 배치 할 수 있으며 각 옵션은 적용되지 않는 옵션을 무시합니다. 플래그는 하나 또는 두 개의 -문자 로 시작될 수 있습니다 . 이 문서는 --example_flag. 구성 옵션 검색 여기에는 가장 일반적인 구성 옵션 만 설명되어 있습니다. 구성 옵션의 전체 목록은 구성 참조를 참조하십시오 . 주..

위의 소스 에서 빌드 하단에있는 Kudu 클라이언트 설치 섹션을 참조하십시오 . 클라이언트 라이브러리 및 헤더 ( kudu_client.so및 client.h) 에 대해서만 빌드합니다 . 다른 라이브러리와 헤더는 Kudu 내부에 있으며 안정성을 보장하지 않습니다. 자바 클라이언트 구축 요구 사항 JDK 8 Java 클라이언트를 빌드하려면 Kudu Git 저장소를 복제하고 java 디렉토리로 변경 한 후 다음 명령을 실행하십시오. $ ./gradlew assemble Kudu 프로젝트의 Java 파트 빌드 및 Eclipse 통합에 대한 자세한 정보는을 참조하십시오 java/README.md. 이전 버전의 Kudu에서 업그레이드 업그레이드하기 전에 설치하려는 Kudu 버전에 대한 릴리스 노트 를 읽어야합니다..

엑스 코드의 패키지는 쿠두를 컴파일 할 필요가있다. 아래 지침 중 일부는 Homebrew 를 사용하여 종속성을 설치하지만 수동 종속성 설치가 가능합니다. Xcode를 설치 한 후 아직 완료되지 않은 경우 라이센스에 동의하고 명령 줄 도구를 설치하는 것을 잊지 마십시오. $ sudo xcodebuild-라이센스 $ sudo xcode-select --install 설치되지 않은 경우 전제 조건 라이브러리를 설치하십시오. $ brew install autoconf automake cmake git krb5 libtool openssl pkg-config pstree 선택 사항 : 문서를 빌드하려는 경우 Ruby를 포함한 일부 추가 패키지를 설치하십시오. $ brew install doxygen graphvi..

설치되지 않은 경우 전제 조건 라이브러리를 설치하십시오. $ sudo apt-get install autoconf automake curl flex g ++ gcc gdb git \ krb5-admin-server krb5-kdc krb5-user libkrb5-dev libsasl2-dev libsasl2-modules \ libsasl2-modules-gssapi-mit libssl-dev libtool lsb-release make ntp \ openjdk-8-jdk openssl 패치 pkg-config python rsync unzip vim-common 옵션 : Kudu의 NVM (비 휘발성 메모리) 블록 캐시에 대한 지원이 필요한 경우 memkind 라이브러리를 설치하십시오.Linux 배포판..

Apache Kudu 프로젝트는 소스 코드 릴리스 만 게시하고 Kudu를 클러스터에 배포하려면 아래 단계에 따라 소스에서 Kudu를 빌드합니다. 전제 조건 및 요구 사항 하드웨어 Kudu 마스터를 실행할 하나 이상의 호스트. 하나의 마스터 (내결함성 없음) 또는 세 개의 마스터 (하나의 오류를 허용 할 수 있음)를 사용하는 것이 좋습니다. 마스터의 수는 홀수 여야합니다. Kudu 태블릿 서버를 실행하기위한 하나 이상의 호스트. 복제를 사용하는 경우 최소 3 개의 태블릿 서버가 필요합니다. 마스터 수가 짝수 인 배포는 마스터가 하나 더 적은 배포와 동일한 수준의 내결함성을 제공합니다. 예를 들어, 4 개 마스터 및 3 개 마스터 배포는 모두 단일 장애 만 허용 할 수 있습니다. 2- 마스터 배포는 어떤 오..

거의 실시간 가용성으로 스트리밍 입력 데이터 분석의 일반적인 문제는 새로운 데이터가 빠르고 지속적으로 도착하고 동일한 데이터를 거의 실시간으로 읽기, 스캔 및 업데이트 할 수 있어야하는 문제입니다. Kudu는 효율적인 컬럼 스캔과 함께 빠른 삽입 및 업데이트의 강력한 조합을 제공하여 단일 스토리지 계층에서 실시간 분석 사용 사례를 가능하게합니다. 매우 다양한 액세스 패턴을 가진 시계열 애플리케이션 시계열 스키마는 데이터 포인트가 발생한 시간에 따라 구성되고 키가 지정되는 스키마입니다. 이는 시간 경과에 따른 메트릭의 성능을 조사하거나 과거 데이터를 기반으로 미래의 행동을 예측하는 데 유용 할 수 있습니다. 예를 들어, 시계열 고객 데이터는 구매 클릭 스트림 기록을 저장하고 향후 구매를 예측하거나 고객 지..