지금

오존 쉘은 명령 줄에서 오존과 상호 작용하는 기본 인터페이스입니다. 이면에서는 Java API를 사용합니다 . ozone sh명령 을 사용하지 않고는 액세스 할 수없는 기능이 있습니다 . 예를 들면 : 할당량으로 볼륨 생성 내부 ACL 관리 암호화 키로 버킷 만들기 이 모든 것은 일회성 관리 작업입니다. 애플리케이션은 Hadoop 호환 파일 시스템 (o3fs 또는 ofs) 또는 S3 인터페이스와 같은 다른 인터페이스를 사용하여이 CLI없이 Ozone을 사용할 수 있습니다. 오존 쉘 도움말은 개체 수준 또는 작업 수준 에서 호출 할 수 있습니다 . 예를 들면 : ozone sh volume --help 볼륨에 대해 가능한 모든 작업을 표시합니다. 또는 다음과 같은 특정 작업을 설명하기 위해 호출 할 수 있..

로드하고 압축을 풉니 다. 이 방법은 spark-2.4.6-bin-hadoop2.7배포판으로 테스트됩니다 . 또한 다음이 필요합니다. 스파크 + 오존 이미지를 푸시하고 가져 오는 컨테이너 저장소입니다. (이 레시피에서는 dockerhub를 사용합니다) 커스텀 컨테이너의 리포지토리 / 이름 (이 레시피에서는 myrepo / ozone-spark ) kubernetes의 전용 네임 스페이스 ( 이 레시피 에서는 yournamespace 사용 ) 드라이버 용 Docker 이미지 만들기 기본 Spark 드라이버 / 실행기 이미지 만들기 우선 Spark 이미지 생성기로 도커 이미지를 만듭니다. Spark 배포에서 다음을 실행합니다. ./bin/docker-image-tool.sh -r myrepo -t 2.4.6..

Prometheus 는 Cloud Native Computing Foundation 에서 개발 한 오픈 소스 모니터링 서버입니다 . 오존은 Prometheus를 즉시 지원합니다. 서버는 사용 가능한 모든 hadoop 메트릭이 prometheus 내보내기 형식으로 게시되는 prometheus 호환 메트릭 엔드 포인트를 시작합니다. 전제 조건 Ozone 클러스터를 설치하고 시작 합니다. prometheus 바이너리를 다운로드 합니다. Prometheus로 모니터링 Prometheus 메트릭 엔드 포인트를 활성화하려면 ozone-site.xml파일에 새 구성을 추가해야 합니다. hdds.prometheus.endpoint.enabled true 참고 : Docker 작성 기반 의사 클러스터의 OZONE-SIT..

테스트는 분산 시스템을 개발하는 동안 가장 중요한 부분 중 하나입니다. 다음과 같은 유형의 테스트가 있습니다. 이 페이지에는 Ozone 소스 기반의 일부인 기존 테스트 도구가 포함되어 있습니다. 참고 : 외부 도구 만 사용하기 때문에 여기에 포함되지 않은 더 많은 테스트 (예 : Spark 또는 Hive를 통한 TCP-DS, TCP-H 테스트)가 있습니다. 단위 테스트 거의 모든 자바 프로젝트처럼 우리는 각 프로젝트 내부에 좋은 오래된 단위 테스트를 가지고 있습니다. 통합 테스트 (JUnit) 기존의 단위 테스트는 하나의 단위 만 테스트해야하지만 더 높은 수준의 단위 테스트도 있습니다. 그들은 MiniOzoneCluster단위 테스트 중에 실제 데몬 (scm, om, datanodes)을 시작하는 도우미..

감사 파서 도구는 오존 감사 로그를 쿼리하는 데 사용할 수 있습니다. 이 도구는 지정된 경로에 sqllite 데이터베이스를 만듭니다. 데이터베이스가 이미 존재하는 경우 데이터베이스 생성을 방지합니다. 데이터베이스에는 audit다음과 같이 정의 된 하나의 테이블 만 포함됩니다 . CREATE TABLE IF NOT EXISTS 감사 (datetime text, level varchar (7), logger varchar (7), user text, ip text, op text, params text, result varchar (7), exception text, UNIQUE (datetime, level, logger) , user, ip, op, params, result)) 용법: ozone aud..

Ozone Admin 명령 ( ozone admin)은 관리자 만 사용하도록 고안된 도구 모음입니다. 사용 가능한 기능에 대한 간략한 개요 : ozone admin safemode: 안전 모드 상태를 확인하고 강제 탈퇴 / 출입을 강제 할 수 있으며, --verbose옵션은 안전 모드 상태 를 평가하는 모든 규칙의 유효성 상태를 출력합니다. ozone admin container: 컨테이너는 복제의 단위입니다. 하위 명령은 컨테이너의 현재 상태를 디버그하는 데 도움이 될 수 있습니다 (list / get / create /…). ozone admin pipeline: 사용 가능한 파이프 라인 (데이터 노드 세트)을 확인하는 데 도움이 될 수 있습니다. ozone admin datanode: 데이터 노드에..

Ozone에는 오존을 관리하는 데 사용할 수있는 명령 줄 도구 세트가 있습니다. 이러한 모든 명령은 ozone스크립트 를 통해 호출됩니다 . 데몬 명령 : scm- 데몬을 통한 Storage Container Manager 서비스를 시작하거나 중지 할 수 있습니다. om- 데몬 명령을 통해 Ozone Manager를 시작하거나 중지 할 수 있습니다. datanode -daemon 명령을 통해 HDDS 데이터 노드를 시작하거나 중지 할 수 있습니다. s3g -S3 호환 REST 게이트웨이 시작 recon- 이 명령으로 Ozone의 웹 UI 서비스를 시작할 수 있습니다. 클라이언트 명령 : sh- 볼륨 / 버킷 / 키를 관리하기위한 오존 용 기본 명령 줄 인터페이스. fs- 오존 파일 시스템에서 명령을 실행..

Apache Ranger ™는 Hadoop 플랫폼에서 포괄적 인 데이터 보안을 활성화, 모니터링 및 관리하기위한 프레임 워크입니다. 1.20 이상의 Apache Ranger 버전은 Ozone을 인식하고 Ozone 클러스터를 관리 할 수 ​​있습니다. Apache Ranger를 사용하려면 Hadoop 클러스터에 Apache Ranger가 설치되어 있어야합니다. Apache Ranger의 설치 지침은 Apache Ranger 웹 사이트를 참조하십시오 . Ozone을 인식하는 작동중인 Apache Ranger 설치가있는 경우 Apache Ranger와 함께 작동하도록 Ozone을 구성하는 것은 간단합니다. ACL 지원을 활성화하고 Ozone 내의 acl 권한 부여 클래스를 Ranger 권한 부여 자로 설정해야..

Ozone은 기본 ACL 집합을 지원합니다. 이러한 ACL은 Ranger와 같은 오존 ACL 플러그인과 독립적으로 사용할 수 있습니다. Ozone 용 Apache Ranger 플러그인이 활성화 된 경우 Ranger에서 ACL을 확인합니다. 오존 ACL은 Posix 및 S3 ACL의 수퍼 세트입니다. ACL의 일반적인 형식은 object : who : rights 입니다. 어디 객체가 될 수 있습니다 : 부피 -오존 부피. 예 : / volume 버킷 -오존 버킷. 예 : / volume / bucket 키 -개체 키 또는 개체입니다. 예 : / volume / bucket / key 접두사 -특정 키의 경로 접두사입니다. 예 : / volume / bucket / prefix1 / prefix2 어디 사..

S3 버킷에 액세스하려면 사용자에게 AWS 액세스 키 ID와 AWS 암호가 필요합니다. 둘 다 AWS 웹 사이트로 이동하여 생성됩니다. Ozone의 S3 프로토콜을 사용하는 경우 동일한 AWS 액세스 키와 암호가 필요합니다. Ozone에서 클라이언트는 Ozone에서 직접 액세스 키를 다운로드 할 수 있습니다. 사용자는 kinit먼저 Kerberos를 통해 인증을 받아야 S3 액세스 키 ID와 AWS 암호를 다운로드 할 수 있습니다. AWS S3와 마찬가지로이 두 가지 모두 S3 버킷에 대한 전체 액세스 권한을 제공하므로 클라이언트에서 보호해야하는 비밀입니다. S3 클라이언트는 OzoneManager에서 비밀 액세스 ID와 사용자 비밀을 얻을 수 있습니다. ozone s3 getsecret 이 명령은 oz..