지금

Apache Ranger ™는 Hadoop 플랫폼에서 포괄적 인 데이터 보안을 활성화, 모니터링 및 관리하기위한 프레임 워크입니다. 1.20 이상의 Apache Ranger 버전은 Ozone을 인식하고 Ozone 클러스터를 관리 할 수 ​​있습니다. Apache Ranger를 사용하려면 Hadoop 클러스터에 Apache Ranger가 설치되어 있어야합니다. Apache Ranger의 설치 지침은 Apache Ranger 웹 사이트를 참조하십시오 . Ozone을 인식하는 작동중인 Apache Ranger 설치가있는 경우 Apache Ranger와 함께 작동하도록 Ozone을 구성하는 것은 간단합니다. ACL 지원을 활성화하고 Ozone 내의 acl 권한 부여 클래스를 Ranger 권한 부여 자로 설정해야..

Ozone은 기본 ACL 집합을 지원합니다. 이러한 ACL은 Ranger와 같은 오존 ACL 플러그인과 독립적으로 사용할 수 있습니다. Ozone 용 Apache Ranger 플러그인이 활성화 된 경우 Ranger에서 ACL을 확인합니다. 오존 ACL은 Posix 및 S3 ACL의 수퍼 세트입니다. ACL의 일반적인 형식은 object : who : rights 입니다. 어디 객체가 될 수 있습니다 : 부피 -오존 부피. 예 : / volume 버킷 -오존 버킷. 예 : / volume / bucket 키 -개체 키 또는 개체입니다. 예 : / volume / bucket / key 접두사 -특정 키의 경로 접두사입니다. 예 : / volume / bucket / prefix1 / prefix2 어디 사..

S3 버킷에 액세스하려면 사용자에게 AWS 액세스 키 ID와 AWS 암호가 필요합니다. 둘 다 AWS 웹 사이트로 이동하여 생성됩니다. Ozone의 S3 프로토콜을 사용하는 경우 동일한 AWS 액세스 키와 암호가 필요합니다. Ozone에서 클라이언트는 Ozone에서 직접 액세스 키를 다운로드 할 수 있습니다. 사용자는 kinit먼저 Kerberos를 통해 인증을 받아야 S3 액세스 키 ID와 AWS 암호를 다운로드 할 수 있습니다. AWS S3와 마찬가지로이 두 가지 모두 S3 버킷에 대한 전체 액세스 권한을 제공하므로 클라이언트에서 보호해야하는 비밀입니다. S3 클라이언트는 OzoneManager에서 비밀 액세스 ID와 사용자 비밀을 얻을 수 있습니다. ozone s3 getsecret 이 명령은 oz..

Hadoop 아래의 데이터 노드는 전통적으로 데이터 노드에 Keytab 파일을 생성하여 보호됩니다. Ozone을 통해 우리는 데이터 노드 인증서 사용으로 이동했습니다. 즉, 안전한 Ozone 클러스터의 경우 데이터 노드의 Kerberos가 필요하지 않습니다. 그러나 기존 Kerberos 기반 인증을 지원하여 현재 사용자 집합이 쉽게 사용할 수 있도록합니다. HDFS 구성 키는 hdfs-site.xml에 설정된 다음과 같습니다. 특성기술 dfs.datanode.kerberos.principal 데이터 노드 서비스 주체. 예 : dn/_HOST@REALM.COM dfs.datanode.keytab.file 데이터 노드 데몬이 서비스 주체로 로그인하는 데 사용하는 keytab 파일입니다. hdds.datano..

오존 TDE 설정 프로세스 및 사용법은 HDFS TDE와 매우 유사합니다. 주요 차이점은 버킷이 생성 될 때 Ozone 버킷 수준에서 Ozone TDE가 활성화된다는 것입니다. 키 관리 서버 설정 TDE를 사용하려면 관리자는 키 관리 서버를 설정하고 해당 URI를 Ozone / HDFS에 제공해야합니다. Ozone과 HDFS는 동일한 키 관리 서버를 사용할 수 있으므로이 구성은 hdfs-site.xml을 통해 제공 할 수 있습니다 . 특성값 hadoop.security.key.provider.path KMS uri. 예 : kms : // http @ kms-host : 9600 / kms 투명한 데이터 암호화 사용 클러스터에 대해 이미 구성된 경우 암호화 키 생성을 진행하고 암호화 된 버킷을 활성화 할..

Kerberos 오존은 클러스터 보안을 위해 Kerberos 에 의존합니다 . 역사적으로 HDFS는 클러스터를 보호하지 않고 배포 할 수있는 격리 된 보안 네트워크에서 실행하는 것을 지원했습니다. 이 Ozone 릴리스는 해당 모델을 따르지만 곧 기본적 으로 보안으로 이동할 것 입니다. 오늘 오존 클러스터에서 보안을 활성화하려면 ozone.security.enabled 구성 을 true 로 설정 하고 hadoop.security.authentication 을 kerberos 로 설정해야합니다 . 특성값 ozone.security.enabled 진실 hadoop.security.authentication Kerberos 토큰 Ozone은 Kerberos 서버의 과부하를 방지하기 위해 토큰 개념을 사용합니다...

Container Storage Interface (CSI)는 스토리지 공급 업체 (SP)가 플러그인을 한 번 개발하고 Kubernetes 또는 Yarn과 같은 여러 컨테이너 오케스트레이션 (CO) 시스템에서 작동하도록합니다. SCI 사양 에서 CSI에 대한 자세한 정보를 얻으려면 CSI는 3 개의 인터페이스 (Identity, Controller, Node)로 간단한 GRPC 인터페이스를 정의했습니다. 컨테이너 오케 스트레이터가 새 스토리지 공간 생성 또는 새로 생성 된 스토리지 마운트를 요청할 수있는 방법을 정의했지만 스토리지 마운트 방법은 정의하지 않았습니다. 기본적으로 Ozone CSI 서비스는 S3 퓨즈 드라이버 ( goofys )를 사용하여 생성 된 Ozone 버킷을 마운트합니다. 전용 NFS..

Ozone은 RPC를 지원하는 자체 클라이언트 라이브러리와 함께 제공됩니다. 일반적인 사용 사례의 경우 Ozone 클라이언트 대신 S3 호환 REST 인터페이스를 사용할 수도 있습니다. 오존 클라이언트 생성 오존 클라이언트 공장은 오존 클라이언트를 만듭니다. RPC 클라이언트를 얻으려면 다음을 호출 할 수 있습니다. 구성에 따라 적절한 클라이언트가 반환됩니다. Ozone Client를 사용하여 데이터 쓰기 오존 내부 데이터 계층 구조는 볼륨, 버킷 및 키입니다. 볼륨은 버킷 모음입니다. 버킷은 키 모음입니다. 오존에 데이터를 쓰려면 볼륨, 버킷 및 키가 필요합니다. 볼륨 생성 클라이언트가 있으면 ObjectStore에 대한 참조를 가져와야합니다. 이것은 다음을 통해 수행됩니다. 이 시점에서 사용 가능한 ..

Ozone은 모든 S3 호환 도구와 함께 객체 저장소 데이터를 사용할 수 있도록 S3 호환 REST 인터페이스를 제공합니다. S3 버킷은 /s3v볼륨 아래에 저장됩니다 . 시작하기 S3 게이트웨이는 S3 호환 API를 제공하는 별도의 구성 요소입니다. 일반 오존 성분에 추가로 시작해야합니다. 릴리스 패키지의 S3 게이트웨이를 포함하여 Docker 기반 클러스터를 시작할 수 있습니다. compose/ozone디렉토리로 이동 하여 서버를 시작하십시오. 다음 위치에서 S3 게이트웨이에 액세스 할 수 있습니다. http://localhost:9878 URL 스키마 Ozone S3 게이트웨이는 가상 호스트 스타일 URL s3 버킷 주소 (예 : http://bucketname.host : 9878)와 경로 스타일..

Hadoop 호환 파일 시스템 인터페이스를 통해 Ozone과 같은 스토리지 백엔드를 Hadoop 에코 시스템에 쉽게 통합 할 수 있습니다. 오존 파일 시스템은 Hadoop 호환 파일 시스템입니다. 현재 Ozone은 o3fs://및 ofs://. 사이의 가장 큰 차이점 o3fs하고 ofs, 즉 o3fs단지에서 지원하는 작업을 하나의 버킷 모든 볼륨과 버킷에서 OFS 지원 작업이 모든 볼륨 / 버킷의 전체보기를 제공한다. 볼륨과 마운트는 OFS 파일 시스템의 루트 수준에 있습니다. 버킷은 볼륨 아래에 자연스럽게 나열됩니다. 키와 디렉토리는 각 버킷 아래에 있습니다. 마운트의 경우 현재 임시 마운트 만 /tmp지원됩니다. 구성 core-site.xml에 다음 항목을 추가하십시오. 이렇게하면 모든 볼륨과 버킷이..