지금

Hadoop 아래의 데이터 노드는 전통적으로 데이터 노드에 Keytab 파일을 생성하여 보호됩니다. Ozone을 통해 우리는 데이터 노드 인증서 사용으로 이동했습니다. 즉, 안전한 Ozone 클러스터의 경우 데이터 노드의 Kerberos가 필요하지 않습니다. 그러나 기존 Kerberos 기반 인증을 지원하여 현재 사용자 집합이 쉽게 사용할 수 있도록합니다. HDFS 구성 키는 hdfs-site.xml에 설정된 다음과 같습니다. 특성기술 dfs.datanode.kerberos.principal 데이터 노드 서비스 주체. 예 : dn/_HOST@REALM.COM dfs.datanode.keytab.file 데이터 노드 데몬이 서비스 주체로 로그인하는 데 사용하는 keytab 파일입니다. hdds.datano..

오존 TDE 설정 프로세스 및 사용법은 HDFS TDE와 매우 유사합니다. 주요 차이점은 버킷이 생성 될 때 Ozone 버킷 수준에서 Ozone TDE가 활성화된다는 것입니다. 키 관리 서버 설정 TDE를 사용하려면 관리자는 키 관리 서버를 설정하고 해당 URI를 Ozone / HDFS에 제공해야합니다. Ozone과 HDFS는 동일한 키 관리 서버를 사용할 수 있으므로이 구성은 hdfs-site.xml을 통해 제공 할 수 있습니다 . 특성값 hadoop.security.key.provider.path KMS uri. 예 : kms : // http @ kms-host : 9600 / kms 투명한 데이터 암호화 사용 클러스터에 대해 이미 구성된 경우 암호화 키 생성을 진행하고 암호화 된 버킷을 활성화 할..

Kerberos 오존은 클러스터 보안을 위해 Kerberos 에 의존합니다 . 역사적으로 HDFS는 클러스터를 보호하지 않고 배포 할 수있는 격리 된 보안 네트워크에서 실행하는 것을 지원했습니다. 이 Ozone 릴리스는 해당 모델을 따르지만 곧 기본적 으로 보안으로 이동할 것 입니다. 오늘 오존 클러스터에서 보안을 활성화하려면 ozone.security.enabled 구성 을 true 로 설정 하고 hadoop.security.authentication 을 kerberos 로 설정해야합니다 . 특성값 ozone.security.enabled 진실 hadoop.security.authentication Kerberos 토큰 Ozone은 Kerberos 서버의 과부하를 방지하기 위해 토큰 개념을 사용합니다...

Container Storage Interface (CSI)는 스토리지 공급 업체 (SP)가 플러그인을 한 번 개발하고 Kubernetes 또는 Yarn과 같은 여러 컨테이너 오케스트레이션 (CO) 시스템에서 작동하도록합니다. SCI 사양 에서 CSI에 대한 자세한 정보를 얻으려면 CSI는 3 개의 인터페이스 (Identity, Controller, Node)로 간단한 GRPC 인터페이스를 정의했습니다. 컨테이너 오케 스트레이터가 새 스토리지 공간 생성 또는 새로 생성 된 스토리지 마운트를 요청할 수있는 방법을 정의했지만 스토리지 마운트 방법은 정의하지 않았습니다. 기본적으로 Ozone CSI 서비스는 S3 퓨즈 드라이버 ( goofys )를 사용하여 생성 된 Ozone 버킷을 마운트합니다. 전용 NFS..

Ozone은 RPC를 지원하는 자체 클라이언트 라이브러리와 함께 제공됩니다. 일반적인 사용 사례의 경우 Ozone 클라이언트 대신 S3 호환 REST 인터페이스를 사용할 수도 있습니다. 오존 클라이언트 생성 오존 클라이언트 공장은 오존 클라이언트를 만듭니다. RPC 클라이언트를 얻으려면 다음을 호출 할 수 있습니다. 구성에 따라 적절한 클라이언트가 반환됩니다. Ozone Client를 사용하여 데이터 쓰기 오존 내부 데이터 계층 구조는 볼륨, 버킷 및 키입니다. 볼륨은 버킷 모음입니다. 버킷은 키 모음입니다. 오존에 데이터를 쓰려면 볼륨, 버킷 및 키가 필요합니다. 볼륨 생성 클라이언트가 있으면 ObjectStore에 대한 참조를 가져와야합니다. 이것은 다음을 통해 수행됩니다. 이 시점에서 사용 가능한 ..

Ozone은 모든 S3 호환 도구와 함께 객체 저장소 데이터를 사용할 수 있도록 S3 호환 REST 인터페이스를 제공합니다. S3 버킷은 /s3v볼륨 아래에 저장됩니다 . 시작하기 S3 게이트웨이는 S3 호환 API를 제공하는 별도의 구성 요소입니다. 일반 오존 성분에 추가로 시작해야합니다. 릴리스 패키지의 S3 게이트웨이를 포함하여 Docker 기반 클러스터를 시작할 수 있습니다. compose/ozone디렉토리로 이동 하여 서버를 시작하십시오. 다음 위치에서 S3 게이트웨이에 액세스 할 수 있습니다. http://localhost:9878 URL 스키마 Ozone S3 게이트웨이는 가상 호스트 스타일 URL s3 버킷 주소 (예 : http://bucketname.host : 9878)와 경로 스타일..

Hadoop 호환 파일 시스템 인터페이스를 통해 Ozone과 같은 스토리지 백엔드를 Hadoop 에코 시스템에 쉽게 통합 할 수 있습니다. 오존 파일 시스템은 Hadoop 호환 파일 시스템입니다. 현재 Ozone은 o3fs://및 ofs://. 사이의 가장 큰 차이점 o3fs하고 ofs, 즉 o3fs단지에서 지원하는 작업을 하나의 버킷 모든 볼륨과 버킷에서 OFS 지원 작업이 모든 볼륨 / 버킷의 전체보기를 제공한다. 볼륨과 마운트는 OFS 파일 시스템의 루트 수준에 있습니다. 버킷은 볼륨 아래에 자연스럽게 나열됩니다. 키와 디렉토리는 각 버킷 아래에 있습니다. 마운트의 경우 현재 임시 마운트 만 /tmp지원됩니다. 구성 core-site.xml에 다음 항목을 추가하십시오. 이렇게하면 모든 볼륨과 버킷이..

Ozone은 클러스터의 현재 상태에 대한 자세한 정보를 얻을 수있는 여러 도구를 제공합니다. 프로 메테우스 오존에는 토착 프로 메테우스가 있습니다. /promHTTP 컨텍스트에 게시 된 각 내부 메트릭 (Hadoop 메트릭 프레임 워크에서 수집) 입니다. (예 : SCM의 경우 http : // localhost : 9876 / prom). Prometheus 엔드 포인트는 기본적으로 켜져 있지만 hdds.prometheus.endpoint.enabled구성 변수 로 끌 수 있습니다 . 보안 환경에서 페이지는 Prometheus에서 지원하지 않는 SPNEGO 인증으로 보호됩니다. 보안 환경에서 모니터링을 활성화하려면 특정 인증 토큰 cen을 구성합니다. 예 ozone-site.xml: 분산 추적 분산 추..

일반 데이터 보호 규정 (GDPR)은 개인 데이터 처리 방법을 규정하는 법률입니다. 이것은 유럽 연합 법률이지만 소프트웨어의 특성으로 인해 종종 다른 지역으로 유출됩니다. 오존은 GDPR의 삭제 권리 (잊혀 질 권리) 기능을 지원합니다. GDPR 지원이 활성화되면 기본적으로 모든 키가 암호화됩니다. 암호화 키는 메타 데이터 서버에 저장되며 각 요청에 대한 데이터를 암호화하는 데 사용됩니다. 키 삭제의 경우 Ozone은 메타 데이터를 즉시 삭제하지만 바이너리 데이터는 비동기 방식으로 백그라운드에서 삭제됩니다. GDPR 지원이 활성화되면 암호화 키가 즉시 삭제되며 관련 바이너리 (블록 또는 컨테이너)가 아직 백그라운드 프로세스에 의해 삭제되지 않은 경우에도 데이터를 더 이상 읽을 수 없습니다. GDPR 준수..