O3fs (Hadoop 호환)

Hadoop 호환 파일 시스템 인터페이스를 통해 Ozone과 같은 스토리지 백엔드를 Hadoop 에코 시스템에 쉽게 통합 할 수 있습니다. 오존 파일 시스템은 Hadoop 호환 파일 시스템입니다.

현재 Ozone은 o3fs://및 ofs://. 사이의 가장 큰 차이점 o3fs하고 ofs, 즉 o3fs단지에서 지원하는 작업을 하나의 버킷 모든 볼륨과 버킷에서 OFS 지원 작업이 모든 볼륨 / 버킷의 전체보기를 제공한다.

o3fs 설정

오존 파일 시스템을 만들려면 파일 시스템이 상주 할 버킷을 선택해야합니다. 이 버킷은 OzoneFileSystem의 백엔드 저장소로 사용됩니다. 모든 파일과 디렉토리는이 버킷에 키로 저장됩니다.

볼륨과 버킷이 아직없는 경우 다음 명령을 실행하여 생성하십시오.

이것이 생성되면 list volume 또는 list bucket 명령을 통해 버킷이 존재하는지 확인하십시오 .

core-site.xml에 다음 항목을 추가하십시오.

이렇게하면이 버킷이 기본 Hadoop 호환 파일 시스템이되고 o3fs 파일 시스템 유형이 등록됩니다.

또한 ozone-filesystem-hadoop3.jar 파일을 클래스 경로에 추가해야합니다.

또는 명령 등을 입력하십시오. 즉, Hive, Spark 및 Distcp와 같은 모든 프로그램이이 파일 시스템에 대해 작동합니다. OzoneFileSystem과 다른 방법을 사용하여 버킷에서 생성 / 삭제 된 모든 키는 Ozone 파일 시스템의 디렉터리 및 파일로 표시됩니다.

참고 : 버킷 및 볼륨 이름에는 마침표를 사용할 수 없습니다.

또한 파일 시스템 URI는 볼륨 이름 다음에 오는 경로의 일부로 OM 호스트 및 선택적 포트를 포함하는 완전한 형식을 취할 수 있습니다. 예를 들어 호스트와 포트를 모두 지정할 수 있습니다.