지금

Ozone은 클러스터의 현재 상태에 대한 자세한 정보를 얻을 수있는 여러 도구를 제공합니다. 프로 메테우스 오존에는 토착 프로 메테우스가 있습니다. /promHTTP 컨텍스트에 게시 된 각 내부 메트릭 (Hadoop 메트릭 프레임 워크에서 수집) 입니다. (예 : SCM의 경우 http : // localhost : 9876 / prom). Prometheus 엔드 포인트는 기본적으로 켜져 있지만 hdds.prometheus.endpoint.enabled구성 변수 로 끌 수 있습니다 . 보안 환경에서 페이지는 Prometheus에서 지원하지 않는 SPNEGO 인증으로 보호됩니다. 보안 환경에서 모니터링을 활성화하려면 특정 인증 토큰 cen을 구성합니다. 예 ozone-site.xml: 분산 추적 분산 추..

일반 데이터 보호 규정 (GDPR)은 개인 데이터 처리 방법을 규정하는 법률입니다. 이것은 유럽 연합 법률이지만 소프트웨어의 특성으로 인해 종종 다른 지역으로 유출됩니다. 오존은 GDPR의 삭제 권리 (잊혀 질 권리) 기능을 지원합니다. GDPR 지원이 활성화되면 기본적으로 모든 키가 암호화됩니다. 암호화 키는 메타 데이터 서버에 저장되며 각 요청에 대한 데이터를 암호화하는 데 사용됩니다. 키 삭제의 경우 Ozone은 메타 데이터를 즉시 삭제하지만 바이너리 데이터는 비동기 방식으로 백그라운드에서 삭제됩니다. GDPR 지원이 활성화되면 암호화 키가 즉시 삭제되며 관련 바이너리 (블록 또는 컨테이너)가 아직 백그라운드 프로세스에 의해 삭제되지 않은 경우에도 데이터를 더 이상 읽을 수 없습니다. GDPR 준수..

매개 변수를 참조하도록 적합한 특성을 구성하려면 #매개 변수 이름을 중괄호로 묶고 기호를 시작으로 사용하십시오 . #{Parameter.Name} 이것은 #처음에 추가 문자를 사용하여 이스케이프 될 수 있습니다 . 이를 설명하기 위해, 매개 변수는 가정 abc의 값이 xxx및 파라미터 def의 값을 갖는다 yyy. 그런 다음 다음 사용자 정의 속성 값이 이러한 유효 값으로 평가됩니다. 사용자가 입력 한 리터럴 속성 값 효과적인 재산 가치 설명 #{abc} xxx 간단한 대체 #{abc}/data xxx/data 추가 리터럴 데이터로 간단한 대체 #{abc}/#{def} xxx/yyy 추가 리터럴 데이터로 다중 대체 #{abc #{abc 매개 변수 대체를위한 {} 없음 #abc #abc 매개 변수 대체를위..

표현식 언어를 사용하는 매개 변수를 추가 할 때 표현식 언어가 평가되는 컨텍스트를 이해하는 것이 중요합니다. 표현식은 항상 매개 변수를 참조하는 프로세스 또는 컨트롤러 서비스의 컨텍스트에서 평가됩니다. 예를 들어 이름 Time이 있는 Parameter가 값으로 추가 되는 시나리오를 가정 해보십시오 ${now()}. Expression Language는 평가 될 때 시스템 시간을 결정하기위한 호출을 발생시킵니다. 매개 변수로 추가되면 매개 변수가 추가 될 때 시스템 시간이 평가되지 않고 프로세서 또는 컨트롤러 서비스가 표현식을 평가할 때 평가됩니다. 즉, 프로세서에 값이 설정된 속성이있는 #{Time}경우 해당 속성의 값이 다음과 같이 설정된 것과 똑같은 방식으로 작동합니다.${now()}. 속성이 참조 ..

매개 변수는 매개 변수 컨텍스트 내에서 생성됩니다. 매개 변수 컨텍스트는 NiFi 인스턴스에 전역 적으로 정의 / 액세스 할 수 있습니다. 액세스 정책을 매개 변수 컨텍스트에 적용하여 생성 할 수있는 사용자를 결정할 수 있습니다. 일단 생성되면 특정 매개 변수 컨텍스트를 읽고 쓰는 정책도 적용 할 수 있습니다 ( 자세한 내용 은 매개 변수 액세스 참조 ). 매개 변수 컨텍스트 생성 매개 변수 컨텍스트를 생성하려면 글로벌 메뉴에서 매개 변수 컨텍스트를 선택합니다. 매개 변수 컨텍스트 창에서 +오른쪽 상단 모서리에 있는 버튼을 클릭하면 매개 변수 컨텍스트 추가 창이 열립니다. 창에는 설정 및 매개 변수의 두 가지 탭이 있습니다. "설정"탭에서 원하는 경우 매개 변수 컨텍스트의 이름과 설명을 추가합니다. "적..

NiFi의 일반적인 사용 사례는 일부 배치 지향 프로세스를 수행하고 해당 프로세스가 완료된 후에 만 ​​동일한 데이터 배치에서 다른 프로세스를 수행하는 것입니다. NiFi는 이러한 각 프로세스를 자체 프로세스 그룹에 캡슐화하여이를 가능하게합니다. 첫 번째 프로세스 그룹의 아웃 바운드 정책은 "일괄 출력"으로 구성되어야하며 FlowFile 동시성은 "노드 당 단일 FlowFile"또는 "노드 당 단일 배치"여야합니다. 이 구성을 사용하면 첫 번째 프로세스 그룹이 전체 데이터 배치 (FlowFile 동시성에 따라 단일 FlowFile 또는 여러 FlowFile이 됨)를 일관된 데이터 배치로 처리합니다. 해당 데이터 배치에 대한 처리가 완료되면 모든 FlowFile이 처리를 완료하고 프로세스 그룹에서 나갈 준..

FlowFile 동시성은 데이터를 프로세스 그룹으로 가져 오는 방법을 제어하는 ​​데 사용됩니다. 세 가지 옵션을 사용할 수 있습니다. 무제한 (기본값) 노드 당 단일 FlowFile 노드 당 단일 배치 FlowFile Concurrency가 "Unbounded"로 설정되면, 프로세스 그룹의 입력 포트는 가능한 한 빨리 데이터를 수집합니다. 단, 역압으로 인해 데이터가 수집되지는 않습니다. FlowFile 동시성이 "노드 당 단일 FlowFile"로 구성된 경우 입력 포트는 한 번에 단일 FlowFile 만 허용합니다. 해당 FlowFile이 프로세스 그룹에 들어가면 모든 FlowFile이 프로세스 그룹을 떠날 때까지 (시스템에서 제거 / 자동 종료되거나 출력 포트를 통해 종료 될 때까지) 추가 Flow..

프로세서 구성 대화 상자의 마지막 탭은 설명 탭입니다. 이 탭은 사용자가이 구성 요소에 적합한 주석을 포함 할 수있는 영역을 제공합니다. 설명 탭 사용은 선택 사항입니다. 추가 도움말 프로세서를 마우스 오른쪽 버튼으로 클릭하고 컨텍스트 메뉴에서 '사용'을 선택하여 각 프로세서의 사용에 대한 추가 문서에 액세스 할 수 있습니다. 또는 UI의 오른쪽 상단 모서리에있는 전역 메뉴에서 도움말을 선택하여 사용 가능한 모든 프로세서에 대한 사용 설명서를 포함하여 모든 설명서가 포함 된 도움말 페이지를 표시합니다. 사용 설명서를 보려면 원하는 프로세서를 클릭하십시오. 프로세스 그룹 구성 프로세스 그룹을 구성하려면 프로세스 그룹을 마우스 오른쪽 버튼으로 클릭 Configure하고 상황에 맞는 메뉴에서 옵션을 선택 합니..

일정 탭의 오른쪽에는 '실행 기간'을 선택하는 슬라이더가 있습니다. 이것은 프로세서가 트리거 될 때마다 실행되도록 예약해야하는 시간을 제어합니다. 슬라이더 왼쪽에는 'Lower latency'로 표시되어 있고 오른쪽에는 'Higher throughput'으로 표시되어 있습니다. 프로세서 실행이 완료되면 FlowFile을 다음 연결로 전송하기 위해 저장소를 업데이트해야합니다. 리포지토리 업데이트는 비용이 많이 들기 때문에 리포지토리를 업데이트하기 전에 한 번에 수행 할 수있는 작업이 많을수록 프로세서가 처리 할 수있는 작업이 많아집니다 (처리량 증가). 그러나 이는 이전 프로세스가이 저장소를 업데이트 할 때까지 다음 프로세서가 해당 FlowFiles 처리를 시작할 수 없음을 의미합니다. 그 결과 지연 시간..

다음으로 예약 탭은 '동시 작업'이라는 구성 옵션을 제공합니다. 이것은 프로세서가 사용할 스레드 수를 제어합니다. 다르게 말하면이 프로세서가 동시에 처리해야하는 FlowFile의 수를 제어합니다. 이 값을 늘리면 일반적으로 프로세서가 동일한 시간에 더 많은 데이터를 처리 할 수 ​​있습니다. 그러나 다른 프로세서에서 사용할 수없는 시스템 리소스를 사용하여이를 수행합니다. 이것은 본질적으로 프로세서의 상대적 가중치를 제공하며 다른 프로세서 대신이 프로세서에 할당되어야하는 시스템 자원의 양을 제어합니다. 이 필드는 대부분의 프로세서에서 사용할 수 있습니다. 그러나 단일 동시 작업으로 만 예약 할 수있는 일부 유형의 프로세서가 있습니다. 실행 일정 '실행 일정'은 프로세서가 실행되도록 일정을 잡는 빈도를 나타..