FlowFile 동시성은 데이터를 프로세스 그룹으로 가져 오는 방법을 제어하는 데 사용됩니다. 세 가지 옵션을 사용할 수 있습니다.
- 무제한 (기본값)
- 노드 당 단일 FlowFile
- 노드 당 단일 배치
FlowFile Concurrency가 "Unbounded"로 설정되면, 프로세스 그룹의 입력 포트는 가능한 한 빨리 데이터를 수집합니다. 단, 역압으로 인해 데이터가 수집되지는 않습니다.
FlowFile 동시성이 "노드 당 단일 FlowFile"로 구성된 경우 입력 포트는 한 번에 단일 FlowFile 만 허용합니다. 해당 FlowFile이 프로세스 그룹에 들어가면 모든 FlowFile이 프로세스 그룹을 떠날 때까지 (시스템에서 제거 / 자동 종료되거나 출력 포트를 통해 종료 될 때까지) 추가 FlowFile이 가져 오지 않습니다. 이로 인해 NiFi가 데이터를 처리하는 데 사용하는 병렬화가 줄어들 기 때문에 종종 성능이 저하됩니다. 그러나 사용자가이 방법을 사용하는 데에는 몇 가지 이유가 있습니다. 일반적인 사용 사례는 들어오는 각 FlowFile에 디렉터리의 파일 목록과 같은 여러 다른 데이터 항목에 대한 참조가 포함 된 경우입니다. 사용자는 다른 데이터를 프로세스 그룹에 입력하기 전에 전체 목록을 처리 할 수 있습니다.
FlowFile 동시성이 "노드 당 단일 배치"로 구성된 경우 입력 포트는 "노드 당 단일 FlowFile"모드에서 동작하는 방식과 유사하게 동작하지만 FlowFile이 수집 될 때 입력 포트는 계속 수집됩니다. 입력 포트를 공급하는 모든 대기열이 비워 질 때까지 모든 데이터. 이 시점에서 모든 데이터가 처리를 완료하고 프로세스 그룹을 떠날 때까지 더 이상 데이터를 프로세스 그룹으로 가져 오지 않습니다 ( 배치 지향 프로세스 그룹 연결 참조 ).
| FlowFile 동시성은 데이터를 입력 포트에서 프로세스 그룹으로 가져올 때만 제어합니다. 프로세스 그룹 내의 프로세서가 NiFi 외부에서 데이터를 수집하는 것을 막지는 않습니다.아웃 바운드 정책 FlowFile 동시성은 데이터를 프로세스 그룹으로 가져 오는 방법을 지시하는 반면 아웃 바운드 정책은 프로세스 그룹에서 데이터 흐름을 제어합니다. 사용 가능한 두 가지 옵션이 있습니다.
아웃 바운드 정책이 "일괄 출력"으로 구성된 경우, 출력 포트는 프로세스 그룹에있는 모든 데이터가 출력 포트에 대기 할 때까지 프로세스 그룹에서 데이터를 전송하지 않습니다 (즉, 데이터가 프로세스 그룹에서 모든 데이터 처리 완료). 데이터가 모두 동일한 출력 포트에 대해 대기열에 있는지 또는 일부 데이터가 출력 포트 A에 대해 대기열에 있는지 여부와 다른 데이터가 출력 포트 B에 대해 대기열에 있는지 여부는 중요하지 않습니다. 이러한 조건은 모두 측면에서 동일한 것으로 간주됩니다. FlowFile 처리 완료. "노드 당 단일 FlowFile"의 FlowFile 동시성과 함께 "일괄 출력"의 아웃 바운드 정책을 사용하면 사용자가 단일 FlowFile (그 자체가 데이터 배치를 나타낼 수 있음)을 쉽게 수집 한 다음 모든 처리가 완료 될 때까지 기다릴 수 있습니다. 데이터 흐름의 다음 단계 (즉, 프로세스 그룹 외부의 다음 구성 요소)로 진행하기 전에 FlowFile이 완료되었습니다. 또한이 모드를 사용할 때 프로세스 그룹에서 전송되는 각 FlowFile에는 프로세스 그룹의 각 출력 포트에 대해 "batch.output. <Port Name>"이라는 일련의 속성이 제공됩니다. 이 값은이 데이터 일괄 처리에 대해 해당 출력 포트로 라우팅 된 FlowFile의 수와 같습니다. 예를 들어, 단일 FlowFile이 5 개의 FlowFile로 분할 된 경우를 생각해보십시오.batch.output.A = 2, batch.output.B = 1, batch.output.C = 2, batch.output.D = 0. "일괄 출력"의 아웃 바운드 정책은 "Unbounded"의 FlowFile 동시성과 함께 사용될 때 어떤 이점도 제공하지 않습니다. 결과적으로 FlowFile 동시성이 "Unbounded"로 설정된 경우 아웃 바운드 정책이 무시됩니다. |
'기술_Nifi' 카테고리의 다른 글
| 매개 변수 컨텍스트 (0) | 2022.08.08 |
|---|---|
| 배치 지향 프로세스 그룹 연결 (0) | 2022.08.07 |
| 댓글 탭 (0) | 2022.08.07 |
| 실행 시간 (0) | 2022.08.07 |
| 동시 작업 (0) | 2022.08.07 |