Elasticsearch의 기계 학습 설정

Elasticsearch의 기계 학습 설정

기계 학습을 사용하기 위해 설정을 구성 할 필요가 없습니다. 기본적으로 활성화되어 있습니다.

머신 러닝은 SSE4.2 명령어를 사용하므로 CPU가 SSE4.2를 지원 하는 머신에서만 작동합니다 . 나이가 하드웨어에서 Elasticsearch을 실행하면 해제 기계 (설정하여 학습해야한다 xpack.ml.enabled에 false).

일반 기계 학습 설정

node.roles: [ ml ]

( 정적 ) 노드 를 작업을 실행할 수 있는 기계 학습 노드 로 식별하기 node.roles위해 포함 ml하도록 설정 합니다 . 모든 노드는 기본적으로 기계 학습 노드입니다.

설정을 사용하는 경우 node.roles모든 필수 역할을 명시 적으로 설정해야합니다. 자세한 내용은 Node 에 문의하십시오 .

전용 조정 노드 또는 전용 마스터 노드에서는 ml역할을 설정하지 마십시오 .

xpack.ml.inference_model.cache_size( 정적 ) 허용되는 최대 추론 캐시 크기입니다. 추론 캐시는 각 수집 노드의 JVM 힙에 있습니다. 캐시는 inference프로세서에 더 빠른 처리 시간을 제공합니다 . 값은 정적 바이트 크기 값 (예 : "2GB") 또는 총 할당 된 힙의 백분율 일 수 있습니다. 기본값은 "40 %"입니다. 기계 학습 회로 차단기 설정을 참조하십시오 .

xpack.ml.inference_model.time_to_live ( 정적 ) 추론 모델 캐시에있는 모델의 TTL (Time to Live)입니다. TTL은 마지막 액세스에서 계산됩니다. inference 프로세서 시도는 캐시에서 모델을로드합니다. 는 IF inference프로세서는 TTL 기간 동안 문서를 수신하지 않습니다, 참조 모델은 캐시에서 퇴거에 있었 네요. 문서가 나중에 처리되면 모델이 다시 캐시에로드됩니다. 기본값은

5m.xpack.ml.max_inference_processors( 동적 ) inference모든 수집 파이프 라인에서 허용되는 총 유형 프로세서 수입니다. 제한에 도달 inference하면 파이프 라인에 프로세서를 추가 할 수 없습니다 . 기본값은

50.xpack.ml.max_machine_memory_percent( 동적 ) 기계 학습이 분석 프로세스 실행에 사용할 수있는 기계 메모리의 최대 백분율입니다. (이러한 프로세스는 Elasticsearch JVM과 별개입니다.) 기본값은 30%입니다. 제한은 현재 사용 가능한 메모리가 아닌 시스템의 총 메모리를 기반으로합니다. 그렇게하면 기계 학습 작업의 예상 메모리 사용량이 제한을 초과하게되는 경우 작업이 노드에 할당되지 않습니다.

xpack.ml.max_model_memory_limit( 동적 ) model_memory_limit이 노드의 모든 작업에 대해 설정할 수있는 최대 속성 값입니다.

model_memory_limit이 설정 값보다 큰 속성 값 으로 작업을 만들려고 하면 오류가 발생합니다. 이 설정을 업데이트해도 기존 작업은 영향을받지 않습니다. model_memory_limit속성 에 대한 자세한 내용 은 `analysis_limits`를 참조하세요 .

xpack.ml.max_open_jobs( 동적 ) 노드에서 동시에 실행할 수있는 최대 작업 수입니다. 기본값은 20. 이 맥락에서 작업에는 이상 탐지 작업과 데이터 프레임 분석 작업이 모두 포함됩니다. 최대 작업 수도 메모리 사용량에 의해 제한됩니다. 따라서 작업의 예상 메모리 사용량이 허용 된 것보다 높으면 노드에서 실행되는 작업이 더 적습니다. 버전 7.1 이전에는이 ​​설정이 노드 당 비 동적 설정이었습니다. 버전 7.1에서는 클러스터 전체의 동적 설정이되었습니다. 결과적으로 노드 시작 후 해당 값의 변경 사항은 클러스터의 모든 노드가 버전 7.1 이상을 실행 한 후에 만 ​​사용됩니다. 허용되는 최대 값은 512입니다.

xpack.ml.nightly_maintenance_requests_per_second( 동적 ) 야간 유지 관리 작업이 만료 된 모델 스냅 샷 및 결과를 삭제하는 비율입니다. 설정은 쿼리 기준 삭제에 사용되는 [requests_per_second] ( https://www.elastic.co/guide/en/elasticsearch/reference/current/docs-delete-by-query.html#_throttling_delete_requests ) 매개 변수에 대한 프록시입니다. 조절을 요청하고 제어합니다. 유효한 값보다 커야 0.0거나 같은 -1.0곳에 -1.0디폴트 값이 사용되는 방법. 기본값은-1.0

xpack.ml.node_concurrent_job_allocations( 동적 ) opening각 노드 에서 동시에 상태에 있을 수있는 최대 작업 수입니다 . 일반적으로 일자리는 주로 이동하기 전에이 주에서 약간의 시간을 보냅니다 open. 대형 모델이 열릴 때 복원해야하는 작업은 opening 주 에서 더 많은 시간을 보냅니다 . 기본값은 2.