grok 표현식 디버깅

grok 표현식 디버깅

데이터 처리 파이프 라인에서 사용하기 전에 Kibana Grok 디버거 에서 grok 패턴을 빌드하고 디버그 할 수 있습니다 . Grok는 임의의 텍스트를 구문 분석하고 구조화하는 데 사용할 수있는 패턴 일치 구문입니다. Grok는 syslog, apache 및 기타 웹 서버 로그, mysql 로그 및 일반적으로 사람이 소비하도록 작성된 모든 로그 형식을 구문 분석하는 데 유용합니다.

Grok 패턴은 수집 노드 grok 프로세서 및 Logstash grok 필터에서 지원 됩니다. grok 패턴의 구문에 대한 자세한 내용 은 grok 기본 사항 을 참조하십시오 .

Elastic Stack은 120 개 이상의 재사용 가능한 grok 패턴과 함께 제공됩니다. 전체 패턴 목록은 Ingest node grok patterns 및 Logstash grok 패턴 을 참조하세요 .

수집 노드와 Logstash는 동일한 grok 구현 및 패턴 라이브러리를 공유하므로 Grok 디버거 에서 생성하는 모든 grok 패턴 은 수집 노드 및 Logstash에서 작동합니다.

Grok 디버거 시작하기

이 예제는 Grok 디버거 사용을 안내합니다 . 이 도구는 Kibana에서 자동으로 활성화됩니다.

Elastic Stack 보안 기능 manage_pipeline 을 사용하는 경우 Grok 디버거를 사용할 수있는 권한 이 있어야합니다 .

1. 주 메뉴를 열고 Dev Tools 를 클릭 한 다음 Grok Debugger 를 클릭 합니다.
2. 에서 샘플 데이터 , 당신은 구문 분석하고자하는 데이터의 대표 메시지를 입력합니다. 예를 들면 :
3. 55.3 . 244.1 GET / 인덱스 . HTML 15824 0.043
4. 에서 grok 수 패턴 , 당신은 데이터에 적용 할 것을 grok 수 패턴을 입력합니다.% { IP : 클라이언트 } % { WORD : 메소드 } % { URIPATHPARAM : 요청 } % { NUMBER : 바이트 } % { NUMBER : 기간 }
5. 이 예에서 로그 행을 구문 분석하려면 다음을 사용하십시오.
6. 시뮬레이션을 클릭 합니다.

   

7. grok 패턴을 적용하여 발생하는 시뮬레이션 된 이벤트를 볼 수 있습니다.

커스텀 패턴 테스트

기본 grok 패턴 사전에 필요한 패턴이 포함되어 있지 않은 경우 Grok 디버거를 사용하여 사용자 지정 패턴을 정의, 테스트 및 디버그 할 수 있습니다.

Grok 디버거에 입력 한 사용자 지정 패턴은 저장되지 않습니다. 사용자 지정 패턴은 현재 디버깅 세션에서만 사용할 수 있으며 부작용이 없습니다.

이 예제에 따라 사용자 지정 패턴을 정의하십시오.

1. 에서 샘플 데이터 , 다음 샘플 메시지를 입력 :
2. 일월 1 06 : 25 : 43 mailserver14 접미사 / 정리 [ 21,403 ] : BEF25A72965 : 메시지 - ID = < 20130101142543.5828399CCAF@mailserver14 . 예 . com >
3. 다음 grok 패턴을 입력하십시오.grok 패턴은 POSTFIX_QUEUEID 및 라는 사용자 정의 패턴을 참조 MSG합니다.
4. % { SYSLOGBASE } % { POSTFIX_QUEUEID : queue_id } : % { MSG : syslog_message }
5. 확장 사용자 정의 패턴을 하고 grok 수의 표현에 사용하려는 사용자 정의 패턴 패턴 정의를 입력합니다. 각 패턴 정의는 고유 한 행에 지정해야합니다.POSTFIX_QUEUEID [ 0 - 9A - F ] { 10 , 11 } MSG 메시지 - ID = <{% GREEDYDATA }>
6. 이 예에서는 POSTFIX_QUEUEID및에 대한 패턴 정의를 지정해야합니다 MSG.
7. 시뮬레이션을 클릭 합니다.

   

   오류가 발생하면 출력이 예상 한 이벤트와 일치 할 때까지 사용자 지정 패턴을 계속 반복 할 수 있습니다.
8. 사용자 지정 패턴이 포함 된 grok 패턴을 적용한 결과 시뮬레이션 된 출력 이벤트가 표시됩니다.