Logstash 소개

Logstash는 실시간 파이프라이닝 기능을 갖춘 오픈 소스 데이터 수집 엔진입니다. Logstash는 서로 다른 소스의 데이터를 동적으로 통합하고 선택한 대상으로 데이터를 정규화할 수 있습니다. 다양한 고급 다운스트림 분석 및 시각화 사용 사례를 위해 모든 데이터를 정리하고 민주화합니다.

Logstash는 원래 로그 수집의 혁신을 주도했지만 기능은 해당 사용 사례를 훨씬 능가합니다. 모든 유형의 이벤트는 다양한 입력, 필터 및 출력 플러그인으로 강화되고 변환될 수 있으며 많은 기본 코덱이 수집 프로세스를 더욱 단순화합니다. Logstash는 더 많은 양과 다양한 데이터를 활용하여 통찰력을 가속화합니다.

Logstash의 힘

Elasticsearch 등을 위한 수집 워크호스

강력한 Elasticsearch와 Kibana 시너지로 수평적으로 확장 가능한 데이터 처리 파이프라인

플러그형 파이프라인 아키텍처

다양한 입력, 필터 및 출력을 혼합, 일치 및 오케스트레이션하여 파이프라인 조화로 재생

커뮤니티 확장 가능하고 개발자 친화적인 플러그인 에코시스템

200개 이상의 플러그인을 사용할 수 있으며 자신만의 플러그인을 만들고 기여할 수 있는 유연성

Logstash는 데이터를 좋아합니다.

더 많이 수집하여 더 많이 알 수 있습니다. Logstash는 모든 모양과 크기의 데이터를 환영합니다.

로그 및 측정항목

모든 것이 시작된 곳.

• 모든 유형의 로깅 데이터 처리
  • Apache 와 같은 다수의 웹 로그 및 Java용 log4j 와 같은 애플리케이션 로그를 쉽게 수집
  • syslog , 네트워킹 및 방화벽 로그 등과 같은 다른 많은 로그 형식을 캡처합니다.
• Filebeat로 보완적인 보안 로그 전달 기능을 즐기십시오.
• TCP 및 UDP를 통해 Ganglia , collectd 및 기타 여러 인프라 및 애플리케이션 플랫폼 에서 메트릭 수집

인터넷

월드 와이드 웹을 잠금 해제하십시오.

• HTTP 요청 을 이벤트로 변환
  • 소셜 감정 분석을 위해 Twitter 와 같은 웹 서비스 파이어호스에서 사용
  • GitHub, HipChat, JIRA 및 기타 수많은 애플리케이션에 대한 Webhook 지원
  • 많은 Watcher 경고 사용 사례를 활성화합니다.
• 요청 시 HTTP 엔드포인트 를 폴링하여 이벤트 생성
  • 웹 애플리케이션 인터페이스에서 상태, 성능, 메트릭 및 기타 유형의 데이터를 보편적으로 캡처
  • 폴링 제어가 수신보다 선호되는 시나리오에 적합

데이터 저장소 및 스트림

이미 소유한 데이터에서 더 많은 가치를 발견하십시오.

• JDBC 인터페이스 가 있는 모든 관계형 데이터베이스 또는 NoSQL 저장소의 데이터를 더 잘 이해합니다.
• Apache Kafka , RabbitMQ 및 Amazon SQS 와 같은 메시징 대기열의 다양한 데이터 스트림 통합

센서 및 IoT

광범위한 다른 데이터를 탐색하십시오.

• 이 기술 발전의 시대에 거대한 IoT 세계는 연결된 센서에서 데이터를 캡처하고 활용하여 끝없는 사용 사례를 촉발합니다.
• Logstash는 모바일 장치에서 지능형 가정, 연결된 차량, 의료 센서 및 기타 여러 산업별 애플리케이션으로 전송되는 데이터 수집을 위한 공통 이벤트 수집 백본입니다.

쉽게 모든 것을 풍부하게

데이터가 좋을수록 지식이 향상됩니다. 수집하는 동안 데이터를 정리하고 변환하여 인덱스 또는 출력 시간에 즉시 거의 실시간으로 통찰력을 얻습니다. Logstash는 패턴 일치, 지리적 매핑 및 동적 조회 기능과 함께 많은 집계 및 변형과 함께 기본 제공됩니다.

• Grok 은 Logstash 필터의 핵심이며 비정형 데이터에서 구조를 도출하기 위해 유비쿼터스에서 사용됩니다. 웹, 시스템, 네트워킹 및 기타 유형의 이벤트 형식을 빠르게 해결하는 데 도움이 되는 풍부한 통합 패턴을 즐기십시오.
• IP 주소에서 지리 좌표 를 해독하고 , 날짜 복잡성을 정규화하고 , 키-값 쌍 및 CSV 데이터를 단순화 하고 , 민감한 정보에 지문을 생성 (익명화)하고, 로컬 조회 또는 Elasticsearch 쿼리로 데이터를 더욱 강화 하여 지평을 확장하십시오 .
• 코덱은 종종 같은 일반적인 이벤트 구조의 처리를 용이하게하기 위해 사용되는 JSON 과 여러 이벤트를.