ELK(ElasticSearch, Logstash, Kibana) ELK Stack

https://www.elastic.co/kr/elastic-stack/features

 

Elastic(ELK) Stack 기능 목록 | Elastic

1) ElasticSearch

 

- ElasticSearch는 Lucene 기반으로 개발한 분산 검색엔진으로, Logstash를 통해 수신된 데이터를 저장소에 저장하는 역할을 담당

- 데이터를 중심부에 저장하여 예상되는 항목을 검색하고 예상치 못한 항목을 밝혀낼 수 있다.

- 정형, 비정형, 위치정보, 메트릭 등 원하는 방법으로 다양한 유형의 검색을 수행하고 결합할 수 있다.

 

 

2) Logstash

 

- 오픈소스 서버측 데이터 처리 파이프라인으로, 다양한 소스에서 동시에 데이터를 수집하고 변환하여 stash 보관소로 보낸다.

- 수집할 로그를 선정해서, 지정된 대상 서버(ElasticSearch)에 인덱싱하여 전송하는 역할을 담당하는 소프트웨어

 

3) Kibana

 

- 데이터를 시각적으로 탐색하고 실시간으로 분석 할 수 있다.

- 시각화를 담당하는 HTML + Javascript 엔진이라고 보면 된다.

 

1. 일반적인 ELK

1) #Elasticsearch : 분석, 저장, 검색

2) #Logstash : 수집, 변환, 필터링, 전처리

3) #Kibana : 가시화

​

2. Beats + ELK

- 역할 : 데이터 수집, 대상이 되는 파일 또는 시스템정보에 대한

데이터 지정된 시간(period) 간격으로 데이터 수집 및 전달

- 예시 : /back/logs/access_log 파일에 대한 tail 기준 신규 생성되는 (텍스트)데이터를 수집

- 전달 : 수집된 데이터에 대해서 엘라스틱(인덱스 생성)으로 또는

Logstash(텍스트 전처리: 원하는 데이터 필터링)로 전달

​

3. Beats 주요유형

- #FileBeat : 로그파일, 대용량 CSV 파일 등 파일 위주의 대량 데이터 수집

(AI 학습활용, 초기 저장된 데이터 읽는 시간 용량에 따라 필요)

- #MetricBeat : 시스템 실행중인 프로세스 정보, 프로세스의한 자원 소모 및 유휴자원 등의 정보를 실시간 수집

- WinLogBeat : Window OS 용 window 이벤트 관련 로그정보 및 기타 윈도우용 로그데이터 수집

- HeartBeat : 다른 프로세스의 가동 시간 모니터링, 다양한 시스템을 동시에 모니터링 할 때 유용

- PacketBeat : 네트워크에 대한 Depth 있는 데이터 수집

- AuditBeat : 리눅스 시스템의 사용자 접속과 실행 이벤트 로그 정보(감사) 데이터 정보 수집, 보안 분석 활용