ELK Stack의 삼두마차, ELK

오늘은 ELK Stack의 삼두마차, ELK에 대해 알아보도록 하자.

내가 실제 사내 서버에 구축한 구조에 대해 알아보고 싶다면 아래 포스팅을 참고바란다.
https://theworldaswillandidea.tistory.com/101

ELK Stack, 완성된 시스템의 화룡점정

 

ELK

ELK는 Elasticsearch, Logstash 및 Kibana, 이 오픈 소스 프로젝트 세 개의 머리글자를 뜻한다.

Kibana - Logstash - Elasticsearch 순으로 설명하겠다.

Kibana

Kibana는 간단히 말해 데이터 시각화 도구이다.

그래프, 차트 등의 기본적 기능에서 위치 분석, 시계열 분석에 나아가 머신 러닝 기능까지 지원하는 누구나 자유롭게 사용할 수 있는 멋진 오픈 소스다.

Logstash

Logstash는 서버사이드 데이터 처리 파이프라인으로 여러 소스에서 동시에 데이터를 수집하여 필터 기능을 통해 데이터를 확장, 변경 및 삭제 등의 처리를 통해 가공을 한 후 Elasticsearch 같은 “stash”로 전송하는 역할을 한다.

모든 형태, 크기, 소스의 데이터를 수집 가능하다.

단순히 로그 뿐만 아니라 메트릭, 네트워크 데이터, 클라우드 데이터까지 지속적 스트리밍 방식으로 수집한다.

그리고 grok을 통해 비정형 데이터에서 구조를 도출하여 데이터를 동적으로 변환한다.

가장 멋진 점은 Logstash가 앞서 말했듯 서버사이드 파이프라인으로 200개 이상의 플러그인 프레임워크가 포함되어 있어 원하는 데이터 수집 파이프라인에 사용하여 자유롭게 사용할 수 있다는 것이다.

Elasticsearch

Elasticsearch는 검색 및 실시간 분석 엔진으로 엄청난 확장성과 유연성 그리고 매우 빠른 속도를 가지고 있으며, 사실상 모든 유형의 인프라에서 실행이 가능하다.

로그 모니터링, 인프라 모니터링, APM, 실시간 위치 데이터, 가상 모니터링 SIEM, 엔드포인트 보안 등 무궁무진하게 사용되고 있다.

Elasticsearch의 간단한 query가 어디까지 도달할 수 있는지 직접 확인해보길 바란다.


간단하게 Ubuntu 22.04에서 설치하는 법과 설정파일들의 경로를 알려드리고 마치도록 하겠다.

설정파일들을 직접 수정하여 설정하여 ELK를 구축하시길 바란다.


일단 먼저 Java가 설치되어 있어야한다.

이후 패키지 레포지토리 설정을 해주자.

curl -fsSL https://artifacts.elastic.co/GPG-KEY-elasticsearch |sudo gpg --dearmor -o /usr/share/keyrings/elastic.gpg

echo "deb [signed-by=/usr/share/keyrings/elastic.gpg] https://artifacts.elastic.co/packages/7.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-7.x.list

sudo apt update

Elasticsearch 설치와 Config 파일 경로

sudo apt install elasticsearch

//경로
/etc/elasticsearch/elasticsearch.yml

Kibana 설치와 Config 파일 경로

sudo apt install kibana

//경로
/etc/kibana/kibana.yml

Logstash 설치와 Config 파일 설정

sudo apt install logstash

//경로
/etc/logstash/conf.d

Logstash는 설정한 경로 폴더내의 모든 Config 파일들을 참조하므로 원하는 이름으로 Input , Filter, Output을 설정해보자.


여러분들의 서비스에 맞춰 설정하여 사용하도록 하길 바란다.

Thanks for watching, Have a nice day.