And Brain said,

오늘은 거의 모든 인프라에 적용될 수 있는 Elasticsearch를 구축해보겠습니다. 환경은 Ubuntu 22.04 와 Elasticsearch 버전은 8.8.2 입니다. ELK Stack의 경우 이전에 여러번 소개했던 적이 있으니, 제 블로그 글도 참고해보시면 좋을 것 같습니다. https://theworldaswillandidea.tistory.com/115 Elasticsearch Cluster, 거대한 데이터 군체다들 알다시피 Elasticsearch는 대용량 데이터의 실시간 검색과 분석에 탁월한 검색엔진이다. 오늘은 이 Elasticsearch의 핵심 아키텍처 클러스터(Cluster)와 노드(Node)를 알아보고 실습까지 해보자. IT에theworldaswillandidea.tistory.co..

얼마전, Elasticsearch 세미나를 다녀온 후, 여러가지로 내가 구축한 ELK Cluster를 더 활용하지 못하고 있단 생각이 들었다. 그리하여 오늘은 Elastic의 여러 비트들 중 Heartbeat에 대해서 알아보자. https://theworldaswillandidea.tistory.com/115 Elasticsearch Cluster, 거대한 데이터 군체 다들 알다시피 Elasticsearch는 대용량 데이터의 실시간 검색과 분석에 탁월한 검색엔진이다. 오늘은 이 Elasticsearch의 핵심 아키텍처 클러스터(Cluster)와 노드(Node)를 알아보고 실습까지 해보자. IT에 theworldaswillandidea.tistory.com ELK Stack은 내 블로그 관련 포스팅들이 있..

오늘은 ELK Stack의 한 축인 Kibana에 대해 아주 간단하게 알아보자. Kibana는 아주 매력적인 도구로 Elasticsearch와 함께 사용되는 오픈 소스의 데이터 시각화 및 탐색 도구다. 바로 기능부터 살펴보자. Discover에서는여러분이 만든 인덱스 패턴을 통해 엘라스틱서치에 저장된 데이터를 검색하고 탐색할 수 있도록 도와준다. 인덱스는 이곳에서 인덱스 패턴과 ILM(Index Lifecycle Management) 등을 통해 인덱스를 관리할 수 있다. Dashboard에서는 여러분들이 만드는 Visualization을 모아서 볼 수 있다. 주로 사용되는 것은 이 두가지 기능이고, 이외에도 여러가지 부가적인 기능들이 존재하므로 이 Kibana를 통해 여러분들의 상상을 현실로 만들어보시길..

오늘은 오픈소스 데이터 수집, 처리, 전송 도구 Logstash에 대해 알아보자. Logstash는 다양한 소스에서 데이터를 수집하고, 필터링, 가공하여 Elasticsearch 등의 저장소에 전송한다. Logstash는 크게 입력(input), 필터(filter), 출력(output) 3가지 파이프라인으로 구성되어있는데 각각은 다채롭게 활용 가능하여 강력한 확장성을 가진다. input, filter, output 설정들에 대해 예제를 통해 알아보자. 기본적으로 conf.d 폴더 내에 설정 파일들을 둬서 설정한다. input { beats { port => 5044 host => "0.0.0.0" }} input 설정을 이런 식으로 해준다면 모든 IP에서 오는 데이터들을 5044 포트로 들어오게 한다. ..

다들 알다시피 Elasticsearch는 대용량 데이터의 실시간 검색과 분석에 탁월한 검색엔진이다. 오늘은 이 Elasticsearch의 핵심 아키텍처 클러스터(Cluster)와 노드(Node)를 알아보고 실습까지 해보자. IT에서 클러스터와 노드는 Elasticsearch에서만 사용되는 개념은 아니고 예시를 Elasticsearch로 드는 것뿐이다. 먼저 Node는 분산 처리 시스템의 독립적인 단위로, 노드가 곧 하나의 Elastic 서버다. Cluster내에 이러한 노드를 여러 개 둔다면 각 노드는 데이터를 복제하고 검색 요청을 분산 처리하며, 또 클러스터 내 다른 노드들과 통신 가능하여 클러스터의 성능과 안정성을 보장한다. 노드는 Master-eligible 노드와 Data 노드, Ingest 노드..