Elastic Stack 란?

• Elasticsearch의 시작
  
  • JSON 기반의 분산형 RESTful 검색 엔진.
  • 오픈소스로 사용하기 쉽고, 확장성이 좋고, 유연한 기능.
  • (정형, 비정형, 위치, 각종 지표 등 원하는 방법으로 검색)
• ELK으로 발전
  • 'Elasticsearch' + 'Logstash' + 'Kibana'
  • 심장의 역할을하는 Elasticsearch을 중심으로~
  • 기록수집 파이프라인 Logstash 및 시각화 도구 Kibana
• Elastic Stack으로 확장
  • 전세계 커뮤니티의 특정 제품군 도입요구.
  • 경량의 단일목적 데이터 수집기 Beats 추가.
  • 제품들을 강력하고, 쉽게, 발전된 형태로 통합.

  • 

  • 

  • 

    https://www.ozgurozkok.com/which-is-betteramazon-elasticsearch-service-vs-elasticsearch-service-on-elastic-cloud/

• ...
• 1) Elasticsearch
  • 컨셉
    
    • index : RDB의 Database. (유사한 특성을 가지는 데이터 집합)
    • type : RDB의 Table. (index 에서 하나 이상의 type를 정의)
    • document : RDB의 Row.  (index 를 생성할수있는 기본 데이터 단위)
    • field : RDB의 Column.
    • mapping : RDB의 schema.
    • shard : 샤드 (index 를 나누어 분산저장 및 병렬처리)
    • replication : 복제 (장애시, 고가용성을 위해~ shard 를 또다른 node 에 복제.) (디폴트 : 4샤드 , 1복제)
  • ...
• 2) Kibana 
  • 컨셉
    • ...
• 3) Logstash
  • 컨셉
    • input : 파일, 로그, beats(Filebeat) 등등의 파이프라인 입력 데이터.
    • filter : 파이프라인의 중간 필터링처리 장치.
      • grok : 문법분석 및 ...
      • mutate : 해당 이벤트의 일반적인 변환수행 
      • drop : 해당 이벤트의 삭제
      • clone : 해당 이벤트의 복사
      • geoip : 해당 IP의 위치정보 추가.
    • output : 파이프라인의 최종 프로세싱
      • elasticsearch : 해당 이벤트를 -> elasticsearch 으로 전송
      • file : 해당 이벤트를 -> 파일에 쓰기
      • graphite : 해당 이벤트를 -> graphite 으로 전송
      • statsd : ...
    • codec : I/O 스트림를 처리 할 수 있는 필터
      • json 인코딩/디코딩, multiline 이벤트 묶기, msgpack, plain, ...
• 4) Beats
  • 컨셉
    • FileBeat : 로그파일 -> ...
    • PacketBeat : 응용프로그램 간의 네트워크 패킷 -> 분석
    • MetricBeat : 운영체제 및 응용프로그램의 특정 지표 -> 수집
    • WinlogBeat : 윈도우즈 이벤트 로그 -> ...

-끝-