Grafana Loki 란?

우리가 기존에 사용하던 ELK

  • ELK란 elastic / logstash / kibana 의 앞글자를 딴 시슷템으로 데이터를 수집, 처리, 조회 하는데 특화되어있는 시스템이다.

Elastic search는 강력한 검색 및 쿼리 기능을 제공하여 다양한 조건으로 로그를 검색하고원하는 데이터를 쉽게 추출할 수 있다.

Logstash는 다양한 데이터 형식을 수집하고 변환할 수 있는 기능제공한다.

  • 인덱스란 ? - 단일 데이터 단위를 도큐먼트라고 하며, 이 도큐먼트를 모아놓은 집합을 인덱스라고 한다.

ELK 서비스의 한계점

  • 인덱스 용량이 증가함에 따라 운영부담과 비용이 크게 증가한다.
  • 튜닝을 통한 안정화에 한계가 있다.

Loki의 장점

  • 수평 확장이 가능하다

  • 가용성 높은 다중 테넌트 로그 집계가 가능하다

  • 로그에 대한 메타데이터만 인덱싱한다. 즉 레이블을 기반으로 구축되어있다.

  • 로그 내용을 색인화 하는것이 아닌, 레이블 세트를 색인화 하기 때문에 데이터 량을 감소시킬 수 있다.

  • 검색시 레이블 기반으로만 조회하고, 레이블과 매칭된 압축된 로그 데이터를 가져와 사용한다.

Loki의 한계

  • 풀텍스트 검색시 기존 ELK대비 느리다.
  • 쿼리언어를 새로이 학습해야한다.
  • 레퍼런스가 부족하다.

결론 : 기존 ELK대비 높은 압출률을 가진 구조로, 로그를 오랫동안 보관하기에도 용의하며 확장에 유리하다.