Fluentd 설명

Fluentd는 통합 로깅 계층을 위한 오픈 소스 데이터 수집기입니다.

 

Fluentd를 사용하면 데이터를 더 잘 사용하고 이해할 수 있도록 데이터 수집 및 소비를 통합할 수 있습니다.

 

 

 

Fluentd 이전

 

 

Fluentd 후

 

 

 

 

---

Fluentd는 데이터 수집 및 소비를 통합하여 데이터를 더 잘 사용하고 이해할 수 있게 해주는 오픈 소스 데이터 수집기입니다.

주요 기능은 다음과 같습니다.

 

 

JSON을 사용한 통합 로깅

Fluentd는 데이터를 가능한 한 많이 JSON으로 구조화하려고 시도합니다. 이를 통해 Fluentd는 로그 데이터 처리의 모든 측면( 여러 원본 및 대상 ( 통합 로깅 계층 ) 에서 로그 수집, 필터링, 버퍼링 및 출력 )을 통합할 수 있습니다 . 유연한 스키마를 유지하면서 액세스할 수 있는 구조가 충분하므로 JSON을 사용하면 다운스트림 데이터 처리가 훨씬 쉽습니다.

 

 

플러그형 아키텍처

Fluentd에는 커뮤니티가 기능을 확장할 수 있는 유연한 플러그인 시스템이 있습니다. 500개 이상의 커뮤니티 기여 플러그인은 수십 개의 데이터 소스 와 데이터 출력 을 연결합니다 . 플러그인을 활용하면 로그를 즉시 더 잘 활용할 수 있습니다.

 

필요한 최소 자원

Fluentd는 C 언어와 Ruby의 조합으로 작성되었으며 시스템 리소스가 거의 필요하지 않습니다. 바닐라 인스턴스는 30-40MB의 메모리에서 실행되며 13,000개의 이벤트/초/코어를 처리할 수 있습니다.

내장된 신뢰성

Fluentd는 노드 간 데이터 손실을 방지하기 위해 메모리 및 파일 기반 버퍼링을 지원합니다. Fluentd는 또한 강력한 장애 조치를 지원하며 고가용성을 위해 설정할 수 있습니다. 2,000개 이상의 데이터 중심 기업 이 Fluentd를 사용하여 로그 데이터를 더 잘 사용하고 이해함으로써 제품과 서비스를 차별화합니다.