CDW (Coding Discussion World)

환경변수

pymin — Thu, 11 Jan 2024 22:29:32 +0900

파이썬 환경변수 설정하기..

import os
os.environ['MLFLOW_TRACKING_USERNAME'] = 'admin'
os.environ['MLFLOW_TRACKING_PASSWORD'] = 'password'

환경변수 조회하기

import os
os.environ.get

환경변수 원하는 key로 조회하기

import os
os.environ.get['PATH']

kiali 란 무엇인가

pymin — Thu, 26 Jan 2023 16:59:44 +0900

Kiali는 사용자가 메시 토폴로지를 검사할 수 있는 다양한 방법을 제공합니다.

(즉,Visualizing mesh with Kiali)

사용자가 서비스 아키텍처의 상태를 신속하게 평가할 수 있도록 여러 정보 유형을 결합합니다.

개요

Kiali의 기본 페이지는 토폴로지 개요 입니다. 이 사용자에 대해 Kiali에 액세스할 수 있는 네임스페이스의 상위 수준 보기를 제공합니다. 원격 측정, 유효성 검사 및 상태와 함께 서비스 및 응용 프로그램 정보를 결합하여 시스템 동작에 대한 전체적인 요약을 제공합니다. 개요 페이지 는 다양한 필터링, 정렬 및 표시 옵션을 제공합니다. 여기에서 사용자는 네임스페이스 수준 작업을 수행하거나 더 자세한 보기로 빠르게 이동할 수 있습니다.

Kiali는 회로 차단기, 요청 속도, 대기 시간, 트래픽 흐름 그래프와 같은 기능에 대한 가시성을 제공하는 네임스페이스의 대화형 그래프 보기를 실시간으로 제공합니다. Kiali는 애플리케이션에서 서비스 및 워크로드에 이르기까지 다양한 수준의 구성 요소에 대한 통찰력을 제공하며, 선택한 그래프 노드 또는 에지에서 상황별 정보에 대한 상호 작용과 차트를 표시할 수 있습니다. Kiali는 게이트웨이, 대상 규칙, 가상 서비스, 메시 정책 등과 같은 Istio 구성의 유효성을 확인하는 기능도 제공합니다. Kiali는 자세한 지표를 제공하며 고급 쿼리에 기본 Grafana 통합이 가능합니다. Jaeger를 Kiali 콘솔에 통합하면 분산 추적이 제공됩니다.

그래프

Kiali Graph 는 메시 트래픽에 대한 강력한 시각화를 제공합니다. 이 토폴로지는 실시간 요청 트래픽을 Istio 구성 정보와 결합하여 서비스 메시의 동작에 대한 즉각적인 통찰력을 제공하므로 문제를 신속하게 찾아낼 수 있습니다. 여러 그래프 유형 을 사용하면 상위 수준 서비스 토폴로지, 하위 수준 워크로드 토폴로지 또는 애플리케이션 수준 토폴로지로 트래픽을 시각화할 수 있습니다.

그래프 노드는 가상 서비스 및 서비스 항목과 같은 다양한 경로 라우팅 옵션과 오류 주입 및 회로 차단기와 같은 특수 구성을 가리키는 다양한 정보로 장식되어 있습니다. mTLS 문제, 대기 시간 문제, 오류 트래픽 등을 식별할 수 있습니다. 그래프 는 고도로 구성 가능하고 트래픽 애니메이션을 표시할 수 있으며 강력한 찾기 및 숨기기 기능이 있습니다.

자신에게 중요한 네임스페이스와 데이터를 표시하도록 그래프를 구성하고 필요에 가장 잘 맞는 방식으로 표시할 수 있습니다.

Envoy 오픈소스란 무엇인가

pymin — Thu, 26 Jan 2023 16:40:35 +0900

엔보이 란?

Envoy는 대규모 최신 서비스 지향 아키텍처용으로 설계된 L7 프록시 및 통신 버스입니다.

이 프로젝트는 다음과 같은 신념에서 탄생했습니다.

네트워크는 애플리케이션에 투명해야 합니다. 네트워크 및 애플리케이션 문제가 발생하면 문제의 원인을 쉽게 확인할 수 있어야 합니다.

실제로 앞에서 언급한 목표를 달성하는 것은 매우 어렵습니다. Envoy는 다음과 같은 높은 수준의 기능을 제공하여 이를 시도합니다.

Out of Process 아키텍처: Envoy는 모든 애플리케이션 서버와 함께 실행되도록 설계된 독립형 프로세스입니다. 모든 Envoy는 각 애플리케이션이 localhost와 메시지를 송수신하고 네트워크 토폴로지를 인식하지 못하는 투명한 통신 메시를 형성합니다. 프로세스 외 아키텍처는 서비스 간 통신에 대한 기존 라이브러리 접근 방식에 비해 두 가지 실질적인 이점이 있습니다.

Envoy는 모든 애플리케이션 언어와 호환됩니다. 단일 Envoy 배포는 Java, C++, Go, PHP, Python 등 간에 메시를 형성할 수 있습니다. 서비스 지향 아키텍처에서 여러 애플리케이션 프레임워크 및 언어를 사용하는 것이 점차 보편화되고 있습니다. Envoy는 간극을 투명하게 연결합니다.
대규모 서비스 지향 아키텍처로 작업한 사람이라면 누구나 알고 있듯이 라이브러리 업그레이드를 배포하는 것은 엄청나게 고통스러울 수 있습니다. Envoy는 전체 인프라에서 투명하게 신속하게 배포하고 업그레이드할 수 있습니다.

L3/L4 필터 아키텍처: Envoy의 핵심은 L3/L4 네트워크 프록시입니다. 플러그형 필터 체인 메커니즘을 통해 필터를 작성하여 다른 TCP/UDP 프록시 작업을 수행하고 주 서버에 삽입할 수 있습니다. 원시 TCP 프록시 , UDP 프록시 , HTTP 프록시 , TLS 클라이언트 인증서 인증 , Redis , MongoDB , Postgres 등과 같은 다양한 작업을 지원하도록 필터가 이미 작성되었습니다 .

HTTP L7 필터 아키텍처: HTTP는 Envoy 가 추가 HTTP L7 필터 계층을 지원하는 최신 애플리케이션 아키텍처의 중요한 구성 요소입니다. HTTP 필터는 버퍼링 , 속도 제한 , 라우팅/전달 , Amazon의 DynamoDB 스니핑 등과 같은 다양한 작업을 수행하는 HTTP 연결 관리 하위 시스템에 연결할 수 있습니다 .

퍼스트 클래스 HTTP/2 지원: HTTP 모드에서 작동할 때 Envoy 는 HTTP/1.1과 HTTP/2를 모두 지원합니다. Envoy는 양방향에서 투명한 HTTP/1.1에서 HTTP/2 프록시로 작동할 수 있습니다. 즉, HTTP/1.1 및 HTTP/2 클라이언트와 대상 서버의 모든 조합을 연결할 수 있습니다. 권장되는 서비스 대 서비스 구성은 모든 Envoy 간에 HTTP/2를 사용하여 요청과 응답을 다중화할 수 있는 영구 연결 메시를 생성합니다.

HTTP/3 지원(현재 알파 버전): 1.19.0부터 Envoy는 이제 HTTP/3 업스트림 및 다운스트림을 지원하고 HTTP/1.1, HTTP/2 및 HTTP/3의 모든 조합을 양방향으로 변환합니다.

HTTP L7 라우팅: HTTP 모드에서 작동할 때 Envoy는 경로, 권한, 콘텐츠 유형, 런타임 값 등에 따라 요청을 라우팅하고 리디렉션할 수 있는 라우팅 하위 시스템을 지원합니다 . 이 기능은 Envoy를 프런트/에지로 사용할 때 가장 유용합니다. 프록시이지만 서비스 대 서비스 메시를 구축할 때도 활용됩니다.

gRPC 지원: gRPC 는 기본 다중 전송으로 HTTP/2 이상을 사용하는 Google의 RPC 프레임워크입니다. Envoy 는 gRPC 요청 및 응답을 위한 라우팅 및 로드 밸런싱 기반으로 사용하는 데 필요한 모든 HTTP/2 기능을 지원합니다. 두 시스템은 매우 상호보완적입니다.

서비스 검색 및 동적 구성: Envoy는 중앙 집중식 관리를 위해 계층화된 동적 구성 API 집합을 선택적으로 사용합니다. 계층은 백엔드 클러스터 내의 호스트, 백엔드 클러스터 자체, HTTP 라우팅, 청취 소켓 및 암호화 자료에 대한 동적 업데이트를 Envoy에 제공합니다. 더 간단한 배포를 위해 DNS 확인을 통해 백엔드 호스트 검색을 수행 할 수 있으며 (또는 완전히 건너뛸 수도 있음) 추가 계층은 정적 구성 파일로 대체됩니다.

상태 확인: Envoy 메시를 구축하는 권장 방법은 서비스 검색을 최종적으로 일관된 프로세스로 취급하는 것 입니다 . Envoy에는 업스트림 서비스 클러스터의 활성 상태 확인을 선택적으로 수행할 수 있는 상태 확인 하위 시스템이 포함되어 있습니다. 그런 다음 Envoy는 서비스 검색 및 상태 확인 정보의 조합을 사용하여 정상적인 로드 밸런싱 대상을 결정합니다. Envoy는 이상 감지 하위 시스템 을 통해 수동 상태 확인도 지원합니다 .

고급 로드 밸런싱: 분산 시스템의 여러 구성 요소 간의 로드 밸런싱 은 복잡한 문제입니다. Envoy는 라이브러리가 아닌 자체 포함된 프록시이기 때문에 단일 위치에서 고급 로드 밸런싱 기술을 구현하고 모든 애플리케이션에서 액세스할 수 있습니다. 현재 Envoy에는 자동 재시 도, 회로 차단 , 외부 속도 제한 서비스를 통한 글로벌 속도 제한 , 요청 섀도잉 및 이상치 감지 에 대한 지원이 포함되어 있습니다. 요청 경주에 대한 향후 지원이 예정되어 있습니다.

프런트/에지 프록시 지원: 에지 에서 동일한 소프트웨어를 사용하면 상당한 이점이 있습니다(관찰 가능성, 관리, 동일한 서비스 검색 및 로드 밸런싱 알고리즘 등). Envoy에는 대부분의 최신 웹 애플리케이션 사용 사례에 대한 에지 프록시로 적합하도록 하는 기능 세트가 있습니다. 여기에는 TLS 종료, HTTP/1.1 HTTP/2 및 HTTP/3 지원 , HTTP L7 라우팅 이 포함 됩니다.

동급 최고의 관찰성: 위에서 언급한 바와 같이 Envoy의 주요 목표는 네트워크를 투명하게 만드는 것입니다. 그러나 문제는 네트워크 수준과 애플리케이션 수준 모두에서 발생합니다. Envoy는 모든 하위 시스템에 대한 강력한 통계 지원을 포함합니다. statsd (및 호환 제공자)는 현재 지원되는 통계 싱크이지만 다른 것을 연결하는 것은 어렵지 않습니다. 통계는 관리 포트 를 통해서도 볼 수 있습니다.

lstio 설명

pymin — Thu, 26 Jan 2023 16:30:18 +0900

선도적인 서비스 메시를 통해 관찰 가능성, 트래픽 관리, 보안 및 정책을 간소화합니다.

Istio 서비스 메시

Istio는 개발자와 운영자가 분산 또는 마이크로서비스 아키텍처에서 직면하는 문제를 해결합니다. 처음부터 구축하든 기존 애플리케이션을 클라우드 네이티브로 마이그레이션하든 Istio가 도움이 될 수 있습니다.

배포된 모든 애플리케이션과 함께 프록시 "사이드카"를 추가함으로써 Istio를 사용하면 애플리케이션 인식 트래픽 관리, 놀라운 관찰 가능성 및 강력한 보안 기능을 네트워크에 프로그래밍할 수 있습니다.

서비스 메시란 무엇입니까?

최신 애플리케이션은 일반적으로 마이크로서비스의 분산 컬렉션으로 설계되며 각 마이크로서비스 컬렉션은 일부 개별 비즈니스 기능을 수행합니다. 서비스 메시는 애플리케이션에 추가할 수 있는 전용 인프라 계층입니다. 이를 통해 관찰 가능성, 트래픽 관리 및 보안과 같은 기능을 자신의 코드에 추가하지 않고도 투명하게 추가할 수 있습니다. "서비스 메시"라는 용어는 이 패턴을 구현하는 데 사용하는 소프트웨어 유형과 해당 소프트웨어를 사용할 때 생성되는 보안 또는 네트워크 도메인을 모두 설명합니다.

Kubernetes 기반 시스템과 같은 분산 서비스의 배포가 크기와 복잡성이 증가함에 따라 이해하고 관리하기가 더 어려워질 수 있습니다. 요구 사항에는 검색, 로드 밸런싱, 장애 복구, 메트릭 및 모니터링이 포함될 수 있습니다. 또한 서비스 메시는 종종 A/B 테스트, 카나리아 배포, 속도 제한, 액세스 제어, 암호화 및 종단 간 인증과 같은 보다 복잡한 운영 요구 사항을 처리합니다.

서비스 간 통신은 분산 응용 프로그램을 가능하게 합니다. 애플리케이션 클러스터 내부 및 전체에서 이 통신을 라우팅하는 것은 서비스 수가 증가함에 따라 점점 더 복잡해집니다. Istio는 이러한 복잡성을 줄이는 동시에 개발 팀의 부담을 덜어줍니다.

이스티오란?

Istio는 기존 분산 애플리케이션에 투명하게 계층화되는 오픈 소스 서비스 메시입니다. Istio의 강력한 기능은 서비스를 보호, 연결 및 모니터링하는 일관되고 보다 효율적인 방법을 제공합니다. Istio는 서비스 코드 변경이 거의 또는 전혀 없는 로드 밸런싱, 서비스 간 인증 및 모니터링을 위한 경로입니다. 강력한 컨트롤 플레인은 다음과 같은 중요한 기능을 제공합니다.

TLS 암호화, 강력한 ID 기반 인증 및 권한 부여를 사용하여 클러스터에서 서비스 간 통신을 보호합니다.
HTTP, gRPC, WebSocket 및 TCP 트래픽에 대한 자동 부하 분산
풍부한 라우팅 규칙, 재시도, 장애 조치 및 장애 주입을 통해 트래픽 동작을 세밀하게 제어
액세스 제어, 속도 제한 및 할당량을 지원하는 플러그형 정책 계층 및 구성 API
클러스터 수신 및 송신을 포함하여 클러스터 내의 모든 트래픽에 대한 자동 메트릭, 로그 및 추적

Istio는 확장성을 위해 설계되었으며 다양한 배포 요구 사항을 처리할 수 있습니다. Istio의 컨트롤 플레인은 Kubernetes에서 실행되며 해당 클러스터에 배포된 애플리케이션을 메시에 추가하거나 메시를 다른 클러스터로 확장하거나 Kubernetes 외부에서 실행되는 VM 또는 다른 엔드포인트를 연결할 수도 있습니다.

기여자, 파트너, 통합 및 배포자로 구성된 대규모 에코시스템은 다양한 시나리오를 위해 Istio를 확장하고 활용합니다. Istio를 직접 설치하거나 여러 공급업체에서 Istio를 통합하고 관리하는 제품을 제공할 수 있습니다.

작동 방식

Istio에는 데이터 평면과 제어 평면이라는 두 가지 구성 요소가 있습니다.

데이터 플레인은 서비스 간의 통신입니다. 서비스 메시가 없으면 네트워크는 전송되는 트래픽을 이해하지 못하며 트래픽의 유형이나 발신자 또는 수신자를 기반으로 결정을 내릴 수 없습니다.

서비스 메시는 프록시를 사용하여 모든 네트워크 트래픽을 가로채서 설정한 구성을 기반으로 광범위한 애플리케이션 인식 기능을 허용합니다.

Envoy 프록시는 클러스터에서 시작하는 각 서비스와 함께 배포되거나 VM에서 실행되는 서비스와 함께 실행됩니다.

컨트롤 플레인은 원하는 구성과 서비스 보기를 가져와서 프록시 서버를 동적으로 프로그래밍하여 규칙이나 환경이 변경되면 업데이트합니다.

===========================================================================================

lstio는 애플리케이션 네트워크 기능을 유연하고 쉽게 자동화할 수 있는 투명한 언어 독립적 방법을 제공하는 현대화된 서비스 네트워킹 레이어인 서비스 메시입니다. 클라우드 기반 애플리케이션을 구성하는 다양한 마이크로서비스를 관리하는 데 널리 사용되는 솔루션입니다. Istio 서비스 메시는 또한 이러한 마이크로서비스가 서로 통신하고 데이터를 공유하는 방법을 지원합니다.

조직이 클라우드로의 이동을 가속화하면서 필요에 따라 애플리케이션도 현대화하고 있습니다. 그러나 모놀리식 레거시 앱을 클라우드 기반 앱으로 전환하면 DevOps팀에 문제가 발생할 수 있습니다.

개발자는 클라우드에서 이동성을 보장하기 위해 느슨하게 결합된 마이크로서비스를 사용하여 앱을 어셈블하는 방법을 학습해야 합니다. 동시에 운영팀은 점점 더 커지는 하이브리드 및 멀티 클라우드 환경 내에서 새로운 클라우드 기반 앱을 관리해야 합니다. Istio를 사용하면 이러한 작업을 수행할 수 있습니다.

Istio의 정의

Istio는 조직에서 분산형 마이크로서비스 기반 앱을 어디서나 실행할 수 있도록 지원하는 오픈소스 서비스 메시입니다. 왜 Istio를 사용해야 하나요? Istio를 통해 조직은 마이크로서비스를 보호, 연결, 모니터링할 수 있으므로 엔터프라이즈 앱을 더욱 빠르고 안전하게 현대화할 수 있습니다.

Istio는 애플리케이션 코드를 변경할 필요 없이 서비스 간 트래픽 흐름을 관리하고 액세스 정책을 적용하며 원격 분석 데이터를 집계합니다. Istio는 기존의 분산형 애플리케이션에 투명하게 레이어링하여 배포 복잡성을 완화합니다.

Istio 서비스 메시의 이점

일관된 서비스 네트워킹 달성

네트워킹 운영자는 개발자 오버헤드를 추가하지 않고도 모든 서비스의 네트워킹을 일관성 있게 관리할 수 있습니다.

Istio 이점을 통한 서비스 보호

보안 운영자는 인증, 승인, 암호화를 비롯한 서비스 간 보안을 쉽게 구현할 수 있습니다.

애플리케이션 성능 향상

카나리아 롤아웃과 같은 권장사항을 구현하고 애플리케이션을 심도 있게 파악하여 성능을 개선하기 위해 집중해야 하는 부분을 파악할 수 있습니다.

Istio, Envoy, Kubernetes의 작동 방식

Istio와 Istio 아키텍처를 이해하기 위해서는 Envoy와 Kubernetes에 대해 알아야 합니다. Istio 대 Envoy 또는 Istio 대 Kubernetes의 문제가 아닙니다. 마이크로서비스 기반의 컨테이너화된 환경이 원활하게 작동하도록 이들을 함께 사용할 수 있습니다.

예를 들어 Istio 같은 서비스 메시는 제어 영역과 데이터 영역으로 구성됩니다. Istio는 Envoy의 확장된 버전을 데이터 영역으로 사용합니다. 그러면 Envoy가 Istio 서비스 메시의 모든 인바운드 트래픽과 아웃바운드 트래픽을 관리합니다.

반면 Kubernetes는 컨테이너화된 애플리케이션을 자동화하고 조정하여 이를 배포 및 확장하는 데 사용되는 많은 수동 프로세스를 제거하는 오픈소스 플랫폼입니다. Istio는 플랫폼에 독립적이지만, 개발자들은 Istio와 Kubernetes를 함께 사용하는 경우가 더 많습니다.

Istio는 플랫폼에 독립적이며 다양한 환경에서 실행되도록 설계되었습니다.

클라우드
온프레미스
Kubernetes
Mesos

Istio의 용도

Istio를 통해 조직은 분산형 애플리케이션을 대규모로 제공할 수 있습니다. 트래픽 관리, 승인, 암호화는 물론 감사 및 관측 가능성과 같은 서비스 간 네트워크 작업을 단순화합니다. 다음은 Istio의 이점을 제공하는 가장 일반적인 사용 사례입니다.

안전한 클라우드 기반 앱

강력한 ID 기반 인증, 승인, 암호화를 통해 애플리케이션 수준에서 보안을 강화할 수 있습니다.

효율적인 트래픽 관리

다양한 라우팅 규칙, 재시도, 장애 조치, 결함 주입으로 트래픽 동작을 세밀하게 제어할 수 있습니다.

서비스 메시 모니터링

Istio의 강력한 추적, 모니터링, 로깅 기능으로 서비스 성능이 업스트림에 미치는 영향을 자세히 파악할 수 있습니다.

Kubernetes 및 가상 머신을 통한 간편한 배포

Istio는 컨테이너 및 가상 머신을 포함한 기존 워크로드와 최신 워크로드 모두에 대해 가시성과 네트워크 제어를 제공합니다.

고급 기능으로 부하 분산 간소화

클라이언트 기반 라우팅, 카나리아 롤아웃과 같은 고급 기능과 함께 모든 트래픽에 자동화된 부하 분산을 사용할 수 있습니다.

정책 시행

액세스 제어, 비율 제한, 할당량을 지원하는 플러그인 가능한 정책 레이어 및 구성 API를 사용하여 정책을 시행할 수 있습니다.

jaeger(예거) 란?

pymin — Thu, 26 Jan 2023 16:22:12 +0900

Jaeger는 분산 서비스 간 트랜잭션을 추적하는 오픈소스 소프트웨어로 복잡한 마이크로서비스 환경을 모니터링하고 문제를 해결하는 데 사용됩니다.

(Open Source, End-to-End Distributed Tracing. Hosted by Cloud Native Computing Foundation)

Jaeger 용어 및 구성 요소

Jaeger는 실행 요청을 추적으로 표시합니다. 추적은 시스템 전반에서 데이터/실행 경로를 나타냅니다.

추적은 1개 이상의 스팬으로 이루어집니다. 스팬이란 Jaeger의 논리적 작업 단위입니다. 각 스팬에는 운영 작업의 이름, 시작 시간, 기간이 포함되어 있습니다. 스팬은 중첩되거나 순서대로 정리되어 있을 수 있습니다.

Jaeger는 연동하여 스팬과 추적을 수집, 저장, 시각화하는 여러 구성 요소가 포함되어 있습니다.

Jaeger Client는 분산 추적을 위한 OpenTracing API의 언어별 구현이 포함되어 있습니다. 수동으로 사용하거나 다양한 오픈소스 프레임워크와 함께 사용할 수 있습니다.

Jaeger Agent는 사용자 데이터그램 프로토콜 (User Datagram Protocol)을 통해 전송된 스팬을 수신하는 네트워크 데몬으로, 계측된 애플리케이션과 동일한 호스트에 배치됩니다. 일반적으로 쿠버네티스와 같은 컨테이너 환경의 사이드카를 통해 구현됩니다.

Jaeger Collector는 프로세싱을 위해 스팬을 수신하여 대기열에 배치합니다.

Collector에는 영구 스토리지 백엔드가 필요하기 때문에 Jaeger에는 스팬 스토리지용 플러그 가능 메커니즘이 있습니다.

Query는 스토리지에서 추적을 검색하는 서비스입니다.

Jaeger Console은 분산된 추적 데이터를 시각화하는 사용자 인터페이스입니다.

Jaeger의 오픈소스 커뮤니티

Jaeger는 여러 커뮤니티의 도움으로 완성되는 오픈소스 프로젝트입니다. Jaeger는 벤더에 종속되지 않는 OpenTracing API와 계측을 기반으로 합니다.

차량 공유 서비스 기업인 Uber에서 2015년 Jaeger를 오픈소스 프로젝트로 개발했습니다. 2017년 Cloud Native Computing Foundation(CNCF) Incubation 프로젝트로 채택되었으며 2019년에는 정식 프로젝트로 승인되었습니다.

Prometheus 뜻

pymin — Thu, 26 Jan 2023 16:17:35 +0900

Prometheus는 측정항목을 시계열 데이터로 수집하고 저장합니다.

프로메테우스란?

Prometheus 는 원래 SoundCloud 에 구축된 오픈 소스 시스템 모니터링 및 경고 툴킷 입니다. 2012년에 시작된 이래로 많은 회사와 조직에서 Prometheus를 채택했으며 프로젝트에는 매우 활발한 개발자 및 사용자 커뮤니티 가 있습니다. 이제 독립 실행형 오픈 소스 프로젝트이며 어떤 회사와도 독립적으로 유지 관리됩니다. 이를 강조하고 프로젝트의 거버넌스 구조를 명확히 하기 위해 Prometheus는 2016년 Kubernetes 에 이어 두 번째 호스팅 프로젝트로 Cloud Native Computing Foundation 에 합류했습니다 .

Prometheus는 측정항목을 시계열 데이터로 수집하고 저장합니다. 즉, 측정항목 정보는 레이블이라는 선택적 키-값 쌍과 함께 기록된 타임스탬프와 함께 저장됩니다.

특징

Prometheus의 주요 기능은 다음과 같습니다.

메트릭 이름과 키/값 쌍으로 식별되는 시계열 데이터가 있는 다차원 데이터 모델
PromQL, 이 차원성을 활용 하는 유연한 쿼리 언어
분산 스토리지에 의존하지 않음; 단일 서버 노드는 자율적입니다.
시계열 수집은 HTTP를 통한 풀 모델을 통해 발생합니다.
푸시 시계열 은 중간 게이트웨이를 통해 지원됩니다.
대상은 서비스 검색 또는 정적 구성을 통해 검색됩니다.
다양한 그래프 및 대시보드 지원 모드

메트릭이란 무엇입니까?

평신도 용어로 메트릭 은 숫자 측정입니다. 시계열 은 변경 사항이 시간 경과에 따라 기록됨을 의미합니다. 사용자가 측정하고자 하는 것은 애플리케이션마다 다릅니다. 웹 서버의 경우 요청 시간일 수 있고 데이터베이스의 경우 활성 연결 수 또는 활성 쿼리 수 등일 수 있습니다.

메트릭은 애플리케이션이 특정 방식으로 작동하는 이유를 이해하는 데 중요한 역할을 합니다. 웹 애플리케이션을 실행 중이고 애플리케이션이 느리다고 가정해 보겠습니다. 응용 프로그램에 어떤 일이 일어나고 있는지 알아보려면 몇 가지 정보가 필요합니다. 예를 들어 요청 수가 많으면 애플리케이션이 느려질 수 있습니다. 요청 수 메트릭이 있는 경우 이유를 파악하고 로드를 처리할 서버 수를 늘릴 수 있습니다.

구성품

Prometheus 생태계는 여러 구성 요소로 구성되며 그 중 다수는 선택 사항입니다.

시계열 데이터를 스크랩하고 저장 하는 메인 Prometheus 서버
애플리케이션 코드 계측을 위한 클라이언트 라이브러리
단기 작업 지원을 위한 푸시 게이트웨이
HAProxy, StatsD, Graphite 등과 같은 서비스를 위한 특수 목적 내보내기
경고 를 처리 하는 경고 관리자
다양한 지원 도구

대부분의 Prometheus 구성 요소는 Go 로 작성 되어 정적 바이너리로 쉽게 빌드하고 배포할 수 있습니다.

건축학

이 다이어그램은 Prometheus의 아키텍처와 일부 생태계 구성 요소를 보여줍니다.

Prometheus는 단기 작업을 위해 직접 또는 중간 푸시 게이트웨이를 통해 구성된 작업에서 측정항목을 스크랩합니다. 스크랩한 모든 샘플을 로컬에 저장하고 이 데이터에 대한 규칙을 실행하여 기존 데이터에서 새 시계열을 집계 및 기록하거나 경고를 생성합니다. Grafana 또는 기타 API 소비자를 사용하여 수집된 데이터를 시각화할 수 있습니다.

언제 맞습니까?

Prometheus는 순전히 숫자로 된 시계열을 기록하는 데 적합합니다. 기계 중심 모니터링과 고도로 동적인 서비스 지향 아키텍처 모니터링 모두에 적합합니다. 마이크로서비스의 세계에서 다차원 데이터 수집 및 쿼리 지원은 특별한 강점입니다.

Prometheus는 중단 중에 신속하게 문제를 진단할 수 있도록 하는 시스템으로서 안정성을 위해 설계되었습니다. 각 Prometheus 서버는 독립형이며 네트워크 스토리지 또는 기타 원격 서비스에 의존하지 않습니다. 인프라의 다른 부분이 손상되었을 때 이를 사용할 수 있으며 이를 사용하기 위해 광범위한 인프라를 설정할 필요가 없습니다.

언제 맞지 않습니까?

프로메테우스는 신뢰성을 중시합니다. 오류 상태에서도 시스템에 대해 사용 가능한 통계를 항상 볼 수 있습니다. 요청당 청구와 같이 100% 정확도가 필요한 경우 수집된 데이터가 충분히 자세하고 완전하지 않을 가능성이 있으므로 Prometheus는 좋은 선택이 아닙니다. 이러한 경우 청구를 위해 데이터를 수집하고 분석하는 데 다른 시스템을 사용하고 나머지 모니터링을 위해 Prometheus를 사용하는 것이 가장 좋습니다.

Fluentd 설명

pymin — Thu, 26 Jan 2023 16:14:26 +0900

Fluentd는 통합 로깅 계층을 위한 오픈 소스 데이터 수집기입니다.

Fluentd를 사용하면 데이터를 더 잘 사용하고 이해할 수 있도록 데이터 수집 및 소비를 통합할 수 있습니다.

Fluentd 이전

Fluentd 후

Fluentd는 데이터 수집 및 소비를 통합하여 데이터를 더 잘 사용하고 이해할 수 있게 해주는 오픈 소스 데이터 수집기입니다.

주요 기능은 다음과 같습니다.

JSON을 사용한 통합 로깅

Fluentd는 데이터를 가능한 한 많이 JSON으로 구조화하려고 시도합니다. 이를 통해 Fluentd는 로그 데이터 처리의 모든 측면( 여러 원본 및 대상 ( 통합 로깅 계층 ) 에서 로그 수집, 필터링, 버퍼링 및 출력 )을 통합할 수 있습니다 . 유연한 스키마를 유지하면서 액세스할 수 있는 구조가 충분하므로 JSON을 사용하면 다운스트림 데이터 처리가 훨씬 쉽습니다.

플러그형 아키텍처

Fluentd에는 커뮤니티가 기능을 확장할 수 있는 유연한 플러그인 시스템이 있습니다. 500개 이상의 커뮤니티 기여 플러그인은 수십 개의 데이터 소스 와 데이터 출력 을 연결합니다 . 플러그인을 활용하면 로그를 즉시 더 잘 활용할 수 있습니다.

필요한 최소 자원

Fluentd는 C 언어와 Ruby의 조합으로 작성되었으며 시스템 리소스가 거의 필요하지 않습니다. 바닐라 인스턴스는 30-40MB의 메모리에서 실행되며 13,000개의 이벤트/초/코어를 처리할 수 있습니다.

내장된 신뢰성

Fluentd는 노드 간 데이터 손실을 방지하기 위해 메모리 및 파일 기반 버퍼링을 지원합니다. Fluentd는 또한 강력한 장애 조치를 지원하며 고가용성을 위해 설정할 수 있습니다. 2,000개 이상의 데이터 중심 기업 이 Fluentd를 사용하여 로그 데이터를 더 잘 사용하고 이해함으로써 제품과 서비스를 차별화합니다.

kibana 설명

pymin — Thu, 26 Jan 2023 16:09:28 +0900

Kibana는 Elasticsearch 데이터를 시각화하고 Elastic Stack을 탐색하게 해주는 무료 오픈 소스 인터페이스입니다.

수천 줄의 로그와 같은 가치를 지닌 시각화 자료

Kibana는 데이터를 시각적으로 형상화할 수 있는 자유를 제공합니다. Kibana의 대화형 시각화 도구는 하나의 질문으로 시작하여 그 범위를 계속 확장해 나갈 수 있도록 지원합니다.

기본 요소

Kibana는 히스토그램, 선 그래프, 원형 차트, 선버스트 등의 기본적인 요소로 구성되어 있습니다. 물론 모든 문서에 걸쳐 검색이 가능합니다.
위치 분석

Elastic Maps를 활용하여 위치 데이터를 탐색하거나 사용자 정의 레이어와 벡터 도형을 창조적으로 시각화하세요.
시계열

Kibana의 시계열 UI를 통해 Elasticsearch 데이터에 대한 상세 시계열 분석을 해보세요. 쉽게 배울 수 있는 강력한 표현식으로 쿼리와 데이터 변화, 시각 자료를 설명할 수 있습니다.
머신 러닝

자율적인 머신 러닝 기능을 통해 Elasticsearch 데이터에 숨어 있는 이상 징후를 탐색하고 이에 상당한 영향을 미치는 근본 원인을 찾아내세요.
그래프와 네트워크

검색 엔진의 연관성 기능과 Graph 탐색을 활용해 Elasticsearch 데이터에서 지금까지 쉽게 찾을 수 없었던 관계성을 발견해 보세요.

Elastic search 란?

pymin — Thu, 26 Jan 2023 16:06:19 +0900

간단하게 소개하자면 우리는 인트라넷에서 문서를 찾아야 하는 직원부터 자신에게 꼭 맞는 신발을 찾아 인터넷을 검색하는 고객까지 모두가 필요한 것을 더 빠르게 찾도록 돕습니다. 조금 더 기술적으로 설명하자면,

Elasticsearch는 텍스트, 숫자, 위치 기반 정보, 정형 및 비정형 데이터 등 모든 유형의 데이터를 위한 무료 검색 및 분석 엔진으로 분산형과 개방형을 특징으로 합니다.

Elasticsearch는 Apache Lucene을 기반으로 구축되었으며, Elasticsearch N.V.(현재 명칭 Elastic)가 2010년에 최초로 출시했습니다. 간단한 REST API, 분산형 특징, 속도, 확장성으로 유명한 Elasticsearch는 데이터 수집, 보강, 저장, 분석, 시각화를 위한 무료 개방형 도구 모음인 Elastic Stack의 핵심 구성 요소입니다. 보통 ELK Stack(Elasticsearch, Logstash, Kibana의 머리글자)이라고 하는 Elastic Stack에는 이제 데이터를 Elasticsearch로 전송하기 위한 경량의 다양한 데이터 수집 에이전트인 Beats가 포함되어 있습니다

Elasticsearch는 어디에 사용되나요?

Elasticsearch의 속도와 확장성, 그리고 수많은 종류의 콘텐츠를 색인할 수 있는 능력은 다음과 같은 다양한 사용 사례에 이용될 수 있다는 뜻입니다.

애플리케이션 검색
웹사이트 검색
엔터프라이즈 검색
로깅과 로그 분석
인프라 메트릭과 컨테이너 모니터링
애플리케이션 성능 모니터링
위치 기반 정보 데이터 분석 및 시각화
보안 분석
비즈니스 분석

Elasticsearch는 어떻게 작동하나요?

로그, 시스템 메트릭, 웹 애플리케이션 등 다양한 소스로부터 원시 데이터가 Elasticsearch로 흘러들어갑니다. 데이터 수집은 원시 데이터가 Elasticsearch에서 색인되기 전에 구문 분석, 정규화, 강화되는 프로세스입니다. Elasticsearch에서 일단 색인되면, 사용자는 이 데이터에 대해 복잡한 쿼리를 실행하고 집계를 사용해 데이터의 복잡한 요약을 검색할 수 있습니다. Kibana에서 사용자는 데이터를 강력하게 시각화하고, 대시보드를 공유하며, Elastic Stack을 관리할 수 있습니다.

Elasticsearch 인덱스는 무엇인가요?

Elasticsearch 인덱스는 서로 관련되어 있는 문서들의 모음입니다. Elasticsearch는 JSON 문서로 데이터를 저장합니다. 각 문서는 일련의 키(필드나 속성의 이름)와 그에 해당하는 값(문자열, 숫자, 부울, 날짜, 값의 배열, 지리적 위치 또는 기타 데이터 유형)을 서로 연결합니다.

Elasticsearch는 역 인덱스라고 하는 데이터 구조를 사용하는데, 이것은 아주 빠른 풀텍스트 검색을 할 수 있도록 설계된 것입니다. 역 인덱스는 문서에 나타나는 모든 고유한 단어의 목록을 만들고, 각 단어가 발생하는 모든 문서를 식별합니다.

색인 프로세스 중에, Elasticsearch는 문서를 저장하고 역 인덱스를 구축하여 거의 실시간으로 문서를 검색 가능한 데이터로 만듭니다. 인덱스 API를 사용해 색인이 시작되며, 이를 통해 사용자는 특정한 인덱스에서 JSON 문서를 추가하거나 업데이트할 수 있습니다.

Logstash는 어디에 사용되나요?

Elastic Stack의 핵심 제품 중 하나인 Logstash는 데이터를 집계하고 처리하여 Elasticsearch로 전송하는 데 사용됩니다. Logstash는 서버 사이드 오픈 소스 데이터 처리 파이프라인으로, 사용자는 이를 이용해 다양한 소스에서 동시에 데이터를 수집하고, 이를 강화하고 변환한 다음, Elasticsearch에서 색인되도록 할 수 있습니다.

Kibana는 어디에 사용되나요?

Kibana는 Elasticsearch를 위한 시각화 및 관리 도구로서, 실시간 히스토그램, 선 그래프, 파이 차트, 지도 등을 제공합니다. Kibana에는 사용자가 자신의 데이터를 기반으로 사용자 정의한 동적 인포그래픽을 만들 수 있는 Canvas, 위치 기반 정보 데이터를 시각화하기 위한 Elastic Maps 같은 고급 애플리케이션도 포함됩니다.

Elasticsearch를 사용하는 이유는 무엇인가요?

Elasticsearch는 빠릅니다. Elasticsearch는 Lucene을 기반으로 구축되기 때문에, 풀텍스트 검색에 뛰어납니다. Elasticsearch는 또한 거의 실시간 검색 플랫폼입니다. 이것은 문서가 색인될 때부터 검색 가능해질 때까지의 대기 시간이 아주 짧다는 뜻입니다. 이 대기 시간은 보통 1초입니다. 결과적으로, Elasticsearch는 보안 분석, 인프라 모니터링 같은 시간이 중요한 사용 사례에 이상적입니다.

Elasticsearch는 본질상 분산적입니다. Elasticsearch에 저장된 문서는 샤드라고 하는 여러 다른 컨테이너에 걸쳐 분산되며, 이 샤드는 복제되어 하드웨어 장애 시에 중복되는 데이터 사본을 제공합니다. Elasticsearch의 분산적인 특징은 수백 개(심지어 수천 개)의 서버까지 확장하고 페타바이트의 데이터를 처리할 수 있게 해줍니다.

Elasticsearch는 광범위한 기능 세트와 함께 제공됩니다. 속도, 확장성, 복원력뿐 아니라, Elasticsearch에는 데이터 롤업, 인덱스 수명 주기 관리 등과 같이 데이터를 훨씬 더 효율적으로 저장하고 검색할 수 있게 해주는 강력한 기본 기능이 다수 탑재되어 있습니다.

Elastic Stack은 데이터 수집, 시각화, 보고를 간소화합니다. Beats와 Logstash의 통합은 Elasticsearch로 색인하기 전에 데이터를 훨씬 더 쉽게 처리할 수 있게 해줍니다. Kibana는 Elasticsearch 데이터의 실시간 시각화를 제공하며, UI를 통해 애플리케이션 성능 모니터링(APM), 로그, 인프라 메트릭 데이터에 신속하게 접근할 수 있습니다.

Elasticsearch 자주 묻는 질문(FAQ)

Elasticsearch는 무료인가요?

그렇습니다. Elasticsearch의 무료 오픈 소스 기능은 SSPL 또는 Elastic 라이선스에 따라 무료로 사용할 수 있습니다. Elastic 라이선스에 따라 추가 무료 기능이 제공되며, 유료 구독에서는 경보 및 머신 러닝과 같은 고급 기능과 지원을 제공합니다.

Elasticsearch의 공식 배포는 어떤 것인가요?

공식 Elasticsearch 배포는 Elastic 웹사이트에서 제공됩니다.

Elasticsearch 프로젝트에는 누가 기여할 수 있나요?

Elasticsearch는 Elastic이 관리하는 무료 오픈 소스 프로젝트입니다. 코드베이스에는 Elastic 내부와 외부 양쪽 모두의 개발자들의 기여가 포함됩니다.

누구나 Elasticsearch GitHub 리포지토리에서 풀 리퀘스트를 제출할 수 있습니다. Elastic은 코드베이스에 병합하기 전에 모든 기여 제안(pull request)을 투명하게 검토합니다.

Elasticsearch 배포 옵션에는 어떤 것들이 있나요?

Elasticsearch는 Elasticsearch Service(Amazon Web Services(AWS), Google Cloud, Alibaba Cloud에서 이용 가능)를 통해 호스팅되는 관리형 서비스로 배포될 수 있습니다. 또는 사용자가 다운로드하여 직접 자체 하드웨어나 클라우드에 설치할 수도 있습니다. Elasticsearch 설명서에서 Elasticsearch 다운로드, 설치, 구성 지침을 확인하실 수 있습니다.

단일 콘솔에서 배포를 프로비저닝, 관리, 모니터링하고자 하지만 퍼블릭 클라우드 플랫폼을 사용하고 싶지 않으신 사용자를 위해, Elastic은 Elastic Cloud Enterprise(퍼블릭 또는 프라이빗 클라우드, 가상 머신, 베어메탈 하드웨어에서 배포 가능)와 프라이빗 구독 티어도 제공합니다.

Elasticsearch는 어떤 프로그래밍 언어를 지원하나요?

Elasticsearch는 다양한 언어를 지원하며, 다음을 위한 공식 클라이언트가 제공됩니다.

자바
자바스크립트(Node.js)
Go
.NET(C#)
PHP
Perl
Python
Ruby

Elasticsearch는 어떤 텍스트 언어를 지원하나요?

Elasticsearch는 아랍어에서부터 태국어에 이르기까지 34개의 텍스트 언어를 지원하며 각 언어에 대한 분석기를 제공합니다. Elasticsearch 언어 분석기 설명서에서 전체 목록을 찾아보실 수 있습니다. 사용자 정의 플러그인으로 그 밖에 다른 언어에 대한 지원도 추가하실 수 있습니다.

Elasticsearch는 REST API를 제공하나요?

그렇습니다. Elasticsearch는 클러스터 상태 확인, 인덱스에 대한 CRUD(생성, 읽기, 업데이트 삭제) 및 검색 작업 실행, 필터링 및 집계 같은 고급 검색 작업 수행을 위한 종합적이며 강력한 REST API 세트를 제공합니다.

Red Hat OpenShift 설명

pymin — Thu, 26 Jan 2023 16:03:49 +0900

Red Hat OpenShift는 어디에 배포하든 클라우드와 유사한 경험을 지원하는 최고의 엔터프라이즈급 쿠버네티스 플랫폼입니다.

Red Hat OpenShift를 사용하면 클라우드, 온프레미스, 엣지 등 위치와 관계없이 일관된 경험을 통해 애플리케이션을 빌드, 배포, 실행할 위치를 선택

확장성

Red Hat OpenShift에서 실행되는 앱은 몇 초 만에 수백 개의 노드에서 수천 개의 인스턴스로 확장할 수 있습니다.

유연성

Red Hat OpenShift는 하이브리드 인프라의 배포 및 관리를 단순화 하여 온프레미스 또는 클라우드 및 하이브리드 환경에서 실행 되는 자체 관리형 또는 완전 관리형 서비스 를 보유할 수 있는 유연성을 제공합니다.

오픈 소스 표준

Red Hat OpenShift는 OCI(Open Container Initiative) 컨테이너와 컨테이너 오케스트레이션을 위한 Cloud Native Computing Foundation 인증 Kubernetes 및 기타 오픈 소스 기술을 통합합니다.

컨테이너 이식성

OCI 산업 표준을 기반으로 구축된 컨테이너 이미지는 개발자 워크스테이션과 Red Hat OpenShift 프로덕션 환경 간의 이식성을 보장합니다.

향상된 개발자 경험

Red Hat OpenShift는 포괄적인 개발자 도구 세트, 다국어 지원, 명령줄 및 통합 개발 환경(IDE) 통합을 제공합니다. 기능에는 Tekton 및 타사 CI/CD 솔루션을 기반으로 하는 CI/CD(지속적인 통합/지속적인 전달) 파이프라인, 서비스 메시 , 서버리스 기능, 모니터링 및 로깅 기능이 포함됩니다.

자동화된 설치 및 업그레이드

자동 설치 및 무선 플랫폼 업그레이드는 Amazon Web Services, Google Cloud Platform, IBM Cloud 및 Microsoft Azure를 사용하는 클라우드와 vSphere, Red Hat OpenStack® Platform , Red Hat Virtualization 또는 베어 메탈 을 사용하는 온프레미스에서 지원됩니다. . OperatorHub에서 사용되는 서비스는 완전히 구성된 배포가 가능하며 한 번의 클릭으로 업그레이드할 수 있습니다.

오토메이션

간소화되고 자동화된 컨테이너 및 앱 빌드, 배포, 확장, 상태 관리 등이 포함됩니다.

에지 아키텍처 지원

Red Hat OpenShift는 3노드 클러스터, 단일 노드 Red Hat OpenShift 및 원격 작업자 노드를 포함하는 에지 시나리오 에서 더 작은 풋프린트 토폴로지 지원을 강화 하여 서로 다른 에지 사이트의 다양한 물리적 크기, 연결 및 가용성 요구 사항에 더 잘 매핑됩니다. 일반적으로 저전력 장치에 사용되는 ARM 아키텍처 의 Red Hat OpenShift 클러스터 지원으로 에지 사용 사례가 더욱 향상되었습니다 .

다중 클러스터 관리

Red Hat OpenShift with Red Hat Advanced Cluster Management for Kubernetes 는 앱을 쉽게 배포하고, 여러 클러스터를 관리하고, 규모에 맞게 클러스터 전체에 정책을 적용할 수 있습니다.

고급 보안 및 규정 준수

Red Hat OpenShift는 액세스 제어, 네트워킹, 내장형 스캐너가 있는 엔터프라이즈 레지스트리와 같은 핵심 보안 기능을 제공합니다. 쿠버네티스용 Red Hat Advanced Cluster Security는 런타임 위협 감지, 전체 수명 주기 취약성 관리, 위험 프로파일링과 같은 보안 기능으로 이를 강화합니다.

영구 저장

Red Hat OpenShift는 상태 저장 및 상태 비저장 앱을 모두 실행하기 위해 Red Hat OpenShift Data Foundation 을 포함하여 광범위한 엔터프라이즈 스토리지 솔루션을 지원합니다 .

강력한 생태계

확장되는 파트너 에코시스템은 다양한 통합을 제공합니다. 타사는 추가 스토리지 및 네트워크 공급자, IDE, CI, 통합, 독립 소프트웨어 공급업체 솔루션 등을 제공합니다.