작년 한국에서 열린 PyCon KR 2023에 참여했을 때, “Improving Debuggability of Complex Asyncio Applications” 발표에 참관했었습니다.이때 python 표준 라이브러리 중 하나인, asyncio를 사용하면서 문제가 발생했을 때, 애플리케이션 내부에서 무슨 일이 일어나는지 들여다보는 것이 어렵고, "코루틴 작업을 디버깅하기 어렵다"는 모니터링 관점에서의 어려움이 있다는 것을 알게되었습니다.이런 어려움을 해결하기 위해 aiomonitor 이라는 훌륭한 오픈소스를 개발해서 어려움을 겪는 유저들에게 관측 가능성을 제공한다고 이해했습니다.제가 생각하기에 aiomonitor 에서 다루는 데이터가 분산 추적 기술에서 많이 사용되는 Trace 데이터와 유사하다고 생각..

시간이 지남에 따라 Micro Service Architecture의 많은 이점들이 더욱 부각되고 이제는 소규모 기업에서도 컨테이너 기반의 MSA 아키텍처를 이용해 서비스를 운영하고 있습니다. 이에 따라 많은 컨테이너들을 관리해주는 컨테이너 오케스트레이션 kubernetes(k8s)의 인기 또한 나날이 뜨거워지고 있습니다. 하지만 여러 서버를 클러스터링해서 사용하는 kubernetes를 정말 기업이 가지고 있는 자산과 ROI에 맞게 fit하게 사용하고 있는지는 확인하기 어려운 것이 사실입니다. 또한, 서비스의 가용성에 문제가 있지는 않는지? 문제가 있다면 어디에 문제가 있는지? 파악하는 것은 devOps의 역량에 상당히 의존되는 경향이 있습니다. 세계적으로 이런 이슈가 계속해서 이야기되고 있고 이에따라 ..

k8s(쿠버네티스) 클러스터를 운영하다보면 Observability(관측 가능성)를 제외하고는 사실상 정상적인 운영이 어렵습니다. 그만큼 쿠버네티스는 배포의 복잡성, 고가용성, 안정성 등 컨테이너 오케스트레이션 측면에서의 강력한 장점이 있지만, 운영의 측면에서는 러닝 커브가 높고 가시적이지 않다는 단점이 있습니다. 이러한 문제를 대변하듯, 쿠버네티스의 모니터링 분야는 빠르게 발전하고 있는 것을 볼 수 있는데요. 오늘은 오픈소스를 이용해 다중 k8s 클러스터 환경에서 Node와 POD를 모니터링할 수 있는 모니터링 시스템을 구성해보겠습니다. Clymene-project(https://github.com/Clymene-project/Clymene) Clymene 프로젝트는 Metric과 Log를 수집하는 a..

Micro Service Architecture, 컨테이너 기반의 서비스 운영이 당연시되고 있는 요즘, 많은 컨테이너를 관리하기 위해서 컨테이너 오케스트레이션(Orchestration) 툴을 사용하지 않을 수 없습니다. 컨테이너 오케스트레이션 툴은 컨테이너화된 수 많은 애플리케이션의 배포의 복잡성과 고가용성, 안정성, 보안 및 자동 확장 등에 대한 요구를 충족해주는 툴인데요. 그 중에서도 가장 많은 관심을 받고 있고, 많이 사용되는 컨테이너 오케스트레이션 툴은 쿠버네티스(Kubernetes)입니다. 다른 컨테이너 오케스트레이션 툴도 동일하지만 실제로 쿠버네티스를 운영하다보면 많은 컨테이너와 노드, k8s 오브젝트들의 관리가 쉽지 않다는 것을 느끼실 수 있습니다. 서비스에 장애가 발생하였을 때 숙련된 사용..

MSA! Micro-service architecture is now an architecture that cannot be left out when developing and operating services. Suitable for fast deployment, flexible operation, and large-scale service, MSA has a somewhat complex structure for servers as the existing monolithic architecture has been broken down into small service units and containerized. An orchestration open source has been developed th..

MSA! 마이크로 서비스 아키텍처는 이제 서비스를 개발하고 운영할 때, 빼 놓고 얘기할 수 없는 아키텍처가 되었습니다. 빠른 배포, 유연한 운영, 대용량 서비스에 적합한 MSA는 기존의 모놀리틱 아키텍처가 작은 서비스 단위로 쪼개지고 컨테이너화 되면서 서버의 입장에서는 다소 복잡한 구조를 가지게 되었는데요. 이런 복잡한 구조를 쉽게 관리해주는 Orchestration 오픈소스가 개발되고 그 중에서도 컨테이너 관리에는 Kubernetes가 글로벌 스탠다드로 되어가고 있습니다. 하지만 이런 복잡한 구조를 관리하다보니 수 많은 서비스들의 리소스 사용량과 같은 것들을 모니터링해주는 Observability 분야도 상당히 활발하게 개발되고 많은 서비스들이 배출되고 있습니다. Observability 분야의 가장 ..