안녕하세요. 데이터 과학에 빠진 해커의 개발일기 입니다. 오늘은 데이터 분석 툴이자 최고의 머신러닝 플랫폼인 RapidMiner에 대해서 알아보도록 하겠습니다. 저는 대학원에서 데이터 사이언스/인공지능을 전공하고 있는데요, 대학원 수업 중 알게 된 데이터 분석 && 머신러닝 플랫폼인 RapidMiner를 알게 되었습니다. 이 툴은 무엇을 하는 툴일까요? 머신러닝을 이용해서 수많은 데이터를 이용해 예측하거나 분류를 함에 있어서 결과를 추출해내기 위해서는 소스코드로 짜서 머신러닝 후에 확인을 해야만 합니다. 하지만 결과가 매번 좋은 것은 아니죠? 일 년에도 수십수백의 알고리즘이 개발되고 논문이 나오고 있는 실정이기 때문에 최신의 트렌드를 쫓기 위해서는 정말 문서만 읽다가 코드는 짜보지도 못하고 일 년, 이년..

안녕하세요. 오랜만에 글을 쓰는 해커의 개발일기 입니다. 요즘은 대학원도 대학원이지만 ,, 회사에서 golang으로 만들어진 오픈소스들을 분석해 회사 솔루션에 맞게 커스터마이징을 하다 보니 정말 시간이 나질 않았습니다. 하지만 정말 정말 유익한 시간을 보내고 있는 요즘입니다..(뿌듯) 사실 요즘 지난번에 소개했던 #오픈소스 모니터링 시스템 Prometheus 프로메테우스를 커스터마이징하고 있습니다. 대규모 솔루션에 맞게 kafka(메시징 큐) 연동을 만들고 쓸모없는 disk write 등을 최소화하기 위해 열심히 노력 중에 있습니다. 그러던 중에 당연히 프로메테우스 소스코드를 분석하고 아키텍처를 파악하던 중에 WAL이라는 것을 알게 되었는데요. 이 WAL이 DBMS의 무결성을 보장해주는 장치 역할을 해주..

안녕하세요. 해커의 개발일기 입니다. 최근 코로나로 인해 결혼식은 미뤘지만, 신혼집을 마련해 작년 12월 말부터 신혼집에서 아내와 함께 살고 있는데요. 요즘 부동산 투기니 뭐니 해서 부동산 시장이 시끄럽고 무리한 투기로 집주인에게 전세보증금을 받지 못하는 상황이 많이 발생하고 있다고 하는데요. 이를 방지해줄 주택도시보증공사의 전세보증금 반환 보증 보험에 가입하는 방법을 알아보도록 하겠습니다. 카카오, 서울보증 SGI 등 다른 곳에서도 전세보증금 반환 보증보험이 존재하는 것으로 알고 있습니다만, 제가 가입해본 것이 아니기 때문에 HUG 쪽에서 가입하는 방법만 다루도록 하겠습니다. https://khig.khug.or.kr/index.jsp?fromLink=HOME_PAGE&MENUID=200800 주택도시..

안녕하세요. 해커의 개발일기 입니다. 오늘은 마이크로 서비스 아키텍처를 사용하여 구축된 응용 프로그램을 프로파일링하고 모니터링하는데 사용하는 Distributed Tracing 분산 추적 기술에 대해서 알아보는 시간을 갖도록 하겠습니다. 분산 추적 기술은 근래 해외에서 많이 사용되고 국내에서도 점차적으로 도입하고 있는 것으로 알고 있습니다. 왜? 분산 추적 기술을 사용할까요? 분산 추적 기술이라는 것은 MSA 구조에 최적화되어 어느 부분에서 병목현상이 발생하는지, 어느 부분에서 장애가 발생하는지 위치와 성능 저하의 원인을 정확히 판단하는데 도움을 줄 수 있는 기술입니다. OpenTracing은 무엇일까요? OpenTracing은 어떤 프로그램이 아닙니다. OpenTracing 홈페이지에 가면 언어별 가이..

안녕하세요 해커의 개발일기 입니다. 오늘은 NoSQL DBMS 중 높은 확장성과 고 가용성을 자랑하는 Casandra DBMS를 소개하고, scale out 해 cluster를 구성하는 방법을 알아보도록 하겠습니다. ※ 스케일 아웃(scale out) : 기존의 서버와 같은 사양 또는 비슷한 사양의 서버 대수를 증가시키는 방법으로 처리 능력을 향상하는 것 카산드라의 데이터 모델은 최상위 논리적 Data 저장소인 Keyspace 아래 Table이 있고 Table은 다수의 Row들로 구성되며 Row는 Key-Value로 이루어진 Column들로 구성됩니다. 하나의 Row는 여러 개의 Column을 가질 수 있고 여기에는 SET, LIST, MAP 등의 형태도 저장이 가능합니다. 이 카산드라는 CQL(Cass..

안녕하세요 오늘은 정말 핫하고 또 핫한 Container Orchestration인 쿠버네티스(Kubernetes)를 소개하려고 합니다. 요즘 사람인 같은 이적 시장에 보면 심심치 않게 보이는게 바로 이 쿠버네티스 경력자인데요. docker를 사용하는 회사는 무조건 이 쿠버네티스를 검토까지는 하지 않았을까 생각이 듭니다. 하지만..! 관심이 없다면 아 뭐 또 새로운거 나왔다보다~ 하고 넘어가겠지만, 이 관리 시스템이 어떤일을 하는지 알게 된다면 그냥 넘어갈 수 없을 것 입니다. 그 만큼 매력적이기 때문이죠. 먼저 설명하기 앞서서, 두 가지만 알고 가겠습니다. 하나는 Docker 인데요. 지난번에 간략히 소개를 했었는데요. Docker가 뭔지 모르신다면 아래의 글을 참고해주시기를 바랍니다. # Docker..