에스아이오티인포텍

2021년 02월 01일

에스아이오티인포텍(SIoT Infotech Inc)은 IoT Platform & Solution 기업입니다.

토이스미스 유동인구 혼잡도/밀집도 분석 솔루션 개요도

(이미지 출처: toysmyth.com)

미디어나비는 에이아이오티인포텍(舊 토이스미스)와 2021년 2월에 백엔드 서버 개발 및 운영 컨설팅 계약을 맺고 2025년 현재까지 기술 지원 및 컨설팅 서비스를 제공하고 있습니다.

처음 작업 투입되었던 2021년 초에 해결해야 했던 첫 번째 문제 상황은 AWS RDS 서버 응답 속도 개선 작업이었습니다.

디비 버퍼 사용량이 99% 를 넘기고 있는 상황에서 디비 서버가 요청을 처리하지 못하고 있는 상황이었습니다.

당시 디비 Buffer Usage 99% 상황 스크린샷

문제의 원인을 파악해보니 원본 데이터를 분석해서 한시간에 한번씩 통계 데이터를 추출하는 작업을 수행하는데 해당 쿼리 수행시간이 1시간을 넘어가게 되면서 시간 내에 처리 못한 작업 요청이 계속 쌓이고 있는 상황이었습니다.

문제 확인을 위해서 첫 번째로 10분 이상 걸리는 Slow Query log 를 남기도록 설정을 변경하고 slow query 를 찾아냈더니 쿼리 하나 수행하는데 210분씩 걸리고 있는 문제였습니다.

index 가 걸려있는 필드에 대해서 조회를 하는 쿼리인데 쿼리 수행 시 해당 인덱스를 사용하지 않고 당시 9억 개 데이터를 FULL SCAN 하고 있었습니다.

WHERE 문에서 in query 를 사용할 때 조건이 4개 이하일 때는 index 를 사용하다가 5개 이상이 될 때는 index 를 사용하지 않게 되는 문제였습니다.

문제 해결은 문제의 쿼리에 무조건 강제로 index 를 사용해야만 하도록 쿼리에 force index 문을 추가하는 방식으로 해결했습니다.

210분씩 걸리던 실행시간이 10분 정도로 단축되면서 장애 상황이었던 디비도 정상으로 돌아왔습니다.

작업 투입 후 바로 효과가 있었던 작업이라 여러모로 기억에 남는 경험이었습니다.

급한 문제를 해결한 다음에는 AWS 요금이 전달에 비해서 100만원 이상이 더 나오고 있는 상황에 대한 분석 요청이 있었습니다.

요금 청구서를 분석해서 최근에 고사양 EC2 가 여러대 추가된 상황을 먼저 확인하고 공유했습니다.

추가로 30개 정도 되는 EC2 에 대해서 CPU, 메모리, HDD 사용량 등을 조사하고 사용량에 비해서 적합하지 않게 설정된 인스턴스들을 조사해서 공유하였습니다.

그 과정에서 최근에 추가된 인스턴스 비용이 월 100만원 이상되는 상황이고 개발 테스트만 하고 있는 단계에서 24시간 구동중인 상황을 보고했습니다.

해당 인스턴스들을 바로 삭제 처리하고 개발 테스트는 로컬 피씨에서 수행하거나 테스트 중에만 인스턴스를 구동하는 방법을 제시해서 월 100만원 정도 지출되는 비용을 절약하도록 안내했습니다.

큰 문제들이었지만 해결하는데 큰 수고가 들어가지 않았던 내용들이라 작은 노력 대비 큰 기쁨이었습니다.