Experience/Monthly Log3 [23/1월] 모니터링 시스템 시계열 DB 전환 [1] 모니터링 시스템에 시계열 데이터베이스 탑재 기존 설계된 시스템 구조에서는 센서 데이터를 2가지 데이터 베이스 시스템을 통해서 관리하고 있었습니다. Redis : 웹에 표시할 센서 데이터 ( 특정 시간 이후로 갱신되는 큐 형식의 구조 ) SQL : 센서 데이터 저장 목적의 데이터 베이스로 10분 주기의 맥스 샘플링 값으로 보존 InfluxDB를 활용한 웹 모니터링 시스템 구축 이전 내용 이전 포스팅에서는 현재 웹 모니터링 시스템에서의 DB를 TSDB로 교체하기 위해서 성능을 테스트 했었습니다. 그 결과는 매우 긍정적이었기 때문에 저는 연구실에서 현재 사용되는 센서 hello-jaemin.tistory.com 하지만 시계열 데이터베이스가 이전 포스팅에서 언급한 내용처럼 효울적이고 in-memory 형.. 2023. 2. 19. [22년] InfluxDB를 활용한 웹 모니터링 시스템 구축 이전 내용 이전 포스팅에서는 현재 웹 모니터링 시스템에서의 DB를 TSDB로 교체하기 위해서 성능을 테스트 했었습니다. 그 결과는 매우 긍정적이었기 때문에 저는 연구실에서 현재 사용되는 센서 데이터의 저장과 조회를 RDB + Redis를 사용하던 DB구조에서 TSDB인 InfluxDB로 교체하는 역할을 전담하여서 프로젝트를 진행하게 되었습니다. 아래 포스팅은 SQL과 InfluxDB의 성능 테스트와 관련된 글 입니다 !! SQL vs InfluxDB 쿼리 성능 비교 (1) 문제 상황 현재 우리 시스템에서는 SQL에 데이터를 쌓고 웹 에서는 redis를 이용하여 센서 데이터를 시각화하고있다. 하지만 아무리 Redis의 쿼리속도가 빠르고 좋다고 해도 SQL에 매 시간마다 쌓이 hello-jaemin.tist.. 2022. 9. 11. [22년] SQL vs InfluxDB 쿼리 성능 비교 (1) 문제 상황 현재 우리 시스템에서는 SQL에 데이터를 쌓고 웹 에서는 redis를 이용하여 센서 데이터를 시각화하고있다. 하지만 아무리 Redis의 쿼리속도가 빠르고 좋다고 해도 SQL에 매 시간마다 쌓이는 센서 데이터들의 크기와 특정 조회 쿼리를 날릴 경우에 있어서 앞으로 시스템을 유지하는데 SQL만 쓰기에는 무리가 있다고 생각했다. 따라서 측정 데이터는 InfluxDB나 Marchbase DB를 이용하고, 추가로 SQL의 관계형 DB를 이용히는 것을 목표로 잡게 되었다. 먼저, SQL과 InfluxDB의 쿼리 속도에 대해 비교해야 한다고 생각했다. 따라서 각 DataBase에 천만건의 데이터를 쌓은 뒤 특정 쿼리들을 실행 한 후 검색 속도를 조회하기로 하였다. [1] 인덱싱 된 MySQL에 천만 건의 .. 2022. 8. 9. 이전 1 다음 반응형
