Experience5 Redis-Container 웹 서버 컨테이너와 레디스 컨테이너 사이 연동은 되지만, 컨테이너가 내려 간 경우 스냅샷이 정상적으로 수행되지 않아 메모리 내의 redis의 데이터가 사라진 문제 1. 문제 상황 도커 컴포즈를 사용해서 웹 서버 환경과 redis 서버 환경을 동시에 도커로 띄워서 서로 연동하여서 사용중인 상황입니다. redis에서 사용하는 .rdb 파일 위치를 호스트 서버 내의 디렉터리에 마운트 해서 사용하려고 할 때, 서버를 종료 했을 때 redis 내의 데이터가 지워지는 문제가 발생했습니다. 사용한 도커 컴포즈 파일의 예시 services: redis: image: redis:3.0.6 container_name: redis-server ports: - '6379:6379' volumes: - redis-volume:.. 2023. 5. 8. Influx DB 의 캐시 메모리 오류 해결 1. 문제 상황 InfluxDB 사용 중 시스템이 주기적으로 셧다운 현상이 발생 서버가 완전히 꺼지는 상태는 아니고, 쿼리 및 입력 수행이 안되고, CLI로 접속도 불가능한 상태로 서버가 유지되는 현상으로 센서 데이터의 출력이 안되는 상황이였습니다. 기존 서버에서 돌아가던 환경이였으나, 최근 db 서버 이전이 일어나면서 갑자기 생겨난 이슈로, 데이터가 redis와 influx 에 동시에 쓰여지고 있어서 데이터의 손실은 없었으나 서버가 다운되지 게속적으로 멈춤 상태가 되지 않도록 빠른 조취가 필요한 상황이였습니다. 우분투 OS위에서 influxdb 서버를 systmctl에 등록한 뒤 사용하고 있는 상황인데, systemctl로 status를 찍어봤을 때, 로그에서 snapshot을 압축 할 때, info .. 2023. 5. 3. [23/1월] 모니터링 시스템 시계열 DB 전환 [1] 모니터링 시스템에 시계열 데이터베이스 탑재 기존 설계된 시스템 구조에서는 센서 데이터를 2가지 데이터 베이스 시스템을 통해서 관리하고 있었습니다. Redis : 웹에 표시할 센서 데이터 ( 특정 시간 이후로 갱신되는 큐 형식의 구조 ) SQL : 센서 데이터 저장 목적의 데이터 베이스로 10분 주기의 맥스 샘플링 값으로 보존 InfluxDB를 활용한 웹 모니터링 시스템 구축 이전 내용 이전 포스팅에서는 현재 웹 모니터링 시스템에서의 DB를 TSDB로 교체하기 위해서 성능을 테스트 했었습니다. 그 결과는 매우 긍정적이었기 때문에 저는 연구실에서 현재 사용되는 센서 hello-jaemin.tistory.com 하지만 시계열 데이터베이스가 이전 포스팅에서 언급한 내용처럼 효울적이고 in-memory 형.. 2023. 2. 19. [22년] InfluxDB를 활용한 웹 모니터링 시스템 구축 이전 내용 이전 포스팅에서는 현재 웹 모니터링 시스템에서의 DB를 TSDB로 교체하기 위해서 성능을 테스트 했었습니다. 그 결과는 매우 긍정적이었기 때문에 저는 연구실에서 현재 사용되는 센서 데이터의 저장과 조회를 RDB + Redis를 사용하던 DB구조에서 TSDB인 InfluxDB로 교체하는 역할을 전담하여서 프로젝트를 진행하게 되었습니다. 아래 포스팅은 SQL과 InfluxDB의 성능 테스트와 관련된 글 입니다 !! SQL vs InfluxDB 쿼리 성능 비교 (1) 문제 상황 현재 우리 시스템에서는 SQL에 데이터를 쌓고 웹 에서는 redis를 이용하여 센서 데이터를 시각화하고있다. 하지만 아무리 Redis의 쿼리속도가 빠르고 좋다고 해도 SQL에 매 시간마다 쌓이 hello-jaemin.tist.. 2022. 9. 11. 이전 1 2 다음 반응형
