본문 바로가기

분류 전체보기156

Kapacitor Kapacitor는 Influx Data에서 밀고 있는 TICK 스택 ( Telegraf, InfluxDB, Crongraf, Kapacitor ) 중 하나로 오픈 소스의 데이터 처리 프레임 워크로 경고 생성, ETL 작업 실행 , 이상 징후 감지 등 다양한 데이터 처리가 가능함 공식 문서에 따르면 현재 Kapacitor에 큰 효율을 가지는 기능들은 아래와 같다. 스트리밍 데이터 & 배치 데이터 모두 처리 가능 일정에 따른 데이터 쿼리 및 Influx DB를 통한 다양한 방식의 데이터 수신 가능 InfluxQL에 맞춰 데이터 변환 가능 변환된 데이터를 다시 InfluxDB에 저장 가능 사용자 정의 함수 추가 가능 Kapacitor 설치 기본 포트는 9092를 사용함 모든 API 및 쓰기 호출에 대해 TC.. 2022. 8. 25.
InfluxDB 데이터 베이스 관리 [ SHARD & RP (Retention Policy ) ] 1. InfluxDB Config file 설정 [ 구성 파일 설정 ] InfluxDB 상에서 기본 설정들을 바꿔주기 위해서는 Influxdb.config 파일을 수정해야 한다. 파일을 수정한 뒤 InfluxDB의 시스템 상에서 수정된 설정을 적용하기 위해서는 2가지 방식이 있다. [1] conf 파일을 수정한 뒤 influxd 를 실행할 때 마다 conf 파일 위치를 인자로 주어 프로세스가 구성 파일을 가리키도록 설정하는 방식 influxd -config /etc/influxdb/influxdb.conf [2] 환경 변수를 설정하여 구성 파일의 경로를 설정하여 influxd가 적용되어 실행하도록 하는 방식 ( 추천 ) echo $INFLUXDB_CONFIG_PATH /etc/influxdb/influx.. 2022. 8. 22.
InfluxDB CQ ( continuous query ) Continuous Query InfluxDB에서 제공하는 CQ ( contiunuous query )는 실시간 데이터 상에서 설정해논 주기대로 자동으로 실행되고 쿼리 결과를 지정한 measurements에 저장하는 " 지속적으로 실행되는 쿼리 " 입니다. 기본 구문 CREATE CONTINUOUS QUERY ON BEGIN END ▶ cq name : 설정할 CQ를 명시적으로 선언하기 위해 설정하는 이름 ▶ database_name : CQ가 어떤 database에서 실행될지 설정 ▶ cq_query : 실행시킬 CQ의 본문 CQ_query의 기본 구문 SELECT INTO FROM [WHERE ] GROUP BY time()[,] CQ_query의 특징 INTO GROUP BY time() 이 필수적.. 2022. 8. 12.
[22년] SQL vs InfluxDB 쿼리 성능 비교 (1) 문제 상황 현재 우리 시스템에서는 SQL에 데이터를 쌓고 웹 에서는 redis를 이용하여 센서 데이터를 시각화하고있다. 하지만 아무리 Redis의 쿼리속도가 빠르고 좋다고 해도 SQL에 매 시간마다 쌓이는 센서 데이터들의 크기와 특정 조회 쿼리를 날릴 경우에 있어서 앞으로 시스템을 유지하는데 SQL만 쓰기에는 무리가 있다고 생각했다. 따라서 측정 데이터는 InfluxDB나 Marchbase DB를 이용하고, 추가로 SQL의 관계형 DB를 이용히는 것을 목표로 잡게 되었다. 먼저, SQL과 InfluxDB의 쿼리 속도에 대해 비교해야 한다고 생각했다. 따라서 각 DataBase에 천만건의 데이터를 쌓은 뒤 특정 쿼리들을 실행 한 후 검색 속도를 조회하기로 하였다. [1] 인덱싱 된 MySQL에 천만 건의 .. 2022. 8. 9.
반응형

티스토리툴바