Skip to main content

이상탐지 데이터피드

ElasticsearchMachine Learning7.13Less than 1 minute

이상탐지 잡은 엘라스틱서치나 API를 통해 다른 소스에서 전송된 데이터를 가지고 분석을 할 수 있습니다.
데이터피드는 단순하고 보다 공통적인 시나리오인 분석을 위해 엘라스틱서치에서 데이터를 검색합니다.

이상탐지 잡 각각 한개의 데이터피드를 할당할 수 있습니다.
데이터피드는 정의된 주기(frequency)마다 실행할 쿼리를 포함하고 있습니다.
기본적으로 이 주기는 이상탐지 잡의 버킷 범위 기준으로 계산됩니다.
지연된 데이터를 고려하고 있다면 각 주기마다 쿼리를 실행하기 전에 지연을 추가할 수 있습니다.
지연된 데이터 처리하기를 참고하세요.

데이터피드는 이상탐지 잡에 전달하기 전에 데이터를 합산할 수 있습니다.
그러나 약간의 제한은 있으며 집계는 일반적으로 낮은 카디널리티(cardinality)를 가진 데이터에 사용해야 합니다.
빠른 성능을 위한 집계 데이터를 참고하세요.

키바나에서 이상탐지 잡을 생성할 경우 데이터피드를 무조건 사용해야합니다.
이상탐지 잡을 생성할 때 인덱스 패턴을 선택하면 키바나는 당신을 위해 데이터피드를 구성합니다.
데이터피드의 모든 속성의 설명은 데이터피드 생성 API를 참고하세요.

엘라스틱서치에서 데이터 검색을 시작하려면 데이터피드를 시작해야합니다.
시작할 때 선택적으로 시작과 끝 시간을 지정할 수 있습니다.
종료시간을 지정하지 않으면 데이터피드는 계속적으로 실행됩니다.
종료시간이 있는 데이터피드는 중단이 되면 상응하는 잡을 닫습니다.
이러한 이유로 이력데이터가 분석할 때 종료시간에 도달할 때 데이터피드를 종료하거나 자동으로 중단되고 닫혀질 잡을 닫을 필요가 없습니다.
그러나 종료시간이 없는 데이터피드가 중단되면, 자동으로 상응하는 잡을 닫진 않습니다.
키바나에서 데이터피드를 시작/중단하거나 데이터피드 시작 API데이터피드 종료 API를 사용할 수 있습니다.
데이터피드는 생애주기에 걸쳐서 여러번 시작/중단될 수 있습니다.

중요

엘라스틱서치 보안기능이 활성화 되어있으면, 데이터피드는 해당 시점에 데이터피드를 만들거나 업데이트한 사용자의 역할을 저장합니다.
즉, 해당 역할이 업데이트되면 그후 데이터피드는 역할에 연결된 새로운 권한으로 실행됩니다.
그러나 데이터피드를 만들거나 업데이트한 후 사용자의 역할이 조정되면 데이터피드는 원래 역할과 연결된 권한으로 계속 실행됩니다.

다른 설정을 바꾸지 않고 데이터피드에 저장된 역할을 갱신할 수 있는 한가지 방법은 데이터피드 갱신 API에 공백 JSON 문서({})를 전달하는 것 입니다.

분석할 데이터가 엘라스틱서치에 저장되어있지 않다면 데이터피드를 사용할 수 없습니다.
잡 데이터 등록 API을 사용하여 잡에 직접 데이터 배치를 전달할 수 있습니다.
(7.11.0 부터 사용되지 않음)