[Logstash] 실행

Logstash를 활용해 프롬프트에 입력된 데이터를 ElasticSearch에 적재해보도록 하겠습니다.

 

0. 준비하기

Logstash를 설치합니다.

 

https://dogf.tistory.com/59

[Logstash] 설치

 

1. 실행하기

Logstash는 conf 파일과 함께 구동되어야 합니다.

 

 

먼저, Logstash 설치 디렉터리 밑에 config 디렉터리에 logstash-sample.conf 파일이 있습니다.

 

이 파일을 수정해,

 

(Input) 수집 데이터 소스를 지정하고,

(Output) 데이터를 ElasticSearch로 보낼 수 있습니다.

파일을 열어보면,

 

이렇게 되어있는데, 우리는 Beats까지 연동하지 않을 거기 때문에 

 

다음 내용으로 수정합니다.

input {
  stdin{}
}

filter {
}

output {
  elasticsearch {
    hosts => ["http://localhost:9200"]
    index => "test"
  }
}

 

간단하게 설명드리면 

input 부분의 stdin {} 은 키보드 입력을 받겠다는 구문입니다.
filter는 입력된 데이터를 필터링(전처리, 정제 등) 할 때 활용되는데 일단 비워둡니다.
output 부분에는 elasticsearch의 접근 경로를 http 호출 형식으로 작성해주고, index를 "test"로 해줍니다.

이때 index는 RDMBS의 테이블과 비슷한 역할을 합니다.

index 명을 기준으로 실행 후 elasticsearch와 kibana를 통해 조회를 해볼 겁니다.

 

위 conf 파일을 수정한 후, 명령 프롬프트 창을 열어 다음과 같이 Lostash 설치 디렉터리에 이동해 명령어를 칩니다.

//설치 디렉터리 이동 후 (저는 cd C:\elastic\logstash-7.6.0\bin 로 이동했습니다.)
C:\elastic\logstash-7.6.0\bin>logstash.bat -f C:\elastic\logstash-7.6.0\config\logstash-sample.conf

위와 같이 config 디렉터리에 있는 내용과 함께 실행시킵니다.

Logstash 실행

실행하면, 로그가 쭉 나오고 하얀색으로 하이라이팅 되어 있는 부분처럼

...

Successfully started Logstash API endpoint {:port=>9600}

...

라고 나오고 뒤에 에러가 없으면 정상적으로 실행된 겁니다.

 

2. 확인하기

 

1) Logstash 수집 

실행 후에 입력이 가능해지는데, 하얀색으로 하이라이팅 되어 있는 부분처럼 아무 내용이나 입력합니다.

 

2) ElasticSearch 적재 확인

웹 브라우저에 http://localhost:9200/test/_search?pretty를 입력하면

test index 데이터를 조회해볼 수 있고, 성공적으로 적재되어 있는 모습을 볼 수 있습니다.

 

ElasticSearch 데이터 조회

 

추후 다양한 데이터를 Input / Filter / Output 플러그인을 활용하는 예제를 포스팅하도록 하겠습니다.

이상입니다.