반응형 Big Data/Logstash4 [Logstash] 실행 Logstash를 활용해 프롬프트에 입력된 데이터를 ElasticSearch에 적재해보도록 하겠습니다. 0. 준비하기 Logstash를 설치합니다. https://dogf.tistory.com/59 [Logstash] 설치 Elastic의 데이터 수집기 Logstash를 설치하는 방법을 알려드리겠습니다. 다운로드 링크 접속 > 파일 다운로드 > 압축해제 (끝) 먼저, Logstash 설치 경로로 들어갑니다. https://www.elastic.co/kr/downloads/pas.. dogf.tistory.com 1. 실행하기 Logstash는 conf 파일과 함께 구동되어야 합니다. 먼저, Logstash 설치 디렉터리 밑에 config 디렉터리에 logstash-sample.conf 파일이 있습니다. .. 2021. 7. 5. [Logstash] CSV 파일 데이터 수집하기 Logstash를 활용해 CSV 파일을 input 방법에 대해서 알아보도록 하겠습니다. 구축 환경 : windows 10 / RAM 32GB 절차는 다음과 같습니다. 1) conf 파일을 수정하고 > 2) 구동하여 ES에 적재하고 > 3) 데이터가 잘 들어갔는지 확인합니다. 1. conf 파일 수정 conf 파일을 다음과 같이 수정합니다. - 아무 샘플 CSV 파일을 받아 지정 path에 넣고 칼럼명만 아래 배열 형태로 잘 넣어주면 됩니다. # logstash-csv.conf input { file{ # CSV 파일 경로 설정 path => "C:/elastic/logstash-7.6.0/csv/*.csv" start_position => "beginning" } } filter { csv { # 구분자.. 2021. 7. 5. [Logstash] 설치 Elastic의 데이터 수집기 Logstash를 설치하는 방법을 알려드리겠습니다. 다운로드 링크 접속 > 파일 다운로드 > 압축해제 (끝) 먼저, Logstash 설치 경로로 들어갑니다. https://www.elastic.co/kr/downloads/past-releases/logstash-7-6-0 Logstash 7.6.0 | Elastic View the detailed release notes here. www.elastic.co 운영체제에 맞게 링크를 클릭하여 다운로드 받습니다. 예시 ) - Windows 는 ZIP - LINUX는 TAR.GZ 원하는 경로에 압축 해제하면 설치 끝납니다. 설치완료 TIP - 구글에 설치 하고자 하는 버전을 검색하시면 원하는 버전 링크가 나옵니다. 2021. 6. 29. Logstash-config.reload.automatic Logstash 사용 시 --config.reload.automatic 설정을 통해서 conf 파일에 대한 변경 사항을 데몬 재시작 없이 할 수 있습니다. 하지만 모든 변경 사항에 대해서 반영이 가능 하지 않기 때문에 사용 시 주의 하셔야 합니다. 크게 사용 방법은 두 가지로 나뉩니다. 1. --config.reload.automatic 을 통한 자동 갱신 2. Logstash 재시작을 통한 갱신 2번의 과정을 하고 싶지 않기 때문에 1번을 설정해서 사용을 하는데 문제는 이게 모든 plugins 에서 동작 하지는 않는 다는 것입니다. 만약 아래와 같은 에러를 접하셨다면, 해당 plugin 또는 pipeline 은 auto reload 설정이 동작 하지 않는 것들 이니 참고 하시기 바랍니다. [에러내용] .. 2021. 6. 22. 이전 1 다음 반응형
