E4NET

엘라스틱서치(Elasticsearch)란? 본문

E4.Tech/IT Technology

엘라스틱서치(Elasticsearch)란?

E4. 2021. 11. 1. 16:30

안녕하세요. IT서비스사업본부 김선형입니다.


근래 조달청 전면개편사업 뿐만아니라 신규 구축된 사업을 보면 데이터신기술이 많이 언급되고 있습니다. 그만큼 데이터분야의 신기술(빅데이터, 머신러닝, 엘라스틱서치 등)도 성장하고 있습니다. 그 중 엘라시틱서치는 검색분야에서 큰 주목을 받고 있으며 엘라스틱서치를 기반으로하는 제품도 다양하게 나오는 시점에 엘라스틱서치란 무엇인가에 대해 알아보는 시간을 가지려고 합니다.

엘라스틱서치는 엘라스틱(Elastic)社가 아파치 루씬(Apache Lucene)을 기반으로 개발·공급하는 오픈소스 검색엔진 솔루션입니다. 루씬은 강력한 검색 기능을 탑재하고 있지만, 라이브러리 형태로 제공되다 보니 실제 적용 시에는 많은 부분을 직접 개발해야 합니다. 반면 엘라스틱서치는 루씬의 기능을 대부분 지원하면서 대용량 데이터 처리가 가능하고 설치와 구성이 용이합니다.

2010년 공개 이후 엔터프라이즈 검색엔진의 대표주자로 자리매김하고 있는 엘라스틱서치는 검색 기능을 중심으로 다양한 솔루션과 결합하면서 엘라스틱 스택(Elastic Stack)이라는 통합 브랜드로 진화하고 있습니다. 엘라스틱 스택은 사용자가 서버로부터 데이터를 가져와서 실시간으로 검색·분석·모니터링 및 시각화하는 오픈소스 소프트웨어 제품군입니다. 다양한 플러그인을 이용하여 데이터를 수집하는 로그스태시(logstash), 경량 데이터 전송기 비츠(beats), 분산형 검색엔진 엘라스틱서치(elasticsearch), 데이터 시각화 도구 키바나(kibana)로 구성되어 있습니다.

먼저 엘라시틱서치는 분산형 레스트풀(RESTful) 검색 및 분석 엔진입니다. 정형, 비정형, 위치정보, 메트릭 등 원하는 방법으로 다양한 유형의 검색을 수행하고 결합할 수 있습니다. 가장 큰 장점은 확장성과 쉬운 설치이며 작은 규모로 적용해도 이후 점차 쉽게 확대할 수 있으며, API등을 이용해 구조를 단순화 하고 설치하기 쉽습니다.

로그스태시는 오픈소스 서버측 데이터 처리 파이프라인입니다. 다양한 소스에서 동시에 데이터를 수집해 변환한뒤 자주 사용하는 특정 보관소로 데이터를 보내는 역할을 하며 데이터 이동 중에 구문분석 및 변환이 가능해 분석을 쉽고 빠르게 하는데 도움을 주며, 200개 이상의 플로그인을 지원해 다양한 기술과 조합해 사용할수 있습니다.

키바나는 시각화 기술로 히스토그램 막대그래그래프, 파이차트를 표한하는 것부터 위치데이터, 시계열 분석, 그래프관계 탐색등을 지원합니다.

엘라스틱은 현재 5개국어를 지원하고 있는데 한국어도 포함되어있을만큼 한국시장 진출을 활발히 하고 있음을 알수있습니다. 한국에서는 삼성, SK텔레콤, GS샵, NHN엔터테인먼드등이 엘라스틱과 고객사로 되어있습니다.
최근 엘라스틱이 강조하는 기술이 바로 ‘프리러트(Prelert)’다. 프리러트는 2016년 엘라스틱에 인수된 기업으로, 이상 데이터 및 외부 공격을 감지하는 기능을 제공한다. 머신러닝(기계학습)을 결합한 것이 특징이며, ELK 스택에 최적화된 기술을 지원하고 있습니다.

삶의 많은 기록이 인터넷과 온라인에 축적되고 있으며 데이터화가 가속되고 있는 세상에 데이터과학의 하나인 엘라스틱서치에 대해 알아보았습니다.

감사합니다.

'E4.Tech > IT Technology' 카테고리의 다른 글

에고라는 적 (Ego is enemy)  (0) 2021.11.11
엘라스틱서치(Elasticsearch)란?  (0) 2021.11.01
퇴직연금 수익률 어떻게 되세요?  (0) 2021.08.25
MSA와의 지난 1년  (0) 2021.08.24
I Love Spring!  (0) 2021.04.09
마이 데이터, 마이 데이터 사업이 뭐지  (0) 2021.03.04
0 Comments
댓글쓰기 폼