목록elasticsearch (1)
이야기박스
Elasticsearch - RestHighLevelClient를 통하여 대량의 문서를 조회하기
Elasticsearch에서 대량의 문서를 조회하려고 하였는데, 최대 10,000건 이상의 문서는 조회되지 않는 현상이 발생하였습니다. 오늘은 Elasticsearch의 Java 라이브러리를 이용하여 10,000건 이상의 로그를 조회하는 방법을 포스팅해보려고 합니다. 원인 ES에서의 설정 값 'index.max_result_window'(default 10,000건) 만큼의 결과만 hits으로 노출되고 있었습니다. 해결 방안 1. index.max_result_window 값 증가 2. Scroll API 3. Search After 1번은 근본적인 해결 방안이 아니기 때문에 제외하고, 나머지 2-3번 방법을 위주로 조사해보았습니다. 마침 공식 문서 가보니, Scroll API가 아닌 Search Aft..
Computer & Data/Big Data
2022. 5. 18. 18:18