대용량의 데이터를 증분 적재(변경 분 적재)를 하기 위해서는 목적 테이블의 최종변경일시 값을 가져온 후 원시 테이블에서 가져온 최종변경일시 이후의 레코드를 가져옵니다. 이를 다시 목적 테이블의 데이터와 합친 후 저장하는 과정을 거칩니다.
이를 위해서 목적 테이블의 최종변경일시 값을 가져와야 하는데 가장 먼저 생각할 수 있는 방법이 Max 함수를 이용하여 값을 가져오는 방법입니다.
최종변경일시의 데이터 타입은 Timestamp 형식입니다.
기본 테이블 정보
테이블의 레코드 수 : 267, 532, 130
적재시간 : 7초
최종변경일시의 고유값은 7천만건 입니다.
데이터 모델 뷰어에서 총 고유값을 확인합니다.
Max 함수를 이용하여 최종변경일시의 값 가져오기
Max 함수를 이용하여 최종변경일시의 값을 가져오는 총 소요시간 : 14분 27초
전체 적재 후 최종변경일시를 Order By를 이용하여 정렬 후 첫번째 값 가져오기
Order By를 이용하여 최종변경일시의 값을 가져오는 총 소요시간 : 4분 42초
약 10분의 시간이 절약되었습니다.
For more information
https://qliksense.tistory.com/
https://blog.naver.com/about_qlik
Qliker
'Qlik Sense 개발가이드' 카테고리의 다른 글
| 클릭센스에 이미지 사용방법 (0) | 2022.12.15 |
|---|---|
| 쿼드런트 분석(Magic Quadrant) 차트 만들기 (0) | 2022.12.13 |
| 관계도 차트 (Network Chart) (0) | 2022.12.10 |
| 월별 추이 분석 (조회 기간 지정) (0) | 2022.12.07 |
| 관리회계 리포트 작성방법 (0) | 2022.12.04 |
