클릭센스(Qlik Sense) 소개 - 아키텍쳐 및 확장성

차세대 시각화 솔루션 클릭센스(Qlik Sense) 의 아키텍쳐에 알아보겠습니다. 

클릭센스에 대한 기본 소개는 이전 글 (https://qliksense.tistory.com/13) 을 참조하세요. 

 

플랫폼

Qlik Sense®는 연관, 메모리 내 분석 모델을 통한 분석 플랫폼입니다. 사용자의 선택에 따라 메모리 내에 저장된 데이터에 대한 계산이 런타임으로 수행됩니다. 결과는 제로 풋프린트 웹 인터페이스를 통해 데스크톱, 노트북, 모바일 장치 및 내장형 분석에 전달되어 사용자에게 반환됩니다. Qlik Sense는 고도의 대화형, 연관 경험을 제공하여 사용자가 분석 경로 내에서 데이터를 제약이 거의 없이 또는 전혀 없이 자유롭게 탐색할 수 있습니다.

 

연관형, 메모리 내 애플리케이션

연관, 메모리 내 기술을 사용하는 Qlik의 QIX 엔진을 통헤 직관적인 방식으로 데이터를 분석하고 탐색할 수 있습니다. Qlik의 검증된 2세대 데이터 인덱싱 엔진을 통해 데이터를 자유롭게 탐색하고,  Excel과 Access부터 Oracle 및 SQL Server와 같은 데이터 베이스, Cloudera와 Redshift 등의 빅데이터 소스까지 다양한 데이터 소스의 데이터를 바탕으로 시각화를 동시에 생성할 수 있습니다.

 

Qlik Sense는 열 기반, 메모리 내 저장을 사용합니다. 메모리에는 고유 엔트리만 저장되며 데이터 요소 사이의 관계는 포인터로 나타납니다. 이를 통해 데이터를 상당히 압축할 수 있으며, RAM에 더 많은 데이터를 저장할 수 있고, 사용자가 더 빨리 반응할 수 있습니다.

 

일부 빅데이터 시나리오에서는 데이터가 소스에 남아있는 경우가 존재합니다. On-Demand Application Generation이라는 명칭의 구축 기술을 사용하면 사용자가 본인의 선택에 따라 데이터 소스를 쿼리하면서 연관 기술도 여전히 이용할 수 있습니다.

 

연관이란 무엇입니까?

연관은 메모리 내 데이터 저장과 특허받은 엔진의 고유한 결합을 뜻합니다. 이를 통해 사용자가 검색과 탐색을 수행하고 연속 컨텍스트를 포함한 시각화를 생성할 수 있습니다. 기존의 계층 접근 또는 쿼리 기반 접근이 가지고 있던 제한이 없어집니다.

 

Qlik Sense 고객

허브

Qlik Sense 사용자 환경을 일컫는 허브는 제로 풋프린트 웹 브라우저 인터페이스를 통해 제공됩니다.  개발, 드래그 앤 드롭 콘텐츠 생성 및 소비 등이 모두 허브를 통해서 이뤄집니다. 반응형 디자인이 적용된 Qlik Sense에서는 시각화가 자동으로 표시되고 기기에 맞게 크기를 재조정하여 레이아웃과 정보를 적절하게 보여줍니다. 브라우저가 노트북, 데스크톱, 태블릿 또는 스마트폰이어도 문제없습니다.  Qlik Sense는 HTML5, CSS3, JavaScript 및 웹 소켓으로 구축되어 어떠한 플랫폼에도 구축과 배포가 가능합니다.

 

관리 콘솔

Qlik Sense 관리 콘솔을 이용해서 데이터 연결, 애플리케이션, 작업 관리에서 보안 관리, 모니터링, 감사에 이르는 Qlik Sense 플랫폼의 모든 측면을 관리할 수 있습니다.

 

임베디드 분석

Qlik Sense API는 REST 및 JSON 기반이며, Qlik Sense 개발에 사용된 것과 동일한 API를 사용합니다. 사용자가 자체 시각화 및 데이터 소스를 추가하여 Qlik Sense를 확장할 수 있습니다. Qlik Sense 시각화 및 데이터를 다른 웹 기반 애플리케이션과 통합할 수도 있습니다. Qlik Sense에는 이러한 API에 사용할 수 있는 웹 기반 편집기가 기본으로 탑재되어 있습니다.

 

아키텍처 개요

• Qlik Sense 프록시(QPS)는 사용자와 관리자가 각각 허브 및 관리 콘솔을 통해 진입하는 지점입니다. 이 구성요소는 많은 인증 정보 제공자(예: Active Directory, SAML 등)와 통합됩니다. 또한 Proxy는 다른 구성요소에 대한 세션 관리, 라이선스 제공, 부하 균형을 수행합니다.
• Qlik Sense 엔진(QIX)은 메모리 내 연관 데이터 인덱싱 엔진입니다. 이 RAM 기반 애플리케이션 계층은 고도의 대화형, 시각화 셀프서비스, 검색 및 실행 시 계산 기능을 제공합니다.
• Qlik Sense Scheduler(QSS)는 데이터 부하를 조정하는 일정 계획 구성요소입니다.  이 스케줄러는 시간 기반 애플리케이션 재로드, 의존성을 지원하며 기업 전체 규모의 스케줄러(예: CA AutoSys)에 의해 구동됩니다.
• Qlik Sense 리포지토리(QRS)는 플랫폼의 구성 및 관리 정보의 중앙 집중식 스토어입니다. 이 구성요소는 사용자 정의, 보안 및 플랫폼의 다른 많은 요소를 관리합니다.  데이터는 PostGreSQL 내에 유지됩니다.
• Qlik Sense 애플리케이션(.QVF)은 고도로 압축된 데이터, 데이터 모델 및 프리젠테이션 계층으로 구성되어 있습니다. 이 애플리케이션은 파일 시스템에 지속적으로 저장되며 사용자가 요청하는 경우, Qlik Sense 엔진이 메모리로 로드합니다.

보조 서비스(그림에는 없음): Qlik Sense 프린팅 서비스(QPR)는 콘텐츠를 내보낼 때 사용되며, Qlik Sense 서비스 디스패처(QSD)는 데이터 준비, 애플리케이션 이송, on-demand 앱 생성을 위한 루틴을 호출합니다. 

 

다중 노드 아키텍처

Qlik Sense의 모듈식 아키텍처는 개별 조직의 고유한 요건을 충족하기 위해 설계되었습니다. 단일 Qlik Sense 서버는 수백 명의 동시 사용자를 지원하며, Qlik Sense의 다중 노드 아키텍처를 사용하여 더 확장할 수 있습니다.

분산형 작업 부하

Qlik Sense는 특정 기능을 수행하는 데 적합하도록 구성요소를 다양하게 조합해 서버에 배포할 수 있습니다. 아래 표는 서버가 소비자 노드, 개발자 노드, 스케줄러 노드, 중앙 노드의 기능을 담당하도록 Qlik Sense의 구성요소를 배포하는 방법을 설명합니다.

중앙 노드 (Central Node) 

모든 Qlik Sense 환경에는 중앙 노드가 있습니다. 중앙 노드는 마스터 스케줄러의 역할을 수행하여 소프트웨어가 업데이트되고 다른 노드에 대한 연장 오브젝트로 기능할 때 애플리케이션 재로드를 조정하고 애플리케이션 업그레이드를 수행합니다. 또한 중앙 노드는 리포지토리 데이터베이스 및 애플리케이션 파일시스템을 기본으로 보유합니다. 다중 노드 환경에서 각각의 리포지토리 서비스는 중앙 노드의 리포지토리 데이터베이스 및 중앙 노드의 애플리케이션 파일시스템의 각 엔진 부하 애플리케이션(.QVF)과 커뮤니케이션합니다. 선택에 따라 리포지토리 데이터베이스 및/또는 애플리케이션 파일시스템이 탄력적인 전용 리소스로 이동할 수 있습니다. 마지막으로, 중앙 노드는 그 제한적인 책임으로 인해 다른 노드와 함께 위치할 수 있으며 대개는 스케줄러와 함께 위치합니다. 중앙 노드 기능은 하나 이상의 노드에서 구동하도록 지정될 수 있으며 실패하는 경우 하나 이상의 후보 노드가 중앙 노드의 책임을 맡게 됩니다.

 

수평적 확장 – 다중 노드

Qlik Sense에서는 작업 부하를 수직 및 수평적으로 확장할 수 있습니다. 단일 기관(환경) 내에서 다중 소비자 노드, 셀프서비스 분석용 개발자 노드, 데이터 로드용 스케줄러 노드를 사용하면 계속 증가하는 작업 부하에 따라 Qlik Sense를 수평적으로 확장하고 탄력성을 확보할 수 있습니다.

 

작업 부하 설명

설정 가능한 보안 규칙을 이용해 특정 노드에 작업 부하를 지정할 수 있습니다. 예를 들어, 소비자 및 개발자 노드 내에서 콘텐츠 소비와 생성을 분리하거나 애플리케이션을 비즈니스 단위별로 나눕니다. 스케줄러 노드 내에서는 데이터 계층 생성과 애플리케이션 생성을 분리하거나 데이터 로드를 복잡성 또는 기간에 따라 나눕니다.

 

Qlik Sense API

여러 조직들은 자체 플랫폼을 더 복잡하고 변화하는 엔터프라이즈 아키텍처로 통합해야 합니다. Qlik Sense API는 Qlik Sense를 조직 환경에 매끄럽게 통합하여 보안, 자동화, 전달 등의 필요한 기능을 제공합니다.

 

Qlik Sense API는 REST 및 JSON 기반이며 Qlik Sense 개발에 사용된 것과 동일한 API를 사용합니다. 덕분에 Qlik Sense 플랫폼에 사용자의 자체 애플리케이션을 구축할 수 있는 엄청난 장점을 가집니다. 사용자의 자체 시각화 및 데이터 소스를 추가하여 Qlik Sense를 확장할 수 있습니다. 기존의 보안 제공자를 강화할 수도 있습니다. Qlik Sense는 다른 웹 애플리케이션 또는 .NET 프레임워크 기반 데스크톱 애플리케이션과 통합되기도 합니다. 라이선싱, 사용자, 작업을 체계적으로 관리할 수 있습니다

 

확장성 한눈에 보기

시스템을 배포할 때 고려해야 할 사용자의 수가 늘어나고, 또한 사용자가 보유한 데이터 규모와 애플리케이션 수도 증가함에 따라 확장성이 더욱 중요해졌습니다. 확장성은 여러 디멘젼으로 정의하고 측정할 수 있으며, 아키텍처, 데이터, 애플리케이션, 사용자, 전달의 다섯 가지 주요 영역으로 구분됩니다.

 

이와 같은 영역을 통해 Qlik Sense의 확장성에 대해 논의해보겠습니다.

 

아키텍처

Qlik Sense는 다섯 개의 모듈식 주요 서비스로 구성되어 있어 수요를 충족하기 위해 수직 및 수평적으로 확장할 수 있습니다. 이 단순한 아키텍처를 통해 성능과 확장에 예측 가능성을 부여합니다.

데이터

Qlik Sense는 데이터 볼륨에 따라 선형적으로 확장됩니다. 데이터 볼륨이 증가할 때 분석 및 ETL에 대한 여러 데이터 소스의 반응 시간이 얼마나 증가하는지 예측할 수 있습니다.

애플리케이션

Qlik Sense는 애플리케이션에 따라 리소스 소비가 얼마나 확장되는지를 예측합니다. 개별 애플리케이션의 리소스 요건을 추가하여 애플리케이션 그룹의 요건을 파악할 수 있습니다.

사용자

Qlik Sense는 사용자에 따라 선형적으로 확장됩니다. 콘텐츠 생산자와 소비자의 수가 증가하면 서버 리소스에 미치는 영향과 반응 시간이 예측 가능하고 선형적인 방식으로 증가합니다.

전달

Qlik Sense를 통해 조직에서 가장 적합한 사람에게 작업을 할당할 수 있습니다. IT 부서는 하드웨어를 효율적으로 관리하고 데이터를 보호하고 제어할 수 있으며, 사용자는 콘텐츠를 생성하고, 셀프서비스 및 공동작업을 수행할 수 있습니다. 더 적은 리소스를 통해 더 많은 사람의 역량이 향상됩니다.

 

확장 가능 아키텍처

QIX 엔진

Qlik 엔진은 메모리 내 연관 데이터 인덱싱 엔진입니다. 이 RAM 기반 애플리케이션 계층은 고도의 대화형, 시각화 셀프서비스, 검색 및 실행 시 계산 기능을 제공합니다.

 

Qlik Sense는 요청을 받은 시점에서 집계를 계산합니다. 예를 들어 사용자 인터페이스에서 차트 객체를 표시하거나 선택 항목을 재계산하기 위해 집계를 요청하면, 요청과 동시에 집계가 이루어집니다. QIX 엔진은 64비트 프로세스, 다중 스레드이며, 사용 가능한 전체 프로세서 코어를 활용하는 데 최적화되어 있습니다. 보시다시피 데이터 볼륨 및 사용자 증가에 대한 계산을 수행할 때 사용 가능한 코어가 선형적으로 사용됩니다.

 

Qlik Sense는 RAM을 세 가지 효율적인 방식으로 사용합니다. Qlik Sense는 RAM을 저장에 사용합니다.

메모리 및 캐시 관리

 

•         애플리케이션 데이터 모델에 의해 정의된 데이터 세트

•         엔진 계산 및 사용자 선택의 결과인 캐시 결과

•         각 사용자의 세션 상태

 

Qlik Sense 애플리케이션은 서버 내 디스크에 보존되며, 사용자가 애플리케이션을 요청할 때 이전 사용자가 로드한 적이 없는 경우 RAM에 로드됩니다. 여러 사용자가 RAM에 있는 이 애플리케이션에 영향을 미칩니다. 한 번 로드되며 애플리케이션에 액세스하고 분석하는 여러 사용자에 대해 중복되지 않습니다. 애플리케이션이 더 이상 사용되지 않으면 RAM은 자유로워집니다.

 

사용자가 애플리케이션 내에서 선택을 내리면 QIX 엔진이 실시간으로 계산을 수행합니다.  계산 중에 RAM이 일시적으로 배치되어 계산을 수행할 수 있습니다. 결과는 결과 캐시에 저장되며 사용자가 동일한 선택을 하는 경우 재사용될 수 있습니다(제공된 보안이 동일한 데이터 가시성을 허용). 이 단순한 캐시 메커니즘은 추가적인 중복 작업으로부터 CPU를 해방시켜 주며 별도의 관리 없이 Qlik Sense에 의해 자동으로 관리됩니다.

 

마지막으로 각 사용자는 적은 양의 RAM을 사용하여 세션 상태 정보를 유지합니다.

 

분산형 아키텍처

Qlik Sense는 여러 노드로 배포될 수 있으며 물리적 하드웨어, 가상 플랫폼, 클라우드 환경에서 지원되는 모듈식 아키텍처를 보유하고 있습니다.

 

다중 노드 아키텍처를 사용하면 배포에 QIX 엔진이 추가될 때 Qlik Sense를 선형적으로 확장할 수 있습니다.  Qlik Sense는 메모리 내 분석 플랫폼이기 때문에 이러한 확장성을 제공할 수 있으며, 또한 프로세싱 수행 시 기본 데이터베이스에 의존하는 쿼리 기반 도구에서 보편적으로 나타나는 병목 현상을 겪지 않습니다. 노드를 추가하여 배포를 확장하고 프로세싱 성능을 두 배로 증가시키면 사용자 수가 두 배로 늘어나도 충분히 처리할 수 있습니다(비슷한 양의 부하를 생성하는 일반적인 사용자의 경우). 또한 Qlik Sense의 기능을 사용해 노드에 어떤 애플리케이션이 있는지를 정의하면 더욱 만족스러운 결과를 얻을 수 있습니다. 물

론, 확장성이나 전반적인 배포 설계에는 고려해야 할 요소가 많습니다. 자세한 내용을 알아보려면 help.qlik.com의 “다중 노드 기관 배포(Deploying multi-node sites)”를 참고하거나 궁금한 점은 Qlik으로 문의하시기 바랍니다.

 

애플리케이션 및 데이터를 통한 확장

일반적으로 Qlik Sense 배포는 다양한 비즈니스 단위에 종사하는 수많은 사용자의 필요를 만족시켜야 할 때 증가합니다. 이러한 경우 데이터 및 애플리케이션 관리 측면에서 확장 가능한 솔루션이 필요합니다. Sense는 애플리케이션이나 데이터가 추가되면 리소스 소비에 어떤 영향이 생길지를 예측할 수 있습니다. 함께 배포되는 경우 단일 애플리케이션의 리소스 특성(CPU 및 RAM 소비)이 합쳐져서 생산 환경에 게시하기 전에 전체 수요를 예측할 수 있습니다. 오른쪽 그림은 리소스 활용도를 어떻게 예측할 수 있는지를 보여줍니다. 서로 다른 세 가지 애플리케이션이 자체 서버에서 독립적으로 활용되는 경우, 동일한 시나리오가 단일 서버에서 동시에 제공될 때까지 전체 RAM 및 CPU 소비가 합산됩니다. 이를 통해 신뢰할 수 있는 성능 계획이 가능해지고, 배포 시 예측 가능성이 향상됩니다.

 

애플리케이션 성능

애플리케이션의 소스 데이터 볼륨이 증가하면, 이를 유지하기 위해서 RAM의 양도 비례하여 증가해야 합니다. 그러나 소스 데이터가 두 배로 늘어난다고 해서 RAM 역시 두 배로 증가해야 한다는 뜻은 아닙니다. Qlik Sense는 매우 효율적인 알고리즘을 통해 고유한 엔트리를 저장하고, 포인터를 활용해 데이터 간의 관계를 참조합니다.

따라서 데이터가 추가될 때 RAM에서 최대한 효율적으로 표시됩니다. 압축되는 데이터의 특성에 따라, 소스 데이터가 RAM에서 10배 압축됩니다.

 

애플리케이션의 소스 데이터 볼륨이 증가하면 CPU 사이클 수도 이에 비례하여 증가해야 동일한 계산을 처리할 수 있습니다.

결과가 결과 캐시에 아직 포함되지 않은 경우에는 새로운 집계 요청이 있을 때마다 CPU 사이클이 사용되며, 최종 사용자의 요청에 반응하는 데 필요한 시간은 데이터 재계산을 수행하는 CPU의 능력에 대한 함수값입니다. 그러므로

데이터가 애플리케이션에 많이 추가될수록 CPU는 방대한 데이터에 대한 재계산을 수행해야 하며, 그에 따라 CPU 사이클 횟수도 늘어납니다. 다행히도, 위에 언급한 것과 같은 이유 덕분에 Qlik Sense 압축에서 두 배의 데이터를 처리하기 위해 CPU 성능이 두 배가 될 필요는 없습니다.

 

Qlik Sense의 성능은 데이터와 함께 균등하게 확장됩니다. Qlik Sense 애플리케이션에 데이터가 더 많이 추가되면 그에 따라 RAM과 CPU 성능 조합이 추가되므로 항상 최종 사용자 성능을 예측할 수 있습니다. CPU와 RAM의 선형 확장을 통해 성능 및 용량 계획을 예측할 수 있습니다.

 

엔터프라이즈 데이터 계층

Qlik Sense를 통해 옵션 데이터 계층을 구축할 수 있습니다. 이 고도로 압축된 파일은 .QVD 파일이라고 불립니다. 중간 데이터 계층의 장점은 재사용할 수 있고, 대규모 데이터 세트의 경우 부하가 점증적으로 늘어난다는 점입니다. 개별 쿼리 원격 데이터 저장장치가 없어도 Qlik Sense 애플리케이션 여러 개가 .QVD 데이터 계층 내의 동일한 데이터를 사용할 수 있으며, Qlik Sense 스케줄러 구성요소가 이 프로세스와 Qlik Sense의 ETL 기능을 모두 자동화합니다.

소스 데이터 로드 성능

Qlik Sense는 거의 모든 소스에 연결하여 애플리케이션에 데이터를 채울 수 있습니다. 재로드 시간은 CPU 클록 주파수, 데이터 소스, 네트워크 속도, 디스크 속도, 집계 유형, 로드 스크립트 중 계산 등 여러 변수에 따라 달라집니다.  하지만 데이터 재로드에 대한 Qlik Sense 확장

특성은 데이터의 양이 증가함에 따라 여러 디멘젼에서 선형적인 경향을 보여줍니다. 이를 통해 재로드 시간을 예측할 수 있습니다. 아래 그림은 데이터베이스에서 상이한 양의 데이터가 로드되는 경우의 측정 사례를 보여줍니다. 시간과 RAM 활용이 모두 선형적으로 확장됩니다.

 

데이터 계층 성능

Qlik Sense .QVD 데이터 계층에서 데이터를 로드하는 데 필요한 시간은 소스를 쿼리할 때보다 짧습니다.  .QVD 데이터 계층에서의 데이터 로드 역시 시간과 RAM 활용도에 따라 선형적으로 확장됩니다.

 

 

사용자를 통한 확장성

 

Qlik Sense의 성능은 사용자를 통해 균등하게 확장됩니다. Qlik Sense에 새로운 사용자를 추가할 때 성능에 어떠한 영향이 생기는지를 예측할 수 있으므로, 대응책으로서 CPU와 RAM 리소스를 필요한 만큼 추가할 수 있습니다.  다음 그래프는

동시 사용자의 수가 증가할 때 CPU와 RAM 소비량 역시 선형적으로 증가한다는 것을 보여줍니다.

CPU

Qlik Sense 애널리틱스 엔진은 64비트, 다중 스레드 프로세스이며, 계산 수행 시 다중 프로세서 코어를 활용하는 데 최적화되어 있습니다. 사용자가 선택을 하면 Qlik Sense 엔진이 일시적으로 전체 CPU 코어에서 CPU를 집중적으로 사용하여 최대한 빨리 사용자에게 결과를 반환하며, 사용 중이 아닐 때는 CPU 이용율이 0%에 가깝습니다. CPU 활용 및 성능의 적절한 측정값은 평균 CPU를 기준으로 합니다. 또한, Qlik Sense의 엔진 설계 방식 덕분에 사용자를 플랫폼에 추가하면서 CPU 이용률을 선형적으로 확장할 수 있습니다.

RAM

오른쪽의 표는 "메모리 및 캐시 관리" 섹션에서 강조된 원칙을 묘사합니다. 동시 사용자의 수가 두 배로 증가하면서 RAM 풋프린트도 선형적으로 증가하지만, 실제 RAM 사용량은 두 배로 늘어나지 않습니다. 애플리케이션 데이터는 한 번 로드되며, 데이터에 액세스하고 분석하는 사용자가 다수일 때도 중복으로 로드되지 않습니다. 또한 RAM 활용을 통해 사용자 증가 속도를 늦출 수 있다는 것을 참고하시기 바랍니다.  이는 전역 캐시의 히트가 증가한 결과입니다.

 

확장 가능한 전달

Qlik Sense를 통해 조직에서 가장 적합한 사람에게 작업을 할당할 수 있습니다.  IT 전문가는 가상, 클라우드, 물리적 환경에 Qlik Sense를 배포하여 하드웨어를 효율적으로 관리할 수 있으며, 필요에 따라 이러한 환경을 재구성하거나 확장, 축소할 수 있습니다. IT 전문가는 데이터 중앙관리 연결을 통해 데이터 소스에 대한 액세스를 관리할 수 있습니다. 또한 기관 내에서 적절한 수준의 비즈니스 관리자 라인에 관리 기능을 위임할 수 있습니다.

 

 

콘텐츠 생산자들은 사용자 커뮤니티에서 데이터를 통합하고 준비할 수 있으며, 디멘젼 및 메트릭 라이브러리를 구축하여 사용할 수 있고, 시각화를 드래그 앤 드롭하며 스토리를 생성하고 콘텐츠를 게시할 수 있습니다.

 

Qlik Sense를 통해 규모 있는 셀프서비스를 조직에 배포할 수 있습니다.

 

요약

Qlik Sense는 일관되고 예측 가능한 성능을 제공합니다. 데이터, 애플리케이션, 사용자가 선형적으로 확장될 때 Qlik Sense의 아키텍처를 수평적 및 수직적으로 확장할 수 있습니다. IT 전문가는 Qlik Sense를 사용해 시스템 예상 사용량에 따라 최종 사용자 성능과 성능 계획을 효과적으로 유지할 수 있습니다. 

 

 

클릭센스에 대한 기술자료들은 

https://qliksense.tistory.com/

클릭커

 

정보계 분석의 성공요소는 데이터 품질입니다. 

데이터 품질에 대한 자세한 내용은 

https://qliksense.tistory.com/195

데이터 품질관리 솔루션 (QDQM)