Qlik Big Data Solution - ODAG (빅데이터 솔루션)

Qlik Big Data Solution

ODAG__Big_Data_and_ODAG

 

빅 데이터 환경에는 몇 가지 고유 한 문제가 있습니다.

 

빅 데이터가 과대 광고를 넘어 많은 대기업에서 승인된 엔터프라이즈 데이터 아키텍처의 일부로 자리 매김 한 것으로 보이지만, 많은 기업들이 여전히 빅 데이터 기술이 장기 전략에 어떻게 적용되는지 이해하려고 노력하고 있습니다.

빅 데이터는 상당한 분석 가치 자체를 이끌어 낼 수 있지만, 이 데이터를 기존의 데이터 소스와 심지어 외부 데이터 소스와 결합하여 더 넓은 범위로 확장 할 수 있는 능력은 비즈니스에 대한 보다 풍부한 시각을 만들 수 있다는 것을 이해하는 것이 중요합니다 - 통찰력.

그리고 이 값이 데이터 과학자의 작업에 활력을 주기 위해서만 제한되어서는 안됩니다. 선택된 소수 .... 만일 빅 데이터가 이제 실제로 빅 회사 데이터의 표준의 일부라면…. 모든 비즈니스 사용자가 혜택을 볼 수 있는 것은 아닌가?

 

--- SIDENOTE – 실제로, MIT와 Wharton의 연구에 따르면 데이터 기반 의사 결정을 채택한 회사는 많은 생산성 측정치가 5-6 % 증가한 것으로 나타났습니다. ----

 

Big Data Landscape

 

Big Data User

빅 데이터 공간에는 3 가지 매우 중요한 BI 구성 요소가 있습니다.

Data Scientists : 데이터 과학자는 한 그룹입니다. 대부분의 조직에는 거의 존재하지 않지만 데이터 마이닝 및 데이터에 대한 고급 분석 기술에 매우 전문적입니다.

Data Knowledge Workers : 보험 계리사, 재무 설계사 및 통계 학자와 같은 데이터 지식 근로자는 더 큰 그룹이지만 여전히 대규모 조직에서 수십 명에 이릅니다.

Business Analysts : 지금까지 가장 큰 그룹은 비즈니스 분석가로, 수백 또는 수천 개의 대규모 조직에 속할 수 있습니다. 이러한 사용자는 부서 및 회사 데이터를 분석하여 비즈니스에 영향을 미치는 메트릭 및 발견을 이해하고 수행하는 일상적인 BI 사용자입니다. 부서 그룹의 관리자, 분석가, 전문가, 임원 또는 중소기업이 될 수 있습니다. 그러나 모두 비즈니스 영역을 잘 알고 있으며 이미 많은 BI를 소비하고 있습니다.

 

The Problem

빅 데이터의 요구를 충족한다고 주장하는 대부분의 BI 도구는 데이터 과학자의 요구에만 집중합니다. 이들은 중요한 요구 사항이지만 일반적으로 조직 내 소수의 사람들에게만 서비스를 제공하며 빅 데이터를 필요로 하는 대부분의 사람들을 추위에 두지 않습니다.

 

How is Qlik Different?

Qlik의 플랫폼은 메모리 우선 모델이며 심층 드릴링을 위해 데이터베이스에 직접 접근 할 수 있습니다. 이것이 의미하는 바는 모든 빅 데이터 분석 (전폭 탐색 BI)의 대부분이 1 초 미만의 응답 시간에 메모리에 남아 있으며 심층 드릴링이 필요한 경우에만 Qlik이 더 비싸고 프로세스를 위해 데이터베이스에 접근 할 수 있다는 것입니다. 더 깊은 드릴링 요구에 대한 집중적 인 쿼리. 이 혼합은 조직에 필요한 사용 패턴과 일치합니다.

소수의 요구를 전문으로 하는 BI 도구를 선택 하시겠습니까? 또는 포괄적 인 빅 데이터 접근 방식으로 모든 요구를 충족시키는 플랫폼을 선택 하시겠습니까?

 

Accelerate Big Data ROI

빅 데이터에 투자하는 기업들조차도 여전히 최대의 이익을 얻기 위해 노력하고 있습니다.

 

기업이 다양한 빅 데이터 관련 기술을 배포하기 시작하면서 많은 사람들이 예상되는 혜택을 깨닫기 위해 노력합니다. Wikibon 리서치에 따르면, 설문에 응한 빅 데이터 실무자 중 48 %만이 예상되는 혜택을 실현했다고 응답했습니다. 그러나이 보고서는 또한 현재까지 기대했던 것보다 수익률이 긍정적이지는 않았지만, 이 공간의 도구가 급속히 발전함에 따라 향후 2-3 년 동안 이것이 바뀔 것으로 예상하고 있습니다.

l  Qlik 플랫폼은 기업이 더 많은 개인에게 데이터를 제공함으로써 기업이 빅 데이터에서 받는 ROI를 가속화 할 수 있도록 도와줍니다.

l  빅 데이터 시스템에 포함 된 데이터가 기존 비즈니스 데이터를 풍부하게 하는 방법을 더 많은 사람들이 발견함에 따라 새로운 가치 창출 방법을 찾을 수 있습니다.

l  데이터를 대상으로 의도적으로 전달하여 모든 사람이 부담없이 필요한 것을 얻을 수 있습니다.

WHY YOU SHOULD CARE:

FROM : 많은 일반적인 빅 데이터 소스에 쉽게 연결 조직은 다음을 수행 할 수 있습니다. 최소한의 노력으로 광범위한 사용자에게 데이터를 제공

FROM : 빅 데이터와 기존 및 외부 소스의 다른 데이터를 결합 조직은 다음을 수행 할 수 있습니다.보다 심층적 인 통찰을 얻을 수있는 풍부한 정보를 제공합니다.

FROM : Qlik Platform을 사용하여 목적 구축 대상 솔루션 제공 조직은 다음을 수행 할 수 있습니다. 빅 데이터 아키텍처의 복잡성으로 인해 개인이 압도 당하지 않도록 합니다.

 

Qlik의 플랫폼은 다른 데이터와 관련하여 빅 데이터를 제공하여 빅 데이터의 관련성을 유지함으로써 ROI를 높입니다.

 

Qlik Big Data Methods

Big Data 및 Qlik은 모든 접근 방식에 적합한 단일 솔루션이 아니며, 다양한 기술을 사용할 수 있으며, 이 중 하나인 On Demand App"이라는 방식을 소개 합니다.

 

"인덱스"앱의 기간, 고객 세그먼트 또는 지역과 같은 특정 데이터 하위 집합이 "분석"앱을 대화 형으로 채울 수 있는 "쇼핑 목록"환경을 사용자에게 제공합니다. 메모리에 호스팅 된 잠재 하위 집합에 완전한 QlikView / Qlik Sense 기능이 제공됩니다. 데이터 세트에 태그를 지정하기 위해 Revolution / R 프로 시저 호출과 같이 사용자가 선택한 범위 내에서 범위를 지정해야 하는 외부 계산 데이터로 데이터 클라우드 기능 보강 확장 객체 Direct Discovery를 사용하여 수행 할 수 없는 Teradata Aster 또는 MapR과 같은 비 SQL 쿼리에 영향을 줍니다.

 

 

l  트윗은 Logstash를 통해 Elastic DB에 채워집니다

l  사용자는 사용자 정의 웹 페이지에서 Elastic DB에 저장된 트윗을 검색합니다

l  Sense Proxy, Engine 및 Repository API가 포함 된 NodeJS 컨테이너는 Elastic DB에 저장된 검색의 트윗으로 분석 앱을 인덱싱합니다. 데이터 조각은 사용자와 관련이 있습니다

l  공유 스트림으로 업데이트 및 게시 된 분석 앱

 

Architecture

 

On-Demand App Generation (ODAG)

사용자 선택으로 빅데이터의 subset을 분류하고 즉시 분석 App을 자동 생성

•        Template/Selection app 은 빅데이터 환경 전체를 요약하여 제공

•        사용자는 데이터의 subset을 선택하고 분석을 위해 새 App을 동적으로 생성

•        분석/상세 App은 완전히 제한되지 않은 검색 및 탐색 기능을 제공

 

On-Demand App Generation (ODAG)  User Flow

1. 사용자가 Selection App에서 요약 데이터를 보고 부분적 데이터를 선택
2. 사용자가 분석 App을 생성하도록 요청
3. 소스 데이터 추출 및 분석 App 생성

4.     필요에 따라 1-3 번 단계를 반복

 

 

 

Qlik Sense 전반적인 소개는 

https://qliksense.tistory.com/13

차세대 시각화 솔루션 클릭센스(Qlik Sense) 소개

 

기술에 관련된 자료는 

https://qliksense.tistory.com/

클릭커

여기에도 있습니다. 

blog.naver.com/about_qlik

 

 

더 자세항 자료는 첨부파일을 활용하세요. 

 

ODAG Getting Started.pdf

0.27MB

ODAG€__Big_Data_and_ODAG PPT.pdf

1.38MB

ODAG€__Big_Data_and_ODAG.pdf

0.46MB