Profinit DATA_FRAME je technologickou součástí balíčku nástrojů, služeb a metodik Profi nit BI Suite, který velmi efektivně umožňuje vybudovat funkční řešení pro oblast business intelligence podle potřeb libovolného zákazníka.
DATA_FRAME předpokládá jednotnou architekturu budovaného BI řešení realizovanou v relačním databázovém prostředí. Profi nit pracuje se standardní třívrstvou datovou architekturu, kde:

  • Vrstva STAGE obsahuje snímky původních zdrojových dat.
  • Vrstva CORE je určena pro specifi cký datový (dimenzionální) model, který odpovídá obchodnímu pohledu pro danou oblast (celou fi rmu, konkrétní agendu, …).
  • Vrstva DATA MARTů vychází z dat CORE a obsahuje hotová data pro rychlou přípravu reportů a provádění základních analýz

DATA_FRAME umožňuje budovat kompletní řešení se všemi vrstvami najednou nebo budovat jen některé vrstvy (např. jen do úrovně STAGE nebo naopak vybudování jen konkrétního DATA MARTu).
Ve zkratce bychom DATA_FRAME mohli defi novat jako způsob budování BI řešení založeného na metadatech. Metadata nám zásadním způsobem pomáhají ve fázích návrhu, generování artefaktů řešení, testování, řízení ETL procesů a v neposlední řadě pak pro governance celého řešení.

1. Designer

Po nezbytné úvodní analýze (která by měla vycházet z předem rozmyšleného konceptu) probíhá fáze návrhu řešení, kdy vznikají jednoduchá, ale dobře strukturovaná defi niční metadata. Tato metadata slouží k popisu dat ve zdrojových systémech, která budeme přenášet do STAGE. Metadata mohou defi novat logické struktury datového modelu a dále slouží ke specifi kaci ETL procesů a datových transformací pro naplnění jádra a martů (mapování).
Důležitou součástí defi ničních metadat je mapování zdrojových dat do datového modelu a martů. Pro vlastní zápis defi ničních metadat můžeme použít jednoduchou šablonu ve formátu MS Excel.
K uploadu metadat ze šablony do databáze DATA_FRAME slouží Metaloader – nástroj, který mimo jiné kontroluje, zda je design vnitřně konzistentní a úplný.

2. Generátor

Výsledné BI řešení se bude skládat z artefaktů – mnoha databázových tabulek, indexů, SQL procedur atd. Konkrétní podoba každého typu artefaktu vychází z konvencí, které jsou výsledkem určitých úvodních rozhodnutí a které jsou pak promítnuté do DWH šablon – dvojic XSLT a SQL scriptů.
Generátor potom kombinuje konkrétní metadata s příslušnými šablonami a vytváří SQL DDL scripty, které po spuštění v cílové databázi vytvářejí konkrétní databázové objekty. Některé datové transformace, které obsahují už podle designu složitější business logiku, není možné generovat.
Pro tyto části artefaktů je možné vyvinout individuální části SQL kódu.

3. Scheduler

Jakmile jsou vytvořeny databázové objekty – komponenty řešení, bude potřeba je
„rozpohybovat“, zahájit pravidelné ETL procesy a datové transformace. Z návrhu bychom měli mít defi novány vzájemné závislosti a podmínky pro nastartování jednotlivých procesů. Tyto jsou opět strukturovaně zapsány formou metadat, podle kterých potom aplikace Scheduler orchestruje celé „workfl ow“ načítáním dat do BI řešení.
Scheduler o každém procesu pořizuje záznamy do logů a má několik užitečných funkčností, jako např. opakované spouštění vybraných větví workfl ow apod.
Vedle Defi ničních Metadat můžeme také pracovat s Deskriptivními Metadaty, která přebíráme z hotové cílové databáze BI řešení po vytvoření všech objektů a můžeme porovnávat, jestli mezi návrhem a realizovaným řešením nejsou rozdíly. Obě verze metadat můžeme také vizualizovat pomocí
nástroje Manta. Porovnávání Metadat je velmi užitečným nástrojem Konfi guračního řízení.
Profi nit dává při budování BI řešení velký důraz na testování a jeho strategii. Informace obsažené v metadatech významně pomáhají při volbě vhodných testovacích případů, výběru vzorků dat, určení kritických datových elementů k testování apod. Řešení vybudované pomocí DATA_FRAME se skládá ze tří částí:

  • Vlastní DATA_FRAME, který obsahuje databázi pro uchování metadat a aplikační vybavení, XLS šablonu pro zápis defi ničních metadat a aplikace Metaloader, Generátor a Scheduler.
  • DATA_FRAME PROFIL, který obsahuje defi nici architektury konkrétního BI řešení, použité konvence, konkrétní Defi niční Metadata a šablony pro generování databázových objektů. Součástí
    licence DATA_FRAME je vzorový PROFIL Profinit DWH.
  • › Cílové BI řešení realizované na konkrétní relační databázové platformě, vybudované rostřednictvím vygenerovaných SQL/DDL scriptů, nad kterým se spouští workfl owslužeb.

Dimenzionální model jádra DWH

Součástí PROFILu může být také předdefi novaný dimenzionální model jádra DWH pro určitou business oblast. Profi nit může dodat např. datový model pro banky, úvěrové společnosti, leasingové společnosti, datový model pro výrobní společnosti nebo třeba datový model pro zábavní průmysl. DATA_FRAME je v rámci BI Suite výhodné kombinovat s dalšími technickými nástroji – zejména produktem CWI pro manuální správu číselníků, parametrizačních tabulek a dalších datových vstupů do BI řešení, Web upload utilitou (WUU) pro upload datových vstupů spravovaných mimo BI řešení a již zmíněným nástrojem Manta pro vizualizaci metadat a zobrazení datových toků uvnitř BI řešení i v jeho systémovém okolí (data lineage) a nebo také jako nástroj pro Quality Assurance nad vyvinutým SQL kódem.

Profinit_DATA_FRAME_2016_online-2-img