Andmeait-andmeladu-DWS kui ärianalüüsi vundament

Allikas: Äri-IT Kevad 2022

Autor: Mihkel Nugis, BCS Itera ärianalüüsi arendaja ja konsultant

Andmeait ja ärianalüütika kuuluvad kokku. Üks ilma teiseta on poolik lahendus. Kuigi oleme andmeaidast või -laost kirjutanud varasematest numbrites rohkem kui üks kord, ei tee paha veel kord üle korrata, millega on tegemist.

Mis on andmeait?

Andmeait on tehnoloogia, mis võimaldab koguda, muuta ja salvestada ettevõtte tegevuse käigus kogutud andmeid. Andmeaidas standardiseeritakse eri allikatest laetud andmed, viiakse need andmetarbija jaoks mõistetavale kujule ja võimaldatakse ligipääs ärianalüüsi rakendustele.

Andmeaida ülesehitus

Tavaliselt eristatakse andmeaida puhul kolme kihti.

Kolmekihilise andmeaida struktuur

Esimeses kihis (andmebaasi kiht) toimub andmete lugemine välistest andmeallikatest ja andmete hoiustamine (ETL: Extract – Transform – Load). Andmeallikateks võivad olla mitmesugused rakendused, mis ettevõtte äritegevust toetavad, näiteks majandustarkvara (ERP – Enterprise Resource Planning), kliendihaldustarkvara (CRM – Customer Relationship Management), personaliarvestuse tarkvara (HRM – Human Resource Management) ning ka liidesed (API-d – Application Programming Interface) muudest ettevõttesisestest või välistest rakendustest jne.

Andmebaasi kihis puhastatakse, transformeeritakse ja salvestatakse andmed tabelite kujule.

Andmete töötlemisel andmeaidas on peamiseks operatsiooniks nende lisamine. Tüüpiliselt täiendatakse andmeaida tabeleid uute andmetega ilma vajaduseta muuta või kustutada juba varasemalt talletatud andmeid. Sellisel juhul räägime inkrementaalsest laadimisest. Andmete täiendamine toimub regulaarselt, ajaintervalli saab seadistada vastavalt vajadusele. Enamasti on mõistlik andmete laadimist läbi viia üks kord ööpäevas öisel ajal, et mitte koormata operatiivbaaside tööd, kui seal käib aktiivne tegevus.

Andmeaida andmebaasi kiht ei koosne ainult äritegevuse toorandmetest, vaid selles kihis leiab ka meta- ja koondandmeid.

Metaandmed on andmed andmete kohta ehk tehniline info (programmi skriptid, vastavuste ja  seadistuste tabelid), mis sisaldab instruktsioone, kuidas andmebaas koostatakse, millised on tabelite seosed jms. Metaandmed juhivad ja korraldavad andmeaida protsesside tööd.

Koondandmed on toorandmetest tuletatud andmed. Näiteks on tihti mõistlik arvutada andmelaos kaubaliikumiste põhjal laojäägi kogused iga kauba, päeva, lao ja riiuli kohta ette valmis. Sellisel juhul on hilisem päring laoseisude kohta kiirem, sest pole vaja teha lisaarvutusi.

Keskmises kihis (analüütika kiht) toimub andmete serveerimine kasutajale. Andmeaida andmebaasi kihile puudub lõppkasutajal otse ligipääs. Analüütika kihis on üles seatud teenus, mille kaudu rakendused saavad äriinfole ligi. Kui ärianalüütikas räägitakse andmekuupidest, siis mõeldakse just seda andmeaida osa. Nimetus kuup viitab analüüsikihi erilisele meetodile, kuidas andmeid presenteeritakse – multidimensionaalsele mudelile. Selles kihis on andmed dimensioneeritud.

Igal arvulisel väärtusel ehk mõõdikul on seos eri dimensioonidega. Dimensioonide abil saab kasutaja piirata valitud arvnäitajate arvutamise tingimusi. Dimensioonid mõjuvad arvutustele filtritena. Dimensioonideks on näiteks aja, koha või objekti tunnused – atribuudid. Ajadimensiooni atribuutideks on kuupäev, kuu, aasta või nädala number, kliendi atribuutideks võivad aga olla tema kood, nimi, aadress, asukohariik.

Analüütika kihis esitatakse andmed sellisel kujul, et kasutajale oleks andmete eesmärk ja sisu võimalikult arusaadav. Tavaliselt jagatakse analüütika kihis andmed eraldi alamosadeks (Data Marts), mis sisaldavad ainult teatud ühise iseloomuga andmeid. Näiteks on mõistlik hoida eraldi müügianalüüsi jaoks vajalikke andmeid ja personalihalduse andmed – nii on mugavam hallata kasutajate ligipääsuõigusi ainult nende jaoks tarvilikule infole.

Viimased arengud

Multidimensionaalset mudelit on asunud välja vahetama uuem andmemudeli tehnoloogia nimetusega tabulaarne andmemudel. Kasutaja jaoks siin väga midagi ei muutu, endiselt on aruannete koostamisel kasutada eri mõõdikud ja dimensioonid. Muudatus seisneb viisis, kuidas hoitakse andmeid analüüsikihi baasis. Kunat tabulaarne andmemudel on laetud tervikuna operatiivmällu, võimaldab see rakendada kiiremaid päringuid, kui need on multidimensionaalses mudelis.

Rõhutasin, et andmed on salvestatud nii andmebaasi kui ka analüüsi kihis. Nüüd võib tekkida küsimus, kas andmete topelt hoidmine on õigustatud ja kas see ei ole hoopis serveri salvestusruumi raiskamine. Tõepoolest, samad andmed esinevad meil kahes kohas, aga analüütika kihis on tänu efektiivsele andmete pakkimisele kasutatud maht palju väiksem kui andmebaasi kihis. Samuti on analüütika kihis olevate andmete pealt päringute tegemine mitu korda kiirem. Seega pole analüütika kihi rakendamine andmeaidas mitte ainult soovitatav, vaid hädavajalik, et tagada toimiv ja kiire aruandlus.

Aruandluseni jõudes saamegi nüüd rääkida kolmandas ehk esitluskihist. See koosneb mitmetest rakendustest, mis võimaldavad kasutajal luua ühendust analüütika kihi teenusega ja koostada aruandeid. Kuna analüütika kihi väljund on standardses vormis, siis on kasutajatel valida paljude rakenduste vahel, millega andmeid visualiseerida ja analüüsida. Üheks selliseks rakenduseks on kõigile teada Excel, paljudele on tuttav teinegi Microsofti ärianalüütika toode ehk Power BI.

Andmeaida ehitamine

Andmeaida ehitamine on reeglina ajamahukas töö, kuna andmeallikad on väga erineva iseloomu ja struktuuriga. Andmeaida juurutamise aega aitab suuresti kokku hoida automatiseeritud andmeladude lahenduste olemasolu. Kui andmete allikaks on põhiliselt üks süsteem, siis on võimalik, et sellisele allikale on juba andmeladu olemas ja selle juurutamiseks pruugib käivitada vaid ettevalmistatud skriptide kogum, mis loob andmehoidla automaatselt.

Kasutajad saavad automatiseeritud andmeaida loodud analüüsiteenuseid hakata kasutama samast päevast alates, kui see installeeriti. Tõsi, ettevõtte tegevuse eripärade tõttu tuleb ärianalüüsi lahendust tihti täiendada ja muuta, kuid selle töö maht on vaid murdosa võrreldes sellega, mida nõuaks andmelao arendamine nullist.

Microsoft Dynamics platvormil loodud majandustarkvara kasutajatele on välja töötatud automatiseeritud andmelao lahendus BI4Dynamics. Oleme seda juurutanud kümnetele MS Dynamics Business Centrali klientidele. Keskmiselt kulub esmase standardkomplekssusega andmeaida käimapaneku peale mõni tund kuni paar päeva.

Tänu sellistele lahendusele on andmelao juurutus tänapäeval kiire ja valutu protsess. Elu on näidanud, et kes korra on harjunud andmeaidal põhinevat ärianalüütikat kasutama, jääbki seda usaldama.

Kliendilugusid leiab ka lehelt bi365.ee.