Data Vault 2.0 metoodika ― nüüdisaegse äriteabe nurgakivi

Allikas: Äri-IT Kevad 2024

Autor: Tanno Pärli, BCS Itera BI konsultant

Andmed on uus nafta – nii öeldakse praeguse ajastu kohta.

See, kellel on palju andmeid ja oskus neid vajalikuks infoks ümber töödelda, saab suure konkurentsieelise. Andmeladu on hügieenifaktor – järjest olulisem on nüüd selle struktuur, mis võimaldab masinõppe ja tehisintellekti võimalusi tõhusalt ära kasutada.

Ärijuhtide jaoks pole andmeladu enam mingi järjekordne tarkvara, mis arhiveerib andmeid või annab välja igapäevatööks vajalikke aruandeid. Tegu on strateegiliste valikute tegemise vahendiga, millest sõltub äriedu kiirelt muutuva tehnoloogia taustal järgneva kümnekonna aasta jooksul. Kui teed valed valikud andmete ja info haldamisel, paneb see su konkurendid rõõmsalt käsi plaksutama.

Andmeladu

Kolmest tuntuimast andmelao rajamise metoodikast – Inmon, Kimball ja Data Vault 2.0 – on just viimane kõige nüüdisaegsem ja võimekam. Enne olid andmelaod üksnes suurettevõtete mängumaa ja neid kasutati osaliselt arhiivina. Parema töökiiruse saavutamiseks tõsteti varasemate aastate andmed igapäevastest tarkvaradest välja andmelattu, tänu millele on olnud võimalik koostada siiski ka pikema ajaperioodi ülevaateid.

Teine oluline põhjus, miks neid ladusid on ehitatud, on suured andmemahud. Mõnel juhul on andmeid nii palju, et nende põhjal pole võimalik kiiresti aruannet koostada. Sellisel juhul on olnud lahenduseks oodatavate tulemuste ette välja arvutamine ja n-ö laos hoidmine, nii et aruande käivitamisel on kuvatav tulemus kohe käepärast. Need ajaloolised lahendused olid üles ehitatud eeldusele, et kusagil peab hoidma suurt andmehulka ning keskkond ja tööprotsessid on stabiilsed ja muutuvad vähe. Andmeladu oli miski, mis arendati valmis ja mida kasutati siis muutumatul kujul palju aastaid järjest. Need põhimõtted on jäädavalt aegunud.

Kiired muutused ja ärianalüüsi proovikivid

Pidevalt teisenev keskkond mõjutab nii suuri kui ka väikseid äriettevõtteid. Suurte andmemahtude omamisest ja säilitamisest on olulisemaks muutunud uute olukordadega kiirelt kohanev analüüsivõimekus. Kiiresti kasvab ka andmeallikate arv. Kasutatavad tarkvarad, arvutiga juhitavad masinad ja seadmed, valvesüsteemid, mobiiliäpid, veebikeskkonnad ja muud tehnilised lahendused koguvad ja salvestavad kõik andmeid. Võimalusterohke paindliku ärianalüüsi tegemiseks on vaja kohta, kuhu kõigist süsteemidest andmed kokku koguda.

Ärianalüüs (BI – business intelligence) on katalüsaator, mis muudab andmed juhtimisotsuste langetamise jaoks vajalikuks infoks. Aga BI on midagi enamat kui tööriistakomplekt – see on teekond andmete kogumise juurest tarkuse poole. Protsesside abil muudetakse andmed infoks, siis teadmiseks ja lõpuks tarkuseks ning elukogemuseks.

See teekond on aga alati täis suuremaid-väiksemaid proovikive. Suured andmemassiivid, eri formaadid samade andmete hoidmiseks süsteemides, eri andmestruktuurid samade sündmuste registreerimiseks süsteemides jmt tehnilised takistused võivad andmete analüüsi traditsiooniliste aruannete koostamise vahenditega võimatuks muuta. Sedasorti väljakutsed rõhutavad vajadust tugeva, kohandatava ja paindliku andmehoidla lahenduse järele, mis vastab muidugi praegustele vajadustele, aga areneb koos tulevaste ärinõuetega. Praeguses ärikeskkonnas ei ole andmehoidla pelgalt andmete ladustamise koht, vaid pigem ärijuhtide strateegiline vara. Keskne andmehoidla on BI alus, mis pakub kõigist andmetest organiseeritud, puhast ja konsolideeritud vaadet.

Mis on Data Vault 2.0

Andmehalduse keerulises maailmas kerkib Data Vault 2.0 metoodika esile innovatsiooni majakana, pakkudes metoodikat, mis läheb kaugemale traditsioonilistest andmeladude arendamise omadest. Mis täpselt on Data Vault 2.0 ja miks on sellest saanud keskne lahendus ettevõtetele, kes soovivad oma andmete potentsiaali ära kasutada?

Data Vault 2.0 metoodika struktureerib andmed andmelaos ümber. Tekivad sõlmpunktid (hubid), mis on unikaalsete ärivõtmete hoidlad; lingid, mis kirjeldavad seoseid äriobjektide vahel, ja satelliidid, mis hoiavad andmeatribuute. Sõlmpunktides on näiteks ärivõtmed klientide ja toodete kohta; linkides on seosed, mis kirjeldavad, milline klient on missugust toodet ostnud, ja satelliitides on sellised andmed nagu kliendi nimi ja aadress või ostutehingute detailid. Selliselt peegeldab Data Vault tüüpi andmelao struktuur tegelikus elus aset leidvate sündmuste mustrit.

Data Vault 2.0 modulaarne olemus koos ärivõtmete, suhete ja kirjeldavate atribuutide eraldi salvestamisega võimaldab väga suurt skaleeritavust.

Ettevõtted saavad juurde panna uusi andmeallikaid, integreerida lisateavet ja edasi arendada oma andmelao funktsionaalsusi, ilma et see häiriks olemasolevaid struktuure. Andmelao iga andmeosa saab jälgida kuni tema algse allikani. Niisugune läbipaistvus tagab andmete kõrge kvaliteedi ja on eriti oluline valdkonnas, kus info läbipaistvus ja auditeerimine on seaduse järgi kohustuslik. Data Vault 2.0 satelliidid salvestavad andmete muutumise kogu ajaloo. See funktsionaalsus võimaldab ettevõttel analüüsida andmekogu tekkimise ajaloolisi trende ning teha informeeritud ennustusi tulevikumustrite kohta.

Paar näidet

Öeldakse, et muutus on ainus pidev ja stabiilne nähtus. Andmelaod on varasemalt seisnud suurte probleemide ees tüüpiliselt kahel juhul. Esiteks siis, kui algandmete süsteemile tehti versiooniuuendus, mis tõi kaasa muutused mõne andmetabeli struktuuris. Teine tüüpiline situatsioon: ärikeskkond muutus ja sooviti saada infot teistsugustest ärinõuetest lähtuvalt. Data Vaulti andmelao struktuurid on suutelised sedasorti muutustega kohanema, vajades vaid mõnda väikesemahulist muudatust.

Masinõpe (ML – machine learning) ja tehisintellekt (AI – artificial intelligence) on järgmise äriinnovatsiooni laine esirinnas. Need tehnoloogiad muudavad suure tõenäosusega ettevõtete töökorraldust, otsuste tegemise viisi ja suhtlust klientidega. ML ja AI kasutamistõhusus sõltub aga suuresti andmeinfrastruktuurist, mida need süsteemid kasutavad. Seega pole Data Vault 2.0 metoodikast lähtuvalt arendatud andmeladu pelgalt infoallikas aruannete ja analüüside tegemiseks, vaid ka tehniline andmeplatvorm, millele saavad tulevikus toetuda masinõppe ja tehisintellekti rakendused.

Vaata lisaks BCS Itera veebiseminari: Data Vault 2.0 metoodika alusel arendatud andmelao ülesehitus