Microsoft Fabric – uuele tasemele jõudnud andmeanalüüs
Allikas: Äri-IT Kevad 2024
Autor: Rihards Timma, Elva Baltics, andmeanalüüsi valdkonna juht
Andmeanalüüsi teenused on koondatud uude terviklikku analüüsikeskkonda Microsoft Fabric.
Andmeanalüüs on ärimaastikul nüüd juba määrava tähtsusega ja selle roll teadlike otsuste tegemisel, trendide tuvastamisel ja tõhususe suurendamisel kasvab.
Organisatsioonid kasutavad üha sagedamini andmeanalüüsi, et mõista kliendi käitumist, saada konkurentsieelis ja hallata tõhusamalt riske. Personaalsete pakkumiste ja optimeeritud protsesside kaudu aitab andmeanalüüs kulusid vähendada ja strateegiat planeerida. Lisaks kõigele kohanevad need organisatsioonid, kes kasutavad andmeanalüüsi võimekust, palju paremini keskkonna tingimustega, tagades endale pikaajalise edu.
Andmeanalüüsi areng
Need lahendused on aja jooksul märkimisväärselt arenenud, vastates üha keerulisemaks muutunud ärivajadustele. Algselt oli ettevõtetel tarvis üksnes lihtsaid aruandlustööriistu, et luua staatilisi aruandeid. Seejärel töötati välja ärianalüüsi (BI ehk business intelligence) süsteemid, mis pakkusid interaktiivseid andmelaudu ja põhjalikumat analüüsi.
Suurandmete kasutuselevõtt tõi kaasa vajaduse kõrgtasemel analüüsitööriistade järele, mis suudavad kiiresti töödelda ja analüüsida tohutuid andmehulki. Tekkis prognoosianalüüs, mis võimaldab trende prognoosida ja pädevaid otsuseid teha. Masinõpe ja tehisaru (AI – artificial intelligence) täiustasid veelgi analüüsivõimekust, automatiseerides ülevaadete genereerimist ja tuues välja keerulisi mustreid, mis ei pruugi traditsiooniliste meetodite kasutamisel ilmneda.
Andmeanalüüsi kättesaadavamaks muutumise juures mängis olulist rolli pilveandmetöötlus. Pilvepõhised analüüsilahendused on paindlikud, kulutasuvad ja võimaldavad hallata massiivseid andmekogumeid. Lisaks on reaalajas toimuv andmeanalüüs andnud ettevõtetele võimaluse teha otsuseid ajakohase teabe põhjal.
Analüüsilahendused on arenenud selleni, et kõik, kellel on organisatsioonis kasutaja õigused, pääsevad andmetele iseseisvalt juurde ja saavad neid tõlgendada. Rõhk on kasutajasõbralikkusel, iseteeninduslikul andmeanalüüsil ja koostöövahenditel.
Andmeanalüüsi tulevik hõlmab veelgi tihedamat integratsiooni kujunemisjärgus tehnoloogiatega, nagu asjade internet (IoT – internet of things), samuti AI jätkuvat arengut. See tagab, et organisatsioonid saavad ammutada üha kasvavast ja mitmekesisest andmemahust praktilisi teadmisi.
Microsofti pilvepõhiste analüüsilahenduste eelised
Microsoft – üks maailma juhtivaid majandustarkvara arendajaid juba üle kümne aasta – pakub Azure’i pilvepõhises ökosüsteemis mitmeid tööriistu, mis tegelevad andmeanalüüsi aspektidega. Siin on nimekiri Microsofti juhtivatest analüüsiteenustest:
- Azure Synapse Analytics, varasema nimetusega SQL Data Warehouse, on pilvepõhine analüüsiteenus, mis koondab suurandmed ja andmete ladustamise. See võimaldab kasutajatel analüüsida suuri andmemahtusid, kasutades nii nõudepõhiseid kui ka eraldatud ressursse ja pakkudes teavet mitme andmeallika üleselt.
- Azure Data Factory on pilvepõhine andmete integreerimise teenus, mis võimaldab kasutajatel luua andmepõhiseid töövooge andmete liikumise ja teisendamise korraldamiseks ja automatiseerimiseks.
- Power BI on ärianalüüsi teenus, mis pakub interaktiivseid visualiseeringuid ja ärianalüüsi. See võimaldab kasutajatel ühendada andmeallikaid, luua aruandeid ja teabelaudu ning jagada saadud ülevaateid kogu organisatsioonis.
- Azure Machine Learning võimaldab andmeteadlastel ja arendajatel masinõppemudeleid luua, rakendada ja hallata. See integreerub mitmete andmesalvestuse lahendustega, hõlbustades andmete analüüsimist ja järelduste tegemist selle põhjal.
- Azure Databricks on kiire, lihtne ja koostööd soodustav Apache Sparkil põhinev analüüsiplatvorm. See toetab suurandmete analüüsi ja masinõpet ning seda saab sujuvalt integreerida Azure’i teenustega.
BI väljakutsed
Kuigi tehnoloogiliselt on need lahendused väga võimekad, pakub nende väljatöötamine ja haldamine Microsoft Azure’is ettevõtte IT-osakonnale siiski ka omajagu väljakutseid. Näiteks võib pilvepõhistes platvormides (nagu Azure) pakutavate teenuste rohkus tekitada segadust. IT-osakonna töötajad peavad navigeerima keerulises ökosüsteemis ning mõistma iga teenuse võimalusi ja piiranguid, et valida kõige õigem teenuste kombinatsioon.
Kuigi pilveteenused pakuvad paindlikkust ja skaleeritavust, kaasnevad nendega ka kulud, mille haldamine ja optimeerimine võib olla raske, eriti kasutuspõhise maksemudeli puhul. Nimelt on igal teenusel oma kasutusmõõdikutest sõltuv hinnastamismudel, mistõttu on raske prognoosida teenuse kulusid. IT-osakond peab jälgima ressursikasutust, rakendama kulukontrolli ja valima õiged hinnastamismudelid sõltuvalt ärinõuetest.
Microsoft Fabric
Microsoft teatas hiljuti uuest analüüsilahendusest Microsoft Fabric, mis sisaldab kõike alates andmete liikumisest kuni andmeteaduse, reaalajas analüüsi ja ärianalüüsini, pakkudes seega lahendust eespool nimetatud probleemidele. See on terviklik teenuste komplekt, mis hõlmab andmejärve, -tehnikat ja andmete integreerimist ühes kohas.
Põhimõtteliselt tähendab see, et kõik peamised ärianalüüsi funktsionaalsused, mis varem olid saadaval eri teenustena, on nüüd kokku pandud ühte analüüsiplatvormi. Enam ei pea muretsema suure hulga eri teenuste kasutuselevõtu ja hoolduse pärast, et lahendada mitut laadi ülesandeid, nagu andmete integreerimine, salvestamine, modelleerimine, andmeteadus ja ülevaadete kuvamine. See vähendab jõupingutusi, mis on vajalikud taristu ja integratsiooni loomiseks ja pakkumiseks. Andmejärvekeskne lähenemine pakub tugeva jõudluse ja madala latentsusajaga lahendusi isegi suurte andmemahtude korral ja andmed on hõlpsasti leitavad kõigile andmeosakonna liikmetele. Olgu selleks andmeinsener, -teadlane, analüütik või lõppkasutaja – nad kõik töötavad samade andmetega ühel platvormil. Isegi kui suuremad andmekogumid asuvad muudes pilveteenustes, näiteks Google’is või Amazonis, on võimalik kasutada otseteid, et muuta andmed Microsoft Fabricu platvormil kättesaadavaks ilma neid liigutamata.
Ka kulude haldamine on muutunud lihtsamaks, kuna kõik teenused on nüüd saadaval ühe Fabricu ressursipõhise hinnamudeli alusel, mis annab eeldatavatest teenusekuludest selgema ülevaate. Hinnastamismudel põhineb eraldatud arvutusvõimsuse jaoks vajalikel ressursiruumiühikutel (CU ehk capacity unit). Saab valida, kas kasutuspõhise mudeli, mis pakub suuremat paindlikkust vajalike CUde valimisel ja automaatset skaleerimist, või reserveerida ressurss aastaks ette ja vähendada kulusid 41% võrra võrreldes kasutuspõhise mudeliga.
Soovitame aktiivses arendus- ja testimisfaasis kasutuspõhist mudelit ning kui tekib ettekujutus vajalike ressursiruumiühikute hulgast, võiks üle minna reserveerimismudelile. Samuti soovitame kasutada Fabricu 60-päevast tasuta prooviperioodi, et hinnata peamist töökoormust, saada aimdus vajalikust ressursist, hinnata võimalikke igakuiseid kulusid ja teenuse funktsionaalsust.