Modernissa verkkopohjaisessa maailmassa dataa kertyy valtavasti erilaisista digitaalisista järjestelmistä. Verkkopalvelut, sovellukset, asiakasjärjestelmät ja monet muut järjestelmät tuottavat jatkuvasti dataa, jota voidaan hyödyntää analytiikassa, raportoinnissa ja liiketoiminnan kehittämisessä.

Haasteena ei usein ole datan puute, vaan se, miten data saadaan käyttökelpoiseen muotoon. Raakadata on usein hajanaista, eri järjestelmistä peräisin olevaa ja rakenteeltaan vaihtelevaa. Tämän vuoksi monet modernit data-alustat rakentuvat mallien ympärille, jotka auttavat jalostamaan datasta selkeää ja analytiikkaan soveltuvaa tietoa.

Yksi tällainen lähestymistapa on Medallion lakehouse -arkkitehtuuri, joka tarjoaa selkeän mallin datan vaiheittaiseen jalostamiseen.

Kerroksellinen rakenne tuo selkeyttä data-alustaan

Medallion lakehouse -malli perustuu kerrokselliseen rakenteeseen, jossa data kulkee useiden jalostusvaiheiden läpi ennen kuin sitä käytetään analytiikassa tai raportoinnissa.

Mallissa data jaetaan tyypillisesti kolmeen kerrokseen:

• Bronze – raakadata tallennetaan alkuperäisessä muodossaan

• Silver – dataa jäsennellään ja yhdistellään

• Gold – data jalostetaan analytiikkaa ja raportointia varten

Tämän rakenteen avulla raakadata voidaan säilyttää sellaisenaan, samalla kun analytiikkaa varten rakennetaan erillinen, jalostettu datakerros. Kun eri käsittelyvaiheet erotetaan toisistaan, datan hallinta pysyy selkeänä myös silloin, kun datamäärät kasvavat tai uusia datalähteitä otetaan käyttöön.

Luotettavampi pohja datan hyödyntämiselle

Kun data kulkee Medallion lakehouse -arkkitehtuurissa vaiheittain eri kerrosten läpi, sitä voidaan samalla puhdistaa, yhdistellä ja jäsentää. Tämän seurauksena analytiikkaan ja raportointiin käytettävä data on yleensä selkeämpää ja helpommin hyödynnettävää.

Liiketoiminnan näkökulmasta tämä tarkoittaa, että analytiikkatyökalut ja raportointiratkaisut voivat perustua yhtenäisempään datarakenteeseen. Kun data on jalostettu analytiikkaa varten jo data-alustan tasolla, analyysien tekeminen on usein nopeampaa ja johdonmukaisempaa.

Lisäksi kerroksellinen rakenne helpottaa datan hallintaa. Raakadata säilyy erillään analytiikkadatasta, mikä auttaa datan jäljitettävyydessä ja mahdollistaa datan uudelleenkäsittelyn tarvittaessa.

Skaalautuva pohja kasvaville datatarpeille

Data-alustojen suunnittelussa tärkeä tekijä on skaalautuvuus. Datan määrä, datalähteet ja analytiikan käyttötavat muuttuvat usein ajan myötä.

Medallion lakehouse -arkkitehtuuri tukee tällaista kehitystä hyvin, koska uusi data voidaan lisätä järjestelmään ilman, että koko data-alustaa täytyy suunnitella uudelleen. Uudet datalähteet voidaan tuoda ensin raakadatakerrokseen, jonka jälkeen data voidaan jalostaa olemassa olevien dataputkien kautta analytiikkaa varten.

Tämä tekee Medallion lakehouse -mallista joustavan lähestymistavan organisaatioille, jotka haluavat kehittää data-alustaansa vaiheittain.

Tehokkaampi analytiikka ja raportointi

Analytiikan ja raportoinnin kannalta tärkeää on, että data on helposti käytettävissä ja ymmärrettävässä muodossa.

Medallion lakehouse -arkkitehtuurin Gold-kerroksessa data voidaan muokata analytiikkatarpeisiin sopivaan rakenteeseen. Tässä vaiheessa data voidaan esimerkiksi:

• yhdistää eri lähteistä

• puhdistaa virheellisistä arvoista

• mallintaa raportointia varten

• optimoida analytiikkatyökalujen käyttöä varten

Kun data on jalostettu analytiikkaa varten jo data-alustan tasolla, analyytikot ja liiketoiminnan käyttäjät voivat keskittyä varsinaiseen analyysiin sen sijaan, että aikaa kuluisi datan valmisteluun.

Tukea tekoälyn ja koneoppimisen kehittämiseen

Tekoäly- ja koneoppimisratkaisut ovat nousseet keskeiseksi osaksi monien organisaatioiden teknologiastrategiaa. Näiden ratkaisujen onnistuminen riippuu kuitenkin pitkälti datan laadusta ja rakenteesta.

Medallion lakehouse -mallissa data jalostetaan vaiheittain raakadatasta analytiikkaan sopivaksi. Tämä tarkoittaa, että data on usein valmiiksi puhdistettua, jäsenneltyä ja yhdisteltyä, mikä helpottaa sen hyödyntämistä myös koneoppimismallien kouluttamisessa.

Vaikka Medallion lakehouse -arkkitehtuuri ei ole pelkästään AI-ratkaisuja varten, se tarjoaa hyvän perustan ympäristöille, joissa dataa hyödynnetään analytiikan lisäksi myös tekoälyn ja koneoppimisen kehittämisessä.

Medallion lakehouse -malli osana modernia data-alustaa

Medallion lakehouse -arkkitehtuuri tarjoaa selkeän ja systemaattisen tavan hallita dataa moderneissa data-alustoissa. Kerroksellinen rakenne auttaa erottamaan raakadatankeruun, datan jalostamisen ja analytiikan tarpeet toisistaan.

Tämän ansiosta data-alustasta voidaan rakentaa ratkaisu, joka tukee sekä analytiikkaa, raportointia että uusien datavetoisten ratkaisujen kehittämistä.

Organisaatioille, jotka haluavat hyödyntää dataa laajemmin liiketoiminnan kehittämisessä, Medallion lakehouse -malli tarjoaa selkeän rakenteen datan hallintaan ja jatkojalostamiseen.

Miten Medallion lakehouse toimii käytännössä? Voit lukea aiheesta aikaisemmassa kirjoituksesta: Datan hallinta Medallion Lakehouse-mallilla

Haluatko tietää lisää AWS tekoälypalveluista? Ota yhteyttä!

Harri Ilvonen

harri.ilvonen@skillwell.fi

+358 400 830 660

Jari Ikävalko

jari.ikavalko@skillwell.fi

+358 50 386 5590