Nya heta datalager 3(3)

Datalagrets framtid del 3(3) Cloud as game changer

Molnet har helt ritat om spelplanen och gjort datalagren heta igen.

Innan molnet hade många datalager laddningsbekymmer. Det tog för lång tid att ladda in alla förändringar sen sist, tvätta den inkomna datan, strukturera om den, skapa rätt historik och integrera den med all annan befintlig data.

Detta gjorde att det gick långsamt att utveckla datalagret och det gjorde det svårt att skapa realtidslösningar. Dessutom klagade användarna av datalagret på för dålig prestanda och dålig /otydlig spårbarhet.

Så länge som lösningarna såg ut så här blev de därför allt ointressantare.

Molnet har inte samma begränsningar. Begränsningarna med molnet är att man släpper kontrollen över datahallen och det personliga stödet därifrån. Man har heller ingen åtkomst om nätet är nere.

En annan begränsning för datalager i molnet är hur snabbt data kan läsas upp dit och även läsas ned om man avslutar tjänsten. Det kan också finnas svårigheter att accessa data i molntjänsten när den kräver specifika gateways eller detaljerade api-anrop.

Den största fördelen är prestandan. Molnet har blivit en lagringsplats med tillgänglig prestanda. Där kan man köpa mer eller mindre kapacitet under hela dygnet.

Andra fördelar är att man slipper hålla egen infrastrukturpersonal, egna servrar och diskar med dess kostnader. Man slipper även att uppdatera programvara och miljö själv. De nya självadministrerade molndatabaserna anpassar frågor, index, cluster, partitionering automatiskt vilket gör att det inte finns behov av någon DBA.

Istället kan man koncentrera sig på datan och dess användning.

Det som också har drivit fram det nya datalagret i molnet är allt som händer kring datalakes. Både Amazon, Azure, Google har lyckats få till IoT-lösningar för strömmade data till molnet.

De nya datalagren har tack vare datalake utvecklingen lätt kunnat anpassat sig till denna strömmade lösning. och gjort det möjligt att ta emot icke strukturerad eller i alla fall semistrukturerad data till de SQL-baserade datalagren.

Den låga lagringskostnaden i molnet har också gjort det möjligt för molndatalagren att ta emot enorma mängder data. Detta har man löst genom att sära på lagring och på processandet av datan. Vilket även innebär att man bara betalar när man gör en utsökning eller ställer en fråga mot datat.

De nya datalagren har byggt om sin mottagning i den sk landing arean till en replikeringsarea.

Replikering och/eller strömmad datamottagning är det vanligaste sättet att ta emot data i de nya löningarna. Detta delvis beroende på att datauppladdning till molnet kräver bandbredd.

Replikeringstjänsterna anpassar sig också efter förändringar i källan vilket gör att de kan ändra koumntyp och lägga till eller ta bort kolumner. Det kommer också allt fler datalagerautomatiseringsverktyg för molnet som hjälper till med optimering, dokumentation, datastruktur och datatvätt utan programmering.

Det är också så att i molnet finns kraften. Så istället för att man har en uppladdningsserver eller ramminne så används molnets fulla prestanda för all transformering med aggregering, joins, tidintelligens och annat i de nya automatiserade ELT/ETL-verktygen.

En annan ny funktionalitet i molnet är att man kan dela tabeller, frågor och dataset utan att man kopierar dem. Det gör att man kan förenkla datalagerlösningen till att bestå av endast en lagring.

Scheman för staging och datamarts kan avvecklas vilket avsevärt förenklar och snabbar upp lösningen.

Med molnets prestanda och säkerhetstänk blir  kuber allt mindre relevanta. Vilket även det förenklar lösningens komplexitet både vad gäller utveckling och förvaltning.

Vad som möjligen försvårar arkitekturen i molnet är att det kommer så enormt mycket nya molnprodukter. Bara sedan 2017 har det kommit mer än 5000 nya produkter som hanterar molnet, molntjänster och dess datalager. Så investeringsviljan är stor.

Detta beror ju också på att data blir allt mer det centrala i verksamheterna. Det heter ju att digitalisera eller dö. Så även det är en av anledningarna till att datalagren har blivit så aktuella igen.

Vill du veta mer om den nya sköna datalagervärlden så kontakta mig.

Håkan Alsén

Hakan.alsen@knowit.se