Praktický príklad: Migrácia údajov do cloudu
Pri implementácii nových moderných IT systémov je okrem cieľovej funkčnosti potrebné myslieť aj na to, aké historické dáta budú v novom riešení nevyhnutné resp. potrebné na jeho prevádzku. Nakoľko je dnes už veľká časť nových systémov budovaná v Cloud prostredí, vzniká správna otázka bezpečného, kvalitného a rýchleho naplnenia dát do Cloud prostredia. Väčšina kvalitných riešení samozrejme ponúka aj možnosť jednoduchého importu dát, napríklad zo súboru cez dostupné webové rozhranie, avšak čo v prípade, ak týchto dát je obrovské množstvo a ich kvalita je otázna?
S takýmto prípadom sme sa museli vysporiadať na projekte, kde bolo potrebné naplniť celkom cca 100 miliónov záznamov, čo predstavovalo gigabajty dát, do prostredia SAP Cloud.
Manuálnym importom by bolo potrebné postupne nahrať desaťtisíce súborov a počkať na ich vyhodnotenie, čo je zrejme pre každého nepredstaviteľné. Pomocníkom by tu určite mohla byť aj technológia RPA. Nakoľko sme ale v našom prípade už mali pripravený integračný scenár pre finálne online rozhranie na zápis dát cez SAP Cloud Integration, pripravili sme na jeho základe druhý variant rozhrania, ktorý pracoval s prenosom údajov z iného zdroja, a to z textových súborov.
Zdrojový systém migrácie vedel poskytovať len veľké textové súbory, každý obsahujúci milióny záznamov. Pre rýchle zdetekovanie chybných záznamov a zefektívnenie pamäťových a výkonnostných nárokov kladených na integračnú platformu, sme pripravené súbory predspracovali špeciálnym java programom. Tento program najskôr vykonal základnú kontrolu dodaných dát a následne rozdelil súbory na menšie časti, ktoré sa nahrávali do súborového úložiska bezpečne prepojeného s integračnou platformou.
Dáta, ktoré bolo potrebné do nového systému zapísať, boli údaje o histórii nákupov zákazníkov, a preto bolo pred samotným zápisom potrebné skontrolovať, či nový systém vôbec obsahuje kmeňové údaje jednotlivých zákazníkov a v prípade potreby ich založiť.
Celá migrácia bola rozdelená na niekoľko fáz a nakoniec trvala viac ako jeden mesiac automatizovaného spracovania dát. Popri tom medzi jednotlivými behmi vznikali zoznamy problémových údajov, ktoré bolo potrebné opraviť na strane zdrojového systému a opätovne spracovať.
Dnes namigrované dáta v kombinácii s aktuálnymi slúžia na vyhodnocovanie zákazníckeho správania sa pri spotrebe služieb našeho zákazníka. A hoci sa táto úloha zdala byť spočiatku relatívne jednoduchá, bez integračnej platformy alebo podobného nástroja by bola prakticky nerealizovateľná.
