ETL proces

ETL zajišťuje, že data jsou v cílovém skladu či jezeře konzistentní, očištěná a historizovaná. „Extract“ řeší připojení ke zdrojům a inkrementální načítání, „Transform“ validace a standardizaci, „Load“ optimalizované uložení. Moderní přístup ELT přesouvá transformace až do cílového enginu. Klíčové jsou testy kvality, monitoring jobů a řízení chyb, aby nevznikaly tiché poruchy. Správa metadat a rodokmenu dat usnadňuje audit a ladění. Plánování výkonu brání kolizím s provozem zdrojových systémů. Verzování pipeline a „infrastructure as code“ zvyšují reprodukovatelnost. Chybí-li řízení a dohled ETL končí v křehkých skriptech a ručních zásazích.

» Slovník pojmů eGovernmentu