Cesko.wiki Kvalita dat
Author
Albert FloresTermín kvalita dat (též jakost dat nebo údajů) se týká stavu kvalitativních nebo kvantitativních aspektů poskytované informace. Data se obecně považují za kvalitní, pokud jsou vhodná k zamýšlené činnosti, rozhodování a plánování. Také pokud správně zobrazují konstrukt skutečného světa, ke kterému se vztahují.
S rostoucím počtem zdrojů dat se zvyšuje význam vnitřní konzistence dat, bez ohledu na vhodnost použití pro jakýkoli konkrétní vnější účel. Posouzení kvality dat může být standarní nebo subjektivní. +more Názory lidí na kvalitu dat se mohou lišit, dokonce i v případě, že se diskutuje o stejné sadě dat použitých pro stejný účel. V takovém případě je vhodné k dohodě o definici a standardech kvality dat použít schválený systém řízení dat (data governance). Pro zajištění potřebné jakosti může být vyžadováno čištění dat (anglicky data cleansing) včetně standardizace.
Další definice
Kvalita dat je určena stavem jejich úplnosti, shody, konzistence, aktuálnosti, unikátnosti/duplikací, integrity a přesnosti, díky nimž jsou data vhodná pro konkrétní použití.
* Výčet znaků a charakteristik dat, které mají vliv na jejich schopnost uspokojit daný účel; míra stupně dokonalosti pro faktory související s daty.
* Kvalitní data jsou kompletní, na standardech založená, konzistentní, přesná a časově označená data.
* Podle ISO 9000:2015 kvalita dat může být definována jako míra, do které soubor charakteristik údajů splňuje požadavky. Příklady charakteristik jsou: úplnost, platnost, přesnost, konzistence, dostupnost a aktuálnost. +more Požadavky jsou definovány jako potřeba nebo očekávání, které jsou uvedeny, obecně předpokládané nebo povinné.
Existují i další standardy týkající se kvality dat, například ISO 25012 definuje 15 kvalitativních dimenzí dat, ISO 8000 je mezinárodní standard pro kvalitu dat.
Řízení firemních dat (Data governance)
Řada dodavatelů software nabízí nástroje pro analýzu a opravu dat nízké kvality in situ, poskytovatelé služeb mohou data čistit na základě smlouvy a poradci radí při úpravách procesů nebo systémů tak, aby se v první řadě vyhnuli problémům s kvalitou dat.
Problém nabyl takové důležitosti, že společnosti ustavují týmy pro správu údajů, jejichž jedinou úlohou ve firmě je zodpovědnost za kvalitu dat.
Většina nástrojů pro kvalitu dat nabízí řadu nástrojů pro vylepšení dat, která mohou zahrnovat následující funkce: * Profilování dat - prvotní vyhodnocení dat k pochopení jeho současného stavu, často včetně distribuce hodnot * Standardizace dat - modul obchodních pravidel, který zajišťuje, že data odpovídají standardům * Geokódování - pro údaje o jméně a adrese. Opravuje data podle geografických norem. +more * Shoda nebo odkazy (Matching, Linking) - způsoby, jak porovnat data tak, aby byly srovnatelné podobné, ale mírně odlišné zdvojené záznamy. Při hledání shody v datech lze použít fuzzy logiku. Systémy umí odhalit překlepy ve jméně, zjistit ze zadaných adres počet domácností, nebo například najít spojení mezi partnery bydlícími na stejné adrese. * Monitorování - sledování kvality dat v čase a vykazování odchylek v kvalitě údajů. * Synchronizace typu dávka, reálný čas - Jakmile jsou data vyčištěna (dávkově), chtějí společnosti často integrovat podobné procesy do firemních aplikací, aby data udržovaly čistá.
Zajištění kvality
Zajištění kvality údajů (QA) je proces profilování dat za účelem odhalení nesrovnalostí a dalších anomálií v datech a provádění činností patřících do oblasti čištění dat, například odstranění extrémních odchylek, přidání interpolací a podobně.
Kontrola kvality
Kontrola kvality dat (QC) je proces řídící využití dat pro určenou aplikaci nebo proces. Tato činnost se provádí před i po procesu zajištění kvality dat, který spočívá ve zjištění nekonzistence a opravě dat. +more Kontrola kvality používá informace z procesu zajištění kvality k rozhodnutí použít data pro analýzu (viz Analýza dat) nebo v aplikaci nebo obchodním procesu.
Obecný příklad: pokud proces Kontrola kvality zjistí, že data obsahují příliš mnoho chyb nebo nesrovnalostí, zabrání tomu, aby byla data použita pro zamýšlený proces, který by mohl způsobit selhání. Konkrétní aplikace: poskytnutí neplatných měření z několika senzorů do funkce automatického pilota v letadle by mohlo způsobit jeho pád.
Optimální využití kvality dat
Kvalita dat (DQ) je specifická oblast vyžadovaná pro integritu správy dat tím, že pokrývá mezery v problémech s daty. To je jedna z klíčových funkcí, které napomáhají správě dat monitorováním dat a nalézají výjimky neobjevené současnými operacemi správy dat.
Kontroly kvality dat jsou však nadbytečné, pokud obchodní logika pokrývá stejnou funkčnost a splňuje stejný účel jako kvalita dat. Následuje několik oblastí datových toků, které mohou vyžadovat stálé kontroly kvality dat: * Kontrolu úplnosti a přesnosti u všech údajů lze provádět v bodě vstupu pro každý povinný atribut z každého zdrojového systému. +more * Všechna data, která mají atributy odkazující na referenční data v organizaci, mohou být ověřena na základě sady dobře definovaných platných hodnot referenčních dat, aby se pomocí kontroly kvality dat platnosti objevily nové nebo rozporné hodnoty. Výsledky mohou být použity k aktualizaci referenčních dat spravovaných v rámci správy hlavních dat (MDM). * Všechny datové sloupce, které odkazují na kmenová (master) data, mohou být validovány kontrolou jejich konzistence. Kontrola kvality dat prováděná na datech v bodě vstupu objevuje nová data pro proces řízení kmenových dat, ale kontrola kvality dat prováděná až po vstupu do cílového umístění odhaluje selhání (ne výjimky) konzistence.