Lyssna där poddar finns

"Om datan är en timme gammal så är den per definition dålig."

Alex är tillbaka i studion, nedtågad från Stockholm efter en kurs i realtidsanalys hos ClickHouse. Kursen fick honom att fundera på en enkel fråga: vad är egentligen datakvalitet? Hugo och Alex reder ut vad realtidsanalys är, och varför de flesta av oss aldrig har jobbat med det.

Korrekthet, fullständighet och unikhet brukar definiera bra data. Men i realtid kan aktualitet trumfa allt. Ibland är en approximativ siffra nu värd mer än en exakt siffra om en timme. Det gäller bara att veta när.

Referenser

• ClickHouse – kolumnbaserat data warehouse för realtidsanalys
• Kolumnorienterad databas – lagrar data per kolumn istället för rad
• Realtidsanalys – analys av data så fort den genereras
• Batchbearbetning – data bearbetas i klump, t.ex. dagligen
• Data quality dimensions – korrekthet, fullständighet, samstämmighet, giltighet, unikhet, aktualitet
• dbt – verktyg för datatransformationer
• Airflow, Dagster, Prefect – orchestrators
• dlt – Python-bibliotek för dataingestion
• Primary key / Foreign key – nycklar i relationsdatabaser
• Numerisk analys – approximationer istället för exakta lösningar
• False dichotomy – falsk motsättning
• SLA – Service Level Agreement