Datapipelines som inte går sönder: en praktisk guide för datateam

Datapipelines som inte går sönder: en praktisk guide för datateam

Varför pipelines fallerar, åtta arbetssätt som gör dem pålitliga, och hur ni ser när skript inte längre räcker.

En data pipeline som inte går sönder kan köras om utan risk, larmar högt i stället för att fela i det tysta och har en namngiven ägare. I praktiken betyder det ett skriftligt kontrakt med varje källsystem, rådata som landar oförändrad, idempotenta laddningar, automatiska datatester, bevakning av färskhet, versionshanterad driftsättning och en körbok för den som får larmet.

En datapipeline är kedjan av jobb som flyttar data från källsystem, som affärssystem, CRM och ekonomiverktyg, till platsen där den rapporteras eller används av AI. Guiden är skriven av Devies, ett produkt- och utvecklingskonsultbolag i Göteborg, för dataansvariga och CTO:er vars dashboards står tomma på måndagsmorgonen oftare än de borde. Den förklarar varför pipelines går sönder, vilka åtta arbetssätt som förebygger de flesta fel och vad ni ska åtgärda först.

Varför går datapipelines sönder?

De flesta pipelines går sönder för att något uppströms ändrades utan förvarning, inte för att koden var fel den dag den skrevs. En pipeline är en samling antaganden om andra system, och de systemen står inte still.

De vanliga orsakerna känner alla inom data engineering igen:

  • Schemaändringar. Någon byter namn på ett fält i CRM-systemet eller lägger till ett nytt statusvärde, och en transformation längre ner kraschar eller tappar rader utan att säga något.
  • Sen eller ofullständig data. En export från källan kommer efter att laddningen har körts, eller bara hälften kommer fram, och jobbet bearbetar det som finns.
  • Osäkra omkörningar. Ett jobb fallerar halvvägs, någon startar om det, och raderna som redan skrevs skrivs en gång till.
  • Utgångna inloggningsuppgifter och ändrade API:er. Lösenordet för ett tjänstekonto byts ut, eller en leverantör fasar ut en ändpunkt.
  • Logik på fel ställe. Affärsregler ligger i en dashboard eller ett kalkylark, så ingen ser dem när pipelinen ändras.

Den viktigaste skillnaden går mellan högljudda och tysta fel. Ett högljutt fel stoppar jobbet och någon märker det. Ett tyst fel låter jobbet gå igenom med fel siffror, och ledningen upptäcker det på ett möte. Arbetet med tillförlitlighet handlar mest om att göra tysta fel högljudda.

Hur ser en pålitlig data pipeline ut?

En pålitlig data pipeline ger samma resultat varje gång den körs på samma indata, säger till när den inte kan det och går att förstå för någon annan än den som skrev den. Fyra egenskaper gör det möjligt, och alla går att kontrollera.

En idempotent laddning ger samma sluttillstånd oavsett om den körs en gång eller fem. Ett datakontrakt är en skriftlig överenskommelse mellan ägaren av ett källsystem och datateamet om struktur, nycklar, uppdateringsfrekvens och hur ändringar meddelas. Datafärskhet är åldern på den senaste posten jämfört med vad användarna förväntar sig. Observerbarhet är förmågan att se vad som kördes, vad det bearbetade och vad som fallerade, utan att läsa koden.

Egenskap

Vad den skyddar mot

Så kontrollerar ni den

Idempotenta laddningar

Vad den skyddar mot

Dubbletter efter omkörning

Så kontrollerar ni den

Kör samma laddning två gånger i test och jämför antalet rader

Datakontrakt

Vad den skyddar mot

Oväntade schemaändringar

Så kontrollerar ni den

Ett dokumenterat schema per källa, med en namngiven kontaktperson

Datatester

Vad den skyddar mot

Tysta felaktiga siffror

Så kontrollerar ni den

Automatiska tester av nycklar, tomma värden, tillåtna värden och referenser

Bevakning av färskhet och volym

Vad den skyddar mot

Sena, ofullständiga eller uteblivna laddningar

Så kontrollerar ni den

Larm när data är äldre eller mindre än väntat

Ägarskap och körböcker

Vad den skyddar mot

Långsam återhämtning

Så kontrollerar ni den

Varje datamängd har en ägare och en skriftlig första åtgärd

Åtta steg till datapipelines som inte går sönder

Stegen nedan är ordnade så att vart och ett gör nästa lättare, från ägarskap till återhämtning. Ni behöver ingen ny plattform för att börja; de flesta stegen går att tillämpa på de pipelines ni redan har.

Pipeline from source systems through contract, raw layer, tested load and freshness monitor to a dashboard, with an alert path
  1. Utse en ägare och en mottagare för varje datamängd. Skriv ner vem som underhåller varje tabell och vem som är beroende av den. Har en datamängd ingen mottagare, överväg att avveckla den i stället för att göra den pålitlig.
  2. Kom överens om ett kontrakt med varje källsystem. Notera vilka fält ni använder, nycklarna, förväntad uppdateringsfrekvens och vem som berättar om ändringar. Redan ett kontrakt på en sida per källa gör oväntade schemaändringar till planerat arbete.
  3. Låt rådata landa oförändrad först. Spara det källan levererade, med en tidsstämpel för laddningen, innan ni transformerar det. Blir en transformation fel kan ni bygga om från rålagret i stället för att be källan om en ny export. Medaljongarkitekturen kallar det här bronslagret.
  4. Gör varje laddning idempotent. Apache Airflows guide för bästa praxis säger att uppgifter ska behandlas som databastransaktioner och ge samma resultat vid varje omkörning, till exempel genom att ersätta vanliga inserts med upserts och läsa en fast tidspartition i stället för "nu". Principen gäller oavsett vilken orkestrerare ni använder.
  5. Testa datan också, inte enbart koden. Enhetstester kontrollerar er logik; datatester kontrollerar vad som faktiskt kom in. dbt:s datatester har fyra generiska kontroller från start: unique, not null, accepted values och relationer mellan tabeller. I Databricks pipelines låter expectations er välja att varna, kasta ogiltiga poster eller stoppa uppdateringen. Bestäm per regel vilken reaktion som passar risken.
  6. Bevaka färskhet och volym. Larma när en tabell är äldre än den överenskomna uppdateringstiden eller när antalet rader hamnar utanför det normala intervallet. De två kontrollerna fångar de flesta ofullständiga och sena laddningar innan en användare gör det.
  7. Versionshantera och driftsätt via en testmiljö. Håll pipelinekod och transformationslogik i Git, granska ändringar och kör datatesterna mot en kopia av produktionsdata innan ni driftsätter.
  8. Skriv en körbok och larma rätt person. Dokumentera för varje kritisk datamängd hur den körs om, hur en saknad period fylls i i efterhand och vem som ska informeras. Skicka larmen till ägaren, inte till en gemensam kanal som ingen läser.

Vad ska ni åtgärda först?

Åtgärda först det som skyddar siffrorna ledningen agerar på: tester och larm om färskhet för de få datamängderna bakom ledningens och ekonomins rapporter. En fullständig ombyggnad kan vänta. Det första målet är att ingen fattar beslut på inaktuell eller dubblerad data utan att veta om det.

En kort genomgång räcker oftast för att prioritera. Lista datamängderna bakom era viktigaste rapporter och notera vem som använder varje, när den senast fallerade och om någon märkte det. Matcha sedan symptomen mot första åtgärder:

Symptom

Trolig orsak

Första åtgärd

Summorna hoppar efter en misslyckad natt

Trolig orsak

Omkörningar som inte är idempotenta

Första åtgärd

Byt till upserts eller överskrivning per partition

En rapport är tom eller inaktuell på måndagen

Trolig orsak

Sen källa eller misslyckat jobb utan larm

Första åtgärd

Larm om färskhet till ägaren av datamängden

Siffrorna skiljer sig mellan två rapporter

Trolig orsak

Logik som är duplicerad i rapporterna

Första åtgärd

Flytta regeln till en gemensam transformation

Pipelinen kraschar efter en systemuppdatering

Trolig orsak

Schemaändring som inte meddelades

Första åtgärd

Kontrakt med källan plus schematest

När räcker inte längre en samling skript?

En samling skript räcker inte längre när flera team är beroende av samma data och ingen kan säga vilken version av en siffra som stämmer. Då är problemet inte ett trasigt jobb utan dataintegration i hela verksamheten.

Tecken på att ni är där: fler källor varje kvartal, samma kund eller produkt definieras olika i olika rapporter, planer på att koppla AI till företagets data och kunskapen om pipelines samlad hos en eller två personer. Om den enda dataingenjören är på semester och ingen annan kan köra om ekonomiladdningen är risken lika mycket organisatorisk som teknisk.

En gemensam plattform hjälper eftersom den gör de åtta arbetssätten till standard, i stället för en disciplin som varje skriptförfattare måste komma ihåg. Behovet av ägare, kontrakt och tester försvinner inte, men de får ett ställe att leva på.

Devies

Vill ni ha en second opinion?

Devies, en produkt- och utvecklingskonsult i Göteborg, arbetar med frågor som den här tillsammans med nordiska produkt- och IT-team. Berätta var ni står så föreslår vi ett rimligt första steg.

Prata med Devies

Vanliga frågor

Vad är en data pipeline?

En data pipeline är en serie automatiska steg som hämtar data från källsystem, formar den till en enhetlig struktur och laddar den där den kan användas, till exempel i ett datalager, ett lakehouse, en rapport eller en AI-applikation. En bra pipeline registrerar också vad den bearbetade, testar resultatet och larmar någon när data är sen, saknas eller är fel.

Vad är skillnaden mellan ETL och ELT?

ETL betyder extract, transform, load: data tvättas innan den lagras i målet. ELT betyder extract, load, transform: rådata lagras först och transformeras inne i målplattformen. ELT har blivit vanligt med dataplattformar i molnet eftersom rådatan finns kvar, och då är det lättare att bygga om en tabell när en transformation visar sig vara fel.

Hur många datatester behöver en pipeline?

Börja med tester på de kolumner som skulle göra synlig skada om de var fel: primärnycklar ska vara unika och inte tomma, statusfält ska bara innehålla kända värden och främmande nycklar ska matcha en post i den relaterade tabellen. Lägg till en kontroll av färskhet och en av volym per kritisk tabell. Bygg sedan ut när en incident visar en lucka, i stället för att testa varje kolumn från dag ett.

Behöver vi en dataingenjör, eller kan analytiker underhålla pipelines?

Analytiker kan underhålla enkla, vältestade transformationer, särskilt i SQL-baserade verktyg. För integrationer mot källsystem, orkestrering, idempotent laddning, säkerhet och driftsättning behövs oftast någon med kompetens inom data engineering. Många medelstora företag kombinerar ett litet internt team med externt stöd för plattformen, så att kunskapen om kritiska pipelines inte sitter hos en enda person.

Källor

Here’s more

Join Our Newsletter

We handle your data according to our privacy policy.

Shopping Cart

We use cookies

We use cookies to improve your experience on this website. You may choose which types of cookies to allow and change your preferences at any time. Disabling cookies may impact your experience on this website. You can learn more by viewing our Cookie Policy.

Check out

Contact Form text

We will contact you text

We handle your data according to our privacy policy.