Åpne data kan gi bedre beslutningsgrunnlag, nye produkter og mindre manuelt arbeid. Men verdien kommer først når du faktisk får dataene inn i egne systemer – stabilt og lovlig. I denne guiden ser du hvordan du bruker data.norge, finner riktige kilder, sjekker åpne data og lisens. Og setter opp automatisk uttrekk via API eller nedlasting. Vi bruker også eksempler fra Brønnøysundregistrene og typiske geodata-mønstre fra GeoNorge.
Innholdsfortegnelse
- Hva er data.norge.no, og når bruke katalogen vs. direkte API
- Finne relevante datasett på data.norge, praktisk søk og tolkning av metadata
- Søk og filtrer smart
- Les katalogposten som en «kontrakt»
- Forstå tilgangsnivåer og lisenser, hva bedrifter må sjekke før automatisering
- Tilgangsnivåer: allmenn, betinget, ikke-allmenn
- Lisens: CC BY 4.0 vs CC0 (kort fortalt)
- Metoder for automatisert uttrekk, hva du bør velge
- API (Web-API): best for løpende oppdatering
- Direkte nedlasting (CSV/JSON/XLSX)
- Geodata: WMS/WFS/GeoJSON
- Når API mangler: XLSX/PDF, tabellgenerator og scraping
- Automatiser uttrekk med curl og Python (kopier–lim)
- curl: hent JSON fra et offentlig API
- Python: last ned og lagre JSON
- Pagination + retry/backoff (mønster)
- Planlegging: cron-jobb (enkelt og effektivt)
- Tekniske hensyn ved drift av automatiserte jobber
- Formater og transformasjoner, praktiske tips
- Personvern og sensitive data, hva bedrifter må vurdere
- Sjekkliste før du setter automatisert uttrekk i produksjon
- Kilder og videre lesning
- Feilsøking og vanlige problemer
- FAQ
- Hvordan finner jeg åpne datasett for bedrifter på data.norge?
- Kan jeg automatisere uttrekk fra alle datasett som står i data.norge?
- Hvilke lisenser gjelder for åpne data (CC BY 4.0 vs CC0) og hva betyr de for kommersiell bruk?
- Hvordan autentiserer jeg mot API-er som krever API-nøkkel eller OAuth?
- Hva gjør jeg hvis datasettene er i XLSX eller PDF og ikke har et API?
- Hvordan håndterer jeg rate limits og store datamengder ved automatiserte uttrekk?
- Hva må jeg tenke på ved personopplysninger og sensitive data før automatisering?
- Hvordan oppdager og håndterer jeg endringer i datastruktur (schema drift)?
- Er scraping et godt alternativ hvis det ikke finnes API, og hvilke juridiske hensyn gjelder?
- Hvem kontakter jeg hvis jeg trenger tilpasset uttrekk eller høyere oppdateringsfrekvens?
- Konklusjon
Hva er data.norge.no, og når bruke katalogen vs. direkte API
data.norge.no er i praksis en datakatalog. Den beskriver datasett fra mange offentlige virksomheter. Katalogen er ikke alltid stedet der selve dataene ligger.
I en katalogpost finner du typisk:
- Metadata: beskrivelse, tema, begreper, kontaktpunkt.
- Tilgangsnivå (access rights): om data er allment tilgjengelig eller krever avtale.
- Lisens: hva du kan gjøre med dataene.
- Distribusjoner: lenker til det som faktisk kan lastes ned eller kalles (API-endepunkt, fil, WMS/WFS, osv.).
Når bør du gå direkte til dataeierens API i stedet for å «starte» i data.norge?
- Når katalogposten peker til et etablert API med god dokumentasjon.
- Når du trenger driftsinfo som rate limits, autentisering eller endringslogg.
- Når du må søke om betinget tilgang og trenger dialog med dataeier.
Vil du ha flere eksempler på registre og databaser som ofte brukes i næringslivet, se også Offentlige registre og databaser som kan være nyttige for bedrifter.
Finne relevante datasett på data.norge, praktisk søk og tolkning av metadata
Start med et konkret søk og bruk filtre. En nyttig inngang er datasettsøk som allerede filtrerer på åpne data og allmenn tilgang, for eksempel:
Slik jobber du deg fra «funn» til «klart for automasjon»:
Søk og filtrer smart
- Bruk søkefeltet på data.norge og avgrens med tema og nøkkelord.
- Filtrer på opendata=true når målet er gjenbruk i produkter.
- Se etter tilgangsnivå som tilsier at du faktisk kan automatisere.
Eksempel på mer spesifikt søk (for budsjettrelaterte data):
Les katalogposten som en «kontrakt»
Før du skriver én linje kode, sjekk disse feltene:
- Access rights / tilgangsnivå: sier om du kan hente data uten avtale.
- License / lisens: hva du må oppgi, og om kommersiell bruk er ok.
- Distribution / distribusjon: hvor dataene faktisk hentes (API eller fil).
- Oppdateringsfrekvens: styrer hvor ofte jobben din bør kjøre.
- Kontaktpunkt: hvem du spør når noe endrer seg.
Poenget: data.norge hjelper deg å finne riktig kilde og forstå rammer. Selve uttrekket skjer ofte hos dataeier.
Forstå tilgangsnivåer og lisenser, hva bedrifter må sjekke før automatisering
Tilgangsnivåer: allmenn, betinget, ikke-allmenn
Digdir beskriver typisk tre nivåer for deling/tilgang. En forenklet praktisk tolkning:
- Allmenn: du kan som regel hente og automatisere uten avtale, innenfor vilkår og tekniske begrensninger.
- Betinget: du må oppfylle vilkår (registrering, nøkkel, avtale, formål). Automatisering er mulig, men først etter avklaring.
- Ikke-allmenn: ikke åpent tilgjengelig. Du må ha særskilt grunnlag/avtale, og data kan være unntatt offentlighet eller inneholde sensitive opplysninger.
Se Digdirs praktiske startpunkt:
Lisens: CC BY 4.0 vs CC0 (kort fortalt)
Du møter ofte disse for åpne data:
- CC BY 4.0: du kan bruke data (ofte også kommersielt), men må normalt navngi/kreditere kilden slik lisensen krever.
- CC0: data er lagt så nær «public domain» som mulig. Krav til kreditering er typisk ikke pålagt, men det kan likevel være lurt å dokumentere kilde av hensyn til sporbarhet.
Ved tvil: gå til veiledningen og involver juridisk/kompliance internt. Digdir har en egen veileder:
Metoder for automatisert uttrekk, hva du bør velge
Velg metode etter hvor «maskinvennlig» kilden er.
API (Web-API): best for løpende oppdatering
Passer når:
- Du trenger ferske data.
- Du vil hente små endringer ofte (delta/polling).
- Du må filtrere og paginere.
Typiske behov:
- Autentisering (API-nøkkel, OAuth).
- Rate limits/kvoter.
- Pagination.
Direkte nedlasting (CSV/JSON/XLSX)
Passer når:
- Data publiseres som periodiske filer.
- Du tåler «batch»-oppdateringer.
Ulemper:
- Store filer kan bli tunge å hente ofte.
- Endringer i struktur kan komme uten varsling.
Geodata: WMS/WFS/GeoJSON
For kartlag er mønsteret annerledes:
- WMS: mest for visning (bilder/tiles).
- WFS: bedre for å hente features/objekter til videre behandling.
- GeoJSON: ofte enklest inn i vanlige dataverktøy.
(GeoNorge er en vanlig inngang for geodata, men selve endepunktene ligger hos dataeier/tjenesten som er oppgitt i distribusjonen.)
Når API mangler: XLSX/PDF, tabellgenerator og scraping
Noen datasett kommer som XLSX eller PDF. Da har du typisk tre valg:
- Se om dataeier tilbyr tabellgenerator eller eksport i maskinlesbart format.
- Konverter lokalt (f.eks. XLSX → CSV).
- Scraping som siste utvei.
Scraping er ofte skjørt (endringer i HTML/PDF-layout). I tillegg må du sjekke vilkår, tilgangsnivå og om materialet faktisk er ment for maskinell gjenbruk.
Automatiser uttrekk med curl og Python (kopier–lim)
Eksemplene under viser mønstre du kan bruke i produksjon: enkel nedlasting, pagination og retry/backoff. API-et under er fra Brønnøysundregistrene (les veiledning og vilkår hos dem):
curl: hent JSON fra et offentlig API
Tips:
- Start med lav
sizenår du tester. - Logg alltid URL og tidspunkt i jobbene dine.
Python: last ned og lagre JSON
Pagination + retry/backoff (mønster)
Mange offentlige API-er paginerer og gir en «next»-lenke. Under følger du _links.next.href hvis den finnes, og bruker enkel backoff på midlertidige feil.
Planlegging: cron-jobb (enkelt og effektivt)
Kjør et script hver natt kl. 02:15 og skriv logg:
Husk:
- Legg API-nøkler i miljøvariabler (ikke i kode).
- Overvåk at jobben faktisk kjører og at resultatet gir forventet antall rader.
Tekniske hensyn ved drift av automatiserte jobber
Dette er de vanligste fellene når du går fra «det funker hos meg» til stabil drift:
- Rate limits/kvoter: respekter 429, bruk backoff, og cache der du kan.
- Incremental/delta-uttak: bruk «sist endret»-felt eller tidsstempler hvis API-et støtter det. Ellers: lag egne sjekkpunkter.
- Logging: logg URL, responstid, statuskode, antall rader og checksum/filstørrelse.
- Skjemaendringer (schema drift): valider felter, og fail «høflig» med tydelig feilmelding.
- Sporbarhet: lagre metadata sammen med data (kilde, lisens, hentetidspunkt, versjon).
- Overvåkning: sett alarmer på feilrate, tomme uttrekk og store endringer i volum.
Formater og transformasjoner, praktiske tips
- CSV: sjekk separator (komma/semikolon), encoding (UTF-8), og linjeskift.
- JSON: normaliser nestede strukturer før du legger i tabell.
- XLSX: lås til riktig ark, og vær obs på «blandede typer» i kolonner.
- GeoJSON/WFS: avklar koordinatsystem og geometri-typer før du laster inn i GIS eller database.
Et enkelt grep som ofte hjelper: standardiser feltnavn tidlig (små bokstaver, underscore) og dokumenter mapping.
Personvern og sensitive data, hva bedrifter må vurdere
Selv om noe ligger i en katalog, betyr ikke det at du fritt kan behandle det til alt mulig. Sjekk spesielt:
- Inneholder data personopplysninger eller indirekte identifiserende informasjon?
- Krever formålet ditt ekstra tiltak (minimering, tilgangsstyring, sletting)?
- Er datasettet merket som betinget eller ikke-allmenn?
Ved usikkerhet: bruk Digdirs veiledning som start, og avklar med dataeier og egen juridisk funksjon:
Sjekkliste før du setter automatisert uttrekk i produksjon
- [ ] Datasett funnet via data.norge og riktig distribusjon identifisert (API/fil/WFS).
- [ ] Tilgangsnivå avklart (allmenn/betinget/ikke-allmenn).
- [ ] Lisens avklart (CC BY 4.0/CC0) og kreditering implementert ved behov.
- [ ] Rate limit-strategi på plass (retry/backoff, 429-håndtering).
- [ ] Pagination testet og verifisert (ikke bare første side).
- [ ] Logging + varsling på feil og tomme uttrekk.
- [ ] Plan for endringer i struktur (validering og rask rollback).
- [ ] Metadata lagres sammen med data (kilde, hentetidspunkt, vilkår).
Kilder og videre lesning
- Der Norge deler data – data.norge.no
- Datasett (åpne, allmenn tilgang) – data.norge
- Slik kommer du i gang med å bruke data fra andre (Digdir)
- Veileder for tilgjengeliggjøring av åpne data
- Bruke data fra Brønnøysundregistrene
- Åpne data (API) via BarentsWatch
- Søk etter «nasjonalbudsjettet» i åpne datasett
- Datafabrikken (bakgrunn/artikkel)
Feilsøking og vanlige problemer
- 401/403 (ikke autorisert/forbudt): sjekk om datasettet er betinget, om du mangler API-nøkkel, eller om IP/klient må whitelistes.
- 404 (finnes ikke): distribusjonslenke kan ha flyttet. Gå tilbake til katalogposten og se etter oppdatert distribusjon/kontaktpunkt.
- 429 (for mange kall): senk frekvensen, bruk backoff, og hent færre sider per tidsenhet.
- Tomme resultater: feil filtrering, feil tegnsett, eller API-et krever annen parameter. Logg hele request-URL.
- Plutselig færre/flere rader: sjekk om oppdateringsfrekvens eller definisjon har endret seg. Kontakt dataeier ved vedvarende avvik.
- Skjemaendring: legg inn validering og varsling når nye/ukjente felter dukker opp eller forventede felter mangler.
Neste steg når du står fast: 1) bruk kontaktpunktet i katalogposten, 2) be om tilpasset uttrekk/abonnement hvis du trenger høyere frekvens, 3) få skriftlig avklaring på lisens og vilkår ved betinget tilgang.
FAQ
Hvordan finner jeg åpne datasett for bedrifter på data.norge?
Bruk søk og filtre, og start gjerne fra et forhåndsfiltrert søk for åpne data, som denne datasettsiden. Les deretter tilgangsnivå, lisens og distribusjon i katalogposten.
Kan jeg automatisere uttrekk fra alle datasett som står i data.norge?
Nei. data.norge er en katalog. Noen datasett har API eller nedlastingsfiler som egner seg for automasjon. Andre kan være betinget/ikke-allmenn eller publisert i formater som krever manuell prosess.
Hvilke lisenser gjelder for åpne data (CC BY 4.0 vs CC0) og hva betyr de for kommersiell bruk?
CC BY 4.0 krever normalt kreditering. CC0 frasier så langt som mulig rettigheter/krav. For kommersiell bruk må du lese lisensen i katalogposten og følge vilkårene.
Hvordan autentiserer jeg mot API-er som krever API-nøkkel eller OAuth?
Følg dokumentasjonen hos dataeier. Legg nøkler i miljøvariabler (ikke i kode). For OAuth må du håndtere token-utstedelse og fornyelse, og logge feil på 401/403.
Hva gjør jeg hvis datasettene er i XLSX eller PDF og ikke har et API?
Se etter eksportmulighet eller tabellgenerator hos dataeier først. Hvis du må konvertere lokalt, bygg en stabil konverteringsjobb og overvåk endringer. Scraping bør være siste utvei.
Hvordan håndterer jeg rate limits og store datamengder ved automatiserte uttrekk?
Begrens kall, bruk caching og pagination, og implementer retry/backoff ved 429 og midlertidige 5xx-feil. Kjør jobber utenom peak, og vurder delta-uttak.
Hva må jeg tenke på ved personopplysninger og sensitive data før automatisering?
Sjekk tilgangsnivå og om datasettet inneholder direkte eller indirekte identifiserende opplysninger. Sørg for dataminimering, tilgangsstyring og intern forankring. Ved tvil: avklar med dataeier og juridisk.
Hvordan oppdager og håndterer jeg endringer i datastruktur (schema drift)?
Valider felter og typer i hver kjøring. Varsle ved avvik. Versjoner mappingen din. Lag en «safe fail» slik at nedstrøms systemer ikke fylles med feil data.
Er scraping et godt alternativ hvis det ikke finnes API, og hvilke juridiske hensyn gjelder?
Det kan fungere, men er ofte ustabilt. Sjekk vilkår, tilgangsnivå og om innholdet er ment for gjenbruk. Vurder også belastning på tjenesten, og implementer lav frekvens.
Hvem kontakter jeg hvis jeg trenger tilpasset uttrekk eller høyere oppdateringsfrekvens?
Bruk kontaktpunktet i katalogposten på data.norge, eller kontakt dataeieren direkte (for eksempel via veiledningen hos Brønnøysundregistrene).
Konklusjon
data.norge gjør det enklere å finne offentlige datasett og forstå rammer som tilgangsnivå, lisens og distribusjon. For automatisert uttrekk bør du nesten alltid jobbe direkte mot dataeierens API eller nedlastingspunkt. Sett opp retry/backoff, pagination, logging og overvåkning fra start. Da får du en løsning som tåler både kvoter og endringer over tid.
