Præcision og pålidelighed

Samlet præcision

Som ved alle andre undersøgelser, der baserer sig på stikprøver, er der en vis usikkerhed tilknyttet undersøgelsen. Usikkerheden skyldes udvælgelsen af stikprøven og strukturen i bortfaldet. Bortfald er, når der ikke indsamles et gennemført svar fra en person udvalgt i stikprøven. Bortfaldet øger undersøgelsens usikkerhed, fordi der ikke er samme sandsynlighed for at opnå interview med alle udvalgte personer. Der er med andre ord bestemte slags grupper, fx unge og borgere med ikke danske oprindelse, man oftere ikke får et svar fra, og det påvirker repræsentativiteten i undersøgelsen. Dette håndteres dog i vidt omfang gennem opregningen og brugen af registerbaserede hjælpeinformationer. Selvom hjælpeinformationen således håndterer megen skævhed, kan det ikke udelukkes, at der er systematisk skævhed i kulturvaneundersøgelsen.

Anden usikkerhedskilder, fx hukommelsesfejl, er også relevant for kulturvaneundersøgelsen. For at mindske hukommelsesfejl udspørges respondenterne om de seneste uge eller om de seneste tre måneder. Dermed reduceres risici for hukommelsesfejl i sammenligning med tidligere undersøgelser, som målte kulturforbrug over en længere periode, fx det seneste år.

Kulturvaneundersøgelsens præcision kan vurderes ved at sammenligne udvalgte resultater fra undersøgelsen med relevante data fra øvrige statistikker.

Undersøgelsen estimerer eksempelvis, at seks ud af ti personer streamer musik. Samme andel er beregnet i undersøgelsen ’It-anvendelse i befolkningen 2018’, hvor det er estimeret, at 63 pct. af danskerne mellem 16 og 89 år streamer musik. Kulturvaneundersøgelsen viser endvidere, at ca. 52 pct. af danskerne ser film eller serier via betalte streamingtjenester, fx Netflix. Andelen er estimeret til 50 pct. i statistikken ’It-anvendelse i befolkningen 2018’.

27 pct. af danskere angiver i kulturvaneundersøgelsen, at de bruger løbeur, skridtæller mv, når de motionerer. Denne andel kan sammenholdes med den seneste udgave af statistikken ’Elektronik i hjemmet 2018’. Her estimeres det, at 30 pct. af familier ejer aktivitetsur. Endeligt viser statistikken om elektronik i hjemmet, at 9 pct. af familierne er i besiddelse af e-bogslæsere. En andel som er på linje med Kulturvaneundersøgelsens estimering for andelen af danskere, der læser litteratur via e-bogslæser (10 pct.)

På baggrund af ovennævnte sammenligninger synes Kulturvaneundersøgelsens præcision for de relevante indikatorer at være høj.

Stikprøveusikkerhed

Stikprøveusikkerhed måles ved standardfejl, der udtrykker usikkerheden på gennemsnittet af estimaterne. Stikprøveusikkerheden påvirkes af stikprøvens størrelse. Usikkerheden halveres fx stort set, hvis man firedobler sit interviewgrundlag. Jo flere gennemførte svar undersøgelsens resultater er baseret på, jo mere sikre er tallene.

Standardfejl for udvalgte indikatorer ligger under én procent i de to første dataindsamlingsrunder af Kulturvaneundersøgelsen. Standardfejl for indikatoren 'Har ikke læst/set/lyttet til nyheder inden for den seneste uge' er beregnet til 0,46 procent. Det vil sige, at andelen af dem, der ikke har brugt nyheder ligger med 95 pct. sikkerhed mellem +-(1,96* 0,46) pct. af det estimerede andel på 6 pct.

Anden usikkerhed

For at dække populationen bedst muligt er stikprøven til undersøgelsen trukket meget tæt på dataindsamlingens starttidspunkt.

Det er et omfattende spørgeskema respondenterne stilles over for. Dette kan give træthed i udfyldelsen og dermed usikkerhed i forhold til det omfang af kulturforbrug de oplyser.

Det kan være svært for respondenterne at huske, hvad de har gjort fx tre måneder tilbage i tid, hvilket også kan give usikkerhed i forhold til det omfang af kulturforbrug, som måles.

Nogle former for kulturforbrug opfattes af mange som ”bedre” end andet – fx opfattes det tit som bedre at læse bøger eller gå på museum end at se film eller serier på Netflix. Dette kan føre til, at man som respondent ønsker at give et bedre indtryk af sig selv og man derfor kommer til at skønmale det reelle billede, hvilket også er en kilde til usikkerhed for det omfang af kulturforbrug, der måles.

Omfanget af disse kilder til usikkerhed er svært at måle. Da spørgeskemaet hverken indeholder særligt følsomme spørgsmål eller spørgsmål af kompliceret teknisk karakter, formodes det, at omfanget af denne type fejl er begrænset.

En yderligere kilde til sikkerhed er forældede informationer om de adspurgtes baggrundsoplysninger fx uddannelse, familietype eller socioøkonomisk status. Baggrundsvariable trækkes derfor fra Danmarks Statistiks forskellige statistikregistre så tæt på undersøgelsens referenceperiode som muligt. Der er dog altid en delmængde af stikprøven, hvor registeroplysningerne ikke længere er retvisende på dataindsamlingstidspunktet fx på grund af nylige ændringer i uddannelsesniveau eller familiesammensætning.

Bortfald i undersøgelsen kan også være en kilde til usikkerhed. Der er lavet flere tiltag for at mindske bortfaldet ved undersøgelsen. Der er således indsamling af oplysninger både via et web-skema og via telefoninterviews. Opfølgning via interviews bruges især på grupper, der traditionelt har større bortfald.

COVID-19 forventes ikke at have indflydelse på statistikkernes kilder til usikkerhed. Dataindsamlingen i 2020-21 forløb, som den plejede. 2020 og 2021 data blev indsamlet under nedlukningen af Danmark - hvilket også påvirkede deltagelsen i en række kulturaktiviteter. Dette forklarer, hvorfor tallene kan variere fra forrige kvartaler.

Årsdata 2019 dækker perioden 3. kvartal 2019 - 2. kvartal 2020. 2. kvartal 2020-2021 blev indsamlet under nedlukning af Danmark grundet COVID-19. Dette kan forklare, hvorfor tallene for 2019 og 2020 kan variere fra det tidligere årsdatasæt (2018).

Kvalitetsstyring

Danmarks Statistik følger anbefalinger vedrørende organisering og styring af kvalitet, der er givet i Adfærdskodeks for europæiske statistikker (Code of Practice, CoP) og den tilhørende implementeringsmodel Quality Assurance Framework (QAF). Læs mere om disse på Adfærdskodeks for europæiske statistikker. Der er etableret en arbejdsgruppe for kvalitet og en central kvalitetssikringsfunktion, der løbende gennemfører tjek af produkter og processer.

Kvalitetssikring

Danmarks Statistik følger principperne i Adfærdskodeks for europæiske statistikker (Code of Practice, CoP) og bruger den tilhørende implementeringsmodel Quality Assurance Framework (QAF) ved implementeringen af disse principper. Dette indebærer løbende decentrale og centrale tjek af produkter og processer på baggrund af dokumentation, der følger internationale standarder. Den centrale kvalitetssikringsfunktion rapporterer til arbejdsgruppen for Kvalitet. Rapporteringen indeholder blandt andet forslag til forbedringer, som vurderes, besluttes og implementeres.

Kvalitetsvurdering

Undersøgelsen vurderes at være relevant, idet skemaet er udviklet i samarbejde med brugere.

Pålidelighed sikres ved at have åbenhed om metadata som svarprocent, bortfald, usikkerhedsberegninger, samt eventuelle revisioner og detaljerede oplysninger om databehandling.

Statistikken kan kun i mindre omfang sammenlignes med tidligere kulturvaneundersøgelser. Dette skyldes for det første en metodeændring, hvor referenceperioden er ændret fra et år til de seneste tre måneder. For det andet er skemaet revideret i forhold til tidligere skemaer for bedre at kunne afspejle nutidens kulturforbrug, som ofte foregår digitalt. Dermed er statistikken mere aktuel og offentliggøres hyppigere (hvert kvartal).

Endeligt skal der bemærkes, at der i perioden 2018-2020 forventes mindre justeringer i spørgeskemaet for at sikre en mere optimal dækning af målpopulationens kultur- og medieforbrug, samt fritidsaktiviteter.

Revisionspolitik

Danmarks Statistik foretager revisioner i offentliggjorte tal i overensstemmelse med Danmarks Statistiks revisionspolitik. De fælles procedurer og principper i revisionspolitikken er for nogle statistikker suppleret med en specifik revisionspraksis.

Praksis for revisioner

Der opgøres kun endelige tal.