Wat zijn de essentiële verschillen tussen klassieke en Bayesiaanse statistiek?

Antwoord

Beste Lars,

Tussen de klassieke of zogenaamde frequentistische en de Bayesiaanse statistiek is er een belangrijk filosofisch verschil. In de klassieke statistiek worden alleen toevalsveranderlijken als toevallig of random/stochastisch beschouwd, in de Bayesiaanse statistiek wordt alles wat ongekend is als onzeker en bijgevolg stochastisch beschouwd.

Wat betekent dat? In de klassieke statistiek kan je alleen iets als toevalsveranderlijke definiëren als je uit die toevalsveranderlijke dingen kan trekken of een experiment herhaaldelijk kan uitvoeren. Je hebt bijvoorbeeld een muntstuk. Je weet echter niet of het een eerlijk muntstuk is. Bijgevolg is de kans op kop ongekend. Volgens de klassieke statistiek is alleen het 'opgooien van het munstuk' stochastisch want als je dit verschillende keren doet, zie je verschillende uitkomsten. De Bayesiaanse statistiek zal zowel 'het muntstuk gooien' als de kans op munt als stochastisch beschouwen.

In een abstractere context zijn in de klassieke statistiek alleen de observaties stochastisch, maar het data-genererende proces is deterministisch (niet-stochastisch). In de Bayesiaanse statistiek zijn zowel de data als het data-genererende proces stochastisch.

Meestal wil men in de statistiek het data-genererende proces kennen, want als je het kent, kan je voorspellingen doen. Dus gaat men op basis van de verzamelde data een model construeren dat het data-genererende proces beschrijft. Dit model heeft parameters die op basis van de verzamelde data worden geschat. Deze schatting gebeurt door middel van de stochastische verdeling van de geobserveerde data. In de Bayesiaanse statistiek moet je naast de stochastische verdeling van de data ook de stochastische verdeling van de ongekende parameters (want deze worden als stochastisch beschouwd) in rekening brengen. De verdeling van de ongekende parameters heet de prior-verdeling of prior-distribution. De stochastische verdeling van de data wordt vaak in deze context Likelihood function of waarschijnlijkheidsfunctie genoemd. Deze twee functies vorm je dan via de stelling of wet van Bayes om naar een nieuwe likelihood functie die men de posterior-distributie heet.

Misschien komt dit heel moeilijk en abstract over, maar er is een simpel ideetje verborgen. De likelihood funtie is de informatie die de observaties je bieden over de ongekende parameters. De prior-verdeling is wat je reeds kent over de parameters onafhankelijk van de observaties. De posterior is eigenlijk de 'update aan informatie' van je prior-verdeling m.b.v. de observaties.

Dit is ongeveer Bayesiaanse statistiek in een notendop. Je kan aantonen dat beide filosofiën asymptotisch equivalent zijn. Dit betekent dat als je meer en meer observaties verzamelt, beide modellen (gevonden via de frequentistische aanpak of via de Bayesiaanse aanpak) gelijk zullen zijn. Er zijn echter kleine (soms grote) verschillen voor een eindige dataset. Bovendien is de Bayesiaanse statistiek vaak veel rekenintensiever (er verschijnen snel moeilijke integralen).

De moeilijkheid van Bayesiaanse statistiek is het kiezen van de prior verdeling over de parameters. Er zijn binnen de Bayesiaanse statistiek twee scholen: de objectivisten en subjectivisten. De subjectivisten vinden dat je alle informatie mag gebruiken die je weet over de ongekende parameters. (Het nadeel is dat je ook potentieel foute informatie gebruikt maar volgens de subjectivisten moet de likelihood functie de foutieve informatie in de priors onderdrukken). De objectivisten vinden dat je alleen informatie mag gebruiken die je wiskundig op een correcte logische manier kan afleiden uit het probleem. (er bestaan hiervoor verscheidene technieken)

Misschien komt dit moeilijk over, maar Bayesiaanse statistiek vereist een goede kennis van de klassieke statistiek en kanstheorie om deze te kunnen gebruiken. Het wordt meestal gedoceerd aan de universiteit in de hogere jaren van een opleiding wiskunde.

Men zegt vaak dat er weinig Bayesiaanse statistici zijn, maar dat is niet volledig waar. Eigenlijk is dit een modeverschijnsel dat zich periodiek gedraagt. Vroeger in de 18de eeuw tot half 19de eeuw was het vooral Bayesiaanse statistiek die bedreven werd (zie Bayes, Bernouilli, Laplace). Door de opkomst van Fisher en Pearson in de 20ste eeuw is de Bayesiaanse statistiek vergeten. Toen Wald in 1949 aantoonde dat de zogenaamde 'Maximum Likelihood methods' in een zeker zin optimaal zijn om modellen te schatten, heeft dit de klassieke statistiek enorm populair gemaakt.

Sinds de jaren 90 krijgt de Bayesiaanse statistiek terug meer aanhang. Dit komt omdat de klassieke statistiek een frequentistisch standpunt is en dus een theorie is die geldig is als je 'veel' observaties hebt. In vele moderne problemen (bv. neutronen emmissie van sterren maar ook veel medische en geochemische toepassingen) zijn veel observaties niet beschikbaar. De klassieke statistiek biedt dan vaak geen of een niet-bevredigend antwoord waardoor men vaker begint op te schuiven naar de Bayesiaanse ideeën.

Hopelijk vestigt dit min of meer het idee erachter,

Vele groeten,

Kurt.