Wat is de meest complete definitie van het begrip “informatie” (als het gaat over fysica)?

Antwoord

Beste Frank,

Aangezien je naar een expliciete definitie vraagt, wil ik je een antwoord leveren als wiskundige in het bijzonder statisticus. De reden daartoe is dat de intrede van informatie in de natuurkunde in een zekere zin een antwoord bood op het onzekerheidsprincipe van Heisenberg en waarschijnlijkheidsleer toelaat haar opmars in de natuurkunde te maken. Het onzekerheidsprincipe geeft aan dat natuurkunde niet deterministisch is. Op macroschaal is deze onzekerheid verwaarloosbaar zodat determinisme (quasi) geldt, terwijl op microschaal de onzekerheid intrinsiek aanwezig is waarmee rekening moet worden gehouden.

Onzekerheid kan ook nog op een andere manier haar intrede maken in de natuurkunde. Wetten van de fysica die als wiskundige formules worden neergeschreven, worden vaak onder ideale omstandigheden opgesteld - denk maar afwezigheid van wrijving. Deze omstandigheden zijn te eenvoudige voor de realiteit zodat de empirische observaties niet aansluiten met de opgestelde formules. Om deze discrepantie tussen wiskundige formules en empirische gegevens in het model op te nemen, voegen we een "foutterm" toe. Deze foutterm is stochastisch. Bovendien zijn empirische gegevens ook onderhevig aan meetfouten ten gevolge van de meetinstrumenten zelf die niet perfect zijn. Deze meetfouten zijn ook stochastisch. De reden dat "fouten" stochastisch worden beschouwd is omdat ze onvoorspelbaar zijn.

Ik ben tot nu toe je vraag wat uit de weg gegaan: ik besprak onzekerheid terwijl je naar informatie vroeg. Deze twee concepten houden verband met elkaar maar zijn ook verschillend. In tegenstelling tot onzekerheid staat entropie centraal in informatietheorie. Entropie is een maat voor hoe onvoorspelbaar iets is. Het is niet moeilijk om te bedenken hoe groter de onzekerheid, hoe groter de onvoorspelbaarheid en entropie.

Stel dat ik een balletje beschouw dat ik in een bak gooi waarbij ik geïnteresseerd ben in de eindpositie van dat balletje. Die eindpositie is onvoorspelbaar want telkens dat ik dat balletje gooi, zal dat conform de wetten van de fysica elders terecht komen ondanks dat ik onder precies dezelfde omstandigheden de worp kan maken. Echter dat balletje haar eindpositie kan ik vastleggen door de coördinaten (x,y) die een positie aangeven op de bodem van de bak. Statistisch noemen we deze posities samen de oplossingenruimte O. De deelverzameling van deze oplossingenruimte waaraan we een waarschijnlijkheid kunnen associëren, noemen we de gebeurtenissen. Merk op dat niet alle deelverzamelingen gebeurtenissen zijn maar die formaliteit zou mij te ver brengen. Tot slot moet je aan elke gebeurtenis een waarschijnlijkheid of kans associëren dat dit plaatsvindt. Op die manier heb je een 3-tupel wat men de kansruimte heet.

De gebeurtenissen die ons in het experiment interesseert, is deze dat het balletje terecht komt in een zekere rechthoek zodat haar x-coördinaat kleiner is dan x0 en y-coördinaat kleiner dan y0 waarbij x0 en y0 gekozen worden. Als je deze kansen kan beschrijven voor alle waarden x0 en y0 dan bekom je de verdelingsfunctie F(x0,y0) van het experiment. Je kan vanuit deze verdelingsfunctie haar dichtheid berekenen wat wiskundig bepaald wordt door de afgeleide van de verdelingsfunctie t.o.v (x0,y0). Deze dichtheid (typisch genoteerd als f(x0,y0)) is een relatieve maat van de kans dat je observaties waarneemt in een omgeving van (x0,y0) genormaliseerd t.o.v. de grote van die omgeving.

Het is precies deze dichtheidsfunctie die een centrale rol speelt in de bepaling van de entropy. Er zijn verschillende afwijkende definities van entropy die afhangen van de specifieke eigenschappen die het toevallige experiment heeft. Als zoals in het kleine voorbeeldje de mogelijkheden van de coördinaten continu zijn dan spreekt men over differentiaalentropy.

Definitie differentiaalentropy vind je hier: https://en.wikipedia.org/wiki/Differential_entropy

Waarom precies die definitie? De reden ertoe is dat je aan deze differentiaalentropie een 'afstandsmaat' kan associëren wat men de Kullback-Leibler divergentie (https://en.wikipedia.org/wiki/Kullback%E2%80%93Leibler_divergence) of relatieve entropie heet die meet hoe gelijkaardig twee toevalsexperimenten zijn. Bijgevolg indien je twee toevalsexperimenten hebt waarbij de ene een dichtheid f(x) heeft en de andere een dichtheid g(x) heeft die er absoluut wiskundig anders uitzien dan kunnen we op basis van deze maat meten hoe "dicht" deze twee toevalsexperimenten bij elkaar liggen. Het meet in een zekere zin wat je uit het ene experiment niet kan beschrijven door dit door het andere experiment te benaderen. Je kan dus stellen dat het een soort van verlies aan informatie inhoudt.

Hoewel je entropie netjes kan beschrijven als een functie van de onzekerheid uitgedrukt in haar variantie worden varianties niet zomaar met elkaar vergeleken. De reden is dat twee onzekerheden met elkaar vergelijken alleen zin heeft tussen toevalsexperimenten uit dezelfde familie. Het probleem is dan een onzekerheid van 1 Newton voor een normale verdeling goed kan zjin terwijl diezelfde voor een exponentiële verdeling niet goed kan zijn. Het voordeel aan relatieve entropie is dat je op die manier wel correct twee toevalsexperimenten kan vergelijken over de grenzen van de families dichtheden heen.

Tot slot als je dus wil uitdrukken dat over de tijd geen informatie verloren gaat dan zal de entropie als een functie van de tijd een constante zijn.

Weetje: entropie is een maat voor de onvoorspelbaarheid en in zekere zin hoeveel informatie er in een experiment aanwezig is; maar dat betekent nog niet dat je uit de observaties van het experiment de eigenschappen van het proces kan "leren". Dat begrip heet men ergodiciteit (https://en.wikipedia.org/wiki/Ergodic_theory). Je kan je inbeelden dat indien een experiment niet alle mogelijke gebeurtenissen kan realiseren en dus een bepaald gebied van de gebeurtenissen onobserveerbaar is dat ik uit het experiment niet alle eigenschappen kan leren. Dat is in een notedop een niet-ergodisch proces.

Kortom wiskundig hebben we strikte definities voor wat precies bedoeld wordt onder deze begrippen.

Vriendelijke groeten,

Kurt.