Entropia
Wikizia
Meta:
- pitäisikö tämä infopiirisivu pilkkoa palasiin? oma sivu fysiikalle, informaatioteorialle jne. alkanut paisua mukavasti. Miten uusia sivuja muuten edes luodaan
- mitäs mieltä siitä, jos on aihetta kommentoida toisten tekstiä. käyttääkö kukaan noita keskustelu sivuja? vai keskustellaanko suoraan tähän? Optimaalista varmaan olisi jos keskustelut käytäisiin erikseen, ja tänne kehittyisi pikkuhiljaa muokatta yhteisymmärrystä huokuva versio ajatuksesta. Mutta optimaalinen ei ainakaan välttämättä ole realistinen...
--miika.p 20. joulukuuta 2005 kello 14:00:36 (EET)
Entropia lisääntynee täälläkin ennen pitkää ellei joku valpassieluinen käytä energiaansa ja vähennä sitä.
- Ilmari
Sisällysluettelo |
Fysikaalisesta entropiasta
Entropian voi ajatella vastaavan epäjärjestäytyneisyyden astetta. Järjestäytyneisyyden lisääntyminen vastaa entropian pienentymistä. Entropian pienentäminen vaatii työtä (energiaa). Myöskään toisaalta jos työtä ei tehdä, tuppaa entropia (epäjärjestyneisyys) vissiinkin lisääntymään.
Epäjärjestäytyneisyys (entropia) tulee tässä yhteydessä ymmärtää makrotilan toteuttavien mikrotilojen monitoteutuvuuden lukumäärän lisääntymisenä (suhteen pienenemisenä): mitä useampi eri mikrotila toteuttaa saman makrotilan, sitä suurempi on entropia.
--JH 16. joulukuuta 2005 kello 03:16:18 (EET)
Kannattaa katsastaa Oliver Penrosen tämän viiko Nature-essee An assymmetric world. Asiaa mm. mikro/makro-tiloista ja todennäköisyyskäsitteen soveltamisesta fysikaaliseen entropiaan.
--miika.p 20. joulukuuta 2005 kello 13:46:55 (EET)
Esimerkki - noppia, satunnaismuuttujia ja makrotiloja
Heittäkäämme kolmea noppaa. Nyt jokainen mahdollinen silmälukujen kombinaatio (tässä: järjestetty joukko), esim. {2,2,4} vastaa yhtä mikrotilaa. Yhdessä kaikki nämä mikrotilat muodostavat otosavaruuden å. Tarkastellaan yksinkertaisinta tapausta, jossa nopat eivät ole painotettuja, ts. jokainen mahdollinen mikrotila on yhtä todennäköinen. Eli vielä rautalangasta: kun toistojen määrä kasvaa rajatta, on jokaisen mikrotilan suhteellinen osuus sama.
Oletetaan, ettemme kuitenkaan tarkastele yksittäisiä mikrotiloja, vaan olemme kiinnostuneita silmälukujen yhteenlasketuista summista. Määritellään makrotila tällaiseksi summaksi. Tapahtumat {2,3,6} ja {3,2,6} vastaavat samaa makrotilaa, 11. Vastaavasti {2,3,5} vastaa makrotilaa 10. Makrotilat ovat toisinsanoen monitoteutuvia.
Kuvataan prosessia satunnaismuuttujalla X. Nyt satunnaismuuttuja voi saada toteutuneita arvoja väliltä [3,18]. Jokainen arvoista siis vastaa tässä toteutunutta makrotilaa. Satunnaismuuttujaan liitetään todennäköisyysjakauma, joka kertoo sen jokaisen mahdollisen arvon esiintymistodennäköisyyden. Todennäköisyys yhdelle arvolle, makrotilalle, saadaan laskemalla tämän makrotilan toteuttavien mikrotilojen suhteellinen osuus kaikista mahdollisista mikrotiloista. Esim. makrotilan 4 todennäköisyys, P(X=4) saadaan laskemalla 3/(6^3) = 0.0139, sillä sen totetuttaa 3 mikrotilaa 6^3 = 216 mahdollisesta. Todennäköisyydet plotattuna:
Huomataan, että satunnaimuuttujan arvot 10 ja 11 ovat muita todennäköisimpiä.
--miika.p 16. joulukuuta 2005 kello 22:19:15 (EET)
Kysymys: Koska kerran entropia on jonkinlainen mitta, niin mihin sitä mittaa käytetään? Mihin siitä on hyötyä? Missä se auttaa?
Kysymys: Miten mikrotila/makrotila tulkinta liittyy lopulta lämpötilaan ja sen muutokseen?
Entropia ja "maailmantila"
Ennen kuin kysytään mitä hyötyä entropiasta on, niin kannattaisi varmaan vastata kysymykseen mitä entropia on? Voidaan toki sanoa, että se on "epäjärjestystä" mutta mitä on epäjärjestys? Miten se määritellään? Oma arvaukseni (tai mihin tuo noppa esimerkki näyttäisi hieman johdattelevan) olisi se, että entropia on sellainen maailmantila, jossa kaikki seuraavat makrotilat ovat jokseenkin yhtätodennäköisiä (sattumanvaraisia), kun taas 'järjestäytynyt' maailmantila olisi sellainen, jossa jotkin tietyt makrotilat (kuten yllä olevan esimerkin 10 ja 11) ovat huomattavasti muita tiloja todennäköisempiä.
Jos yritetään (abstraktilla tasolla) yhdistää tätä käsitettä fysikaaliseen maailmaan, niin esim. kivessä on hyvin vähän entropiaa, koska kiven tila sekunnin päästä on hyvin samankaltainen kuin nyt ja vastaavasti kaasuissa entropia on hyvin suurta, koska ne (useimmiten) ovat jatkuvasti liikkeessä ja sekoittuvat keskenään niin, että tulevaa tilaa on hyvin vaikea ennustaa. Tässä vaiheessa kannattaa kuitenkin huomata, että kiven tai kaasun tulevan tilan ennustaminen on prosessi joka tapahtuu meidän aivoissamme - ei matemaattinen malli fysiikan sattumanvaraisuudesta. Koska fysikaalista maailmaa ei voida märitellä formaalisti ei sillä myöskään ole (yllä olevan noppa esimerkin tapaisia) makrotiloja. Ja jos ei ole makrotiloja niin ei tietysti myöskään voida verrata kahta makrotilaa toisiinsa ja näin ollen entropian matemaattista mallia ei voida soveltaa fysikaalisessa maailmassa (tai ainakan minä en ymmärrä miten tuo voitaisiin tehdä).
Nyt kun mieti asiaa uudelleen, niin kognitiotieteen kannalta kai mielenkiintoisinta tässä on entropian käsite informaation kannalta, ja tässä mielessä en ole varma onko tästä fysikaalisen maailman entropian käsitteen ongelmallisuuden pohtimisesta niinkään paljon hyötyä...? Informaatiota kai voidaan (käytännössä) ajatellaa aina formaalina systeeminä?
- Jussi 19. joulukuuta 2005 kello 16:48:08 (EET)
Epäjärjestys ei ehkä olekkaan oikea sana, sillä nimenomaan kuten mainittu, sitä on vaikea määritellä. Miten olisi energian jakautumisen tasaisuus? Suuri entropia = tasaisesti jakautunut energia. Mielestäni ton aikaperspektiivin tuominen mukaan ei ole välttämätöntä. Eikös yhden tilan entropia voida määritellä tiettynä hetkenä. Se on tietenkin idealisaatio, eikä entropian käsitteellä olisi mitään virkaa, jos systeemi ei voisi muuttua. Lisäksi entropiaahan usein käsitellään juuri muutoksen mittana.
Sanoisin että kiven pieni entropia ei tarkoita prospektiivisesti epätodennäköistä muutosta. Ennemminkin ajattelisin jotenkin näin: pysäytetään fysikaalinen aika ja tarkastellaan tilannetta kaikessa rauhassa. Oletetaan, että tarkasteltavana systeeminä on kivi, ja sitä ympäröivä kuutio, öö, ilmaa. (ja systeemi on suljettu). Nyt tämän systeemin mahdollisista mikrotiloista = hiukkasten jakaumista, ovat ne jotka tuottavat kiven, vain äärimmäisen pieni joukko. Mutta, jos tämä on näin, niin miten sitten pitäisi kutsua sitä Jussin kuvaamaa ominaisuutta, että kiinteän aineen seuraavan tilan ennustaminen on huomattavasti helpompaa kuin kaasun?
Mutta mitä tarkoittaa, että fysikaalista maailmaa ei voida määrittää formaalisti? itseasiassa systeemin makrotilat määritellään termodynamiikassa ominaisuuksina, kuten tilavuus, paine, ja lämpötila, joten tässä mielessä niillä on kyllä merkitys.
--miika.p 20. joulukuuta 2005 kello 14:18:54 (EET)
Äh, vittu. olen sekoittanut tuolla aiemmin makrotilat ja mikrotilat (pitäis olla korjattu) ja nyt alkaa sekoo pää... Jep, eli siis (tilavuus, paine, ym.) ovat fysikaalisen maailman makrotiloja. Mitä minä aiemmin hain takaa oli se, että meillä ei koskaan voi olla täydellistä esitystä fysikkalisen maailman mikrotiloista, koska meillä ei ole olemassa täydellistä mallia fysikaalisesta maailmasta.
Tässä ongelmaksi näyttäisi muodostuvan se, että miten systeemin makrotilat (joiden siis oletetaan kertovan jotain oleellista systeemin mikrotilasta) määritellään. Ne kai ovat täysin sopimuksen varaisia? Ja entropia lasketaan siis aina makrotilasta (tai sen muutoksesta), mutta ei koskaan mikrotilasta?
--Jussi 20. joulukuuta 2005 kello 20:43:27 (EET)
Meta-riita
I: (loppukaneettina) :)
I: No joo, et juuri maininnut siitä itse asiasta, fysikaalisesta entropiasta. - - -
J: No eikö toi analogia sitte päde fysikaalisessa entropiassa? Syytän sit sua mun syyttämisestä, koska en hyväksy sitä. Iha vitu tyhmää tämmöne protestointi. Mä kirjotin tänne JOTAIN. Kirjotin mitä kirjotin. Homman nimenä EI OLE kirjoittaa tänne arvotuksia siitä, mitä kirjoitettiin ja mitä ei kirjoitettu, vaan homman nimenä on kirjoittaa tänne itse substanssista. Meta: Ja tää on sit tyypillisesti ilman hymiöitä, mutta ihan yhtä kevyttä silti. Eihän tää muuten olis syyttämistä, jota nyt alleviivamisen alleviivamisen uhalla tässä alleviivaan...
... Oppiminen on itsekäs prosessi. Oppimispäiväkirjan kirjoittaminen myös. (Mitä järkee olis lukea toisten oppimispäiväkirjoja?) Luennolla kysyminen on itsekästä (pahimmillaan). Wikiin ei kirjoiteta valmista seksiä, vaan kirjotetaan - kohti jotain emergeettistä päämäärää.
I: - - - Esitelmääni olisi pitänyt pohjustaa ainakin parin tunnin fysiikan ja kemian perusteilla, ennen kuin olisi mennyt perille asia. Nyt yritin välillä suoraan selittää jotain, sitten taas jouduin palaamaan lähtöpisteeseen ja selittämään perusteita, lopulta kaikki olivat vissiin hämmennyksissä. No, tärkein pointti seuraavassa.
Entropia vaikuttaa myös reaktioiden tapahtumiseen, pelkkä energeettinen tarkastelu ei riitä. (Energeettisellä tarkastelulla tarkoitetaan energian kuljeskelun tarkastelua :ko???). Eli, emme voi tietää tapahtuuko jokin tietty reaktio spontaanisti, vaikka tietäisimme että se vapauttaa kaikenkaikkiaan lämpöä. Esim. puutikun palaessa se luovuttaa energiaa, hajoaa ja sekoituu ilmassa muihin kaasuihin. Entropia lisääntyy.
Jos on kuitenkin niin, että reaktiosta aiheutuisi entropian vähenemistä, se saatta toteuttaa kaikille lukiokemman/fysiikan taitaville epäintuitiivisen tempun. Eli, jos puutikun palaessa entropia vähenisi riittävästi, prosessi muuttuisi epäspontaaniksi (joka se oikeasti on kunhan annetaan tietty alkulämpö, kokonaisuudessaan puutikku kuitenkin luovuttaa energiaa).
Energiamäärä on suljetussa systeemissä aina vakio (termodynamiikan 1. pääsääntö: se muuttaa vain olomuotoaan), entropia sen sijaan keskimäärin aina lisääntyy. Siten energiamäärä (esim. lämpö ja molekyylien liike) ja entropia (molekyylien/hiukkasten/?
- Ilmari --JH 16. joulukuuta 2005 kello 21:10:40 (EET)
Fysikaalinen entropia
(Ja älkää pliis enää heittäkö tätä minkään alle pilkottuna vaan antakaa olla ihan oma selvennyksensä (?), kaivoin tämän "puhtaana" historiasta.)
No, tärkein pointti on se, että entropia vaikuttaa myös reaktioiden tapahtumiseen, pelkkä energeettinen tarkastelu ei riitä. Eli, emme voi tietää tapahtuuko jokin tietty reaktio spontaanisti, vaikka tietäisimme että se vapauttaa kaikenkaikkiaan lämpöä. Jos on kuitenkin niin, että reaktiosta aiheutuu entropian vähenemistä, se saatta toteuttaa kaikille lukiokemman/fysiikan taitaville epäintuitiivisen tempun. Eli, jos puutikun palaessa entropia vähenisi riittävästi, prosessi muuttuisi epäspontaaniksi (joka se oikeasti on kunhan annetaan tietty alkulämpö, kokonaisuudessaan puutikku kuitenkin luovuttaa energiaa). Näinhän ei puutikun tapauksessa kuitenkaan ole: se hajoaa ja sekoituu ilmassa muihin kaasuihin.
Energiamäärä on suljetussa systeemissä aina vakio (termodynamiikan 1. pääsääntö: se muuttaa vain olomuotoaan), entropia sensijaan keskimäärin aina lisääntyy.
Energiamäärä on vakio suljetussa systeemissä (systeemissä joka ei vaihda ympäristönsä kanssa materiaa tai energiaa). Toisin sanoen, jos suljetussa systeemissä on Kalle (hänen mukanaan bakteereita), oletettavasti ilmaa, suklaapatukka ja pinssintekolaite, Kalle voi vähentää entropiaa tekemällä pinssejä mutta tällöin hänen täytyy hyödyntää suklaapatukastaan saamaansa kemiallista energiaa. Kemiallinen energia kuluu vain vertauskuvallisesti, pinssintekolaitteesta syntyy ääntä ja lämpöä (lopputuotteena), joten energia vain muuttaa muotoaan. Yleensä kaikki energia vapautuu pohjimmiltaan lämpönä (erilaisten välivaiheitten kautta, äänikin ilmeisesti vaikuttaa ympäröiviin rakenteisiin lopulta lämpönä), vaikka energialla onkin kyky tehdä työtä.
Pinssintekeminen suljetussa systeemissä olisi kuitenkin vain hetkellistä entropianvähentämistä. Kasasta pinssitarpeita (kuvapohjia, neuloja ja taustalevyjä, mitä pinssiin nyt tarvitaankaan...) saataisiin kasa pinssejä. Annetaampa systeemin olla sellaisenaan tuhat vuotta. Pekka on hajonnut ja muuttunut pääosin kaasumaiseen muotoon sekoittuen ilmaan. Hyvissä olosuhteissa pinssit olisivat varmasti jäljellä mutta pointti varmaan tuli selväksi. Hetkellinen entropianvähennys on mahdollista mutta keskimäärin entropia lisääntyy ajan kuluessa.
- Ilmari
Entropiasta informaatioteoriassa
Olkoon olemassa lähde, lähteessä tuotetut merkit (vaihtoehtoiset tapaukset; viestit), näillä tietty esiintymistodennäköisyys, ...
Entropia on informaatiolähteen ominaisuus. Se kuvaa lähteen tuottamien viestien satunnaisuuden määrää: mitä täydellisemmällä samanlaisuudella (ja epäjärjestyneemmin) erilliset merkit esiintyvät, sitä suurempi on informaatiolähteen entropia, sitä vaikeampi on tehdä esiintymistodennäköisyyksiin perustuvia oletuksia siitä, mikä merkki saatettaisiin kulloinkin vastaanottaa. Eräs kuvaava termi olisi myös informaatiolähteeseen liittyvä epävarmuus.
Lähteessä tuotetuilla tapauksilla (yksittäisillä merkeillä) on kullakin oma (eri tai sama) toteutumistodennäköisyytensä.
Esim. noppalla, joka tuottaa yhtä todennäköisesti kunkin silmäluvun, on suuri entropia.
--JH 16. joulukuuta 2005 kello 03:16:18 (EET)
Esimerkki - nopan painottamisen vaikutus sen entropiaan
Intuitiviisesti on selvää, että painottamattoman nopan tulokseen liittyy enemmän epävarmuuta, kuin painotettuun noppaan. Lasketaan entropia nopalle, jonka sivua 6 painotetaan asteittain niin, että sivut 1-5 säilyvät toisiinsa nähden yhtä todennäköisinä.
Entropia on suurimmillaan painottamattomassa tapauksessa (punainen katkoviiva), kaikki sivut ovat yhtä todennäköisiä (1/6), joten epävarmuus on suurinta. Kuvan vasemmassa laidassa P(X=6) on nolla, ja vastaavasti minkä tahansa muun sivun todennäköisyys on 1/5. Tällöin epävarmuus on pienmpi, ja vastaavasti havainnon tuoma informaation lisäys on myös pienempi. Tilanne kuvan oikeassa laidassa vastaa sitä, että tiedämme heittävämme luvun 6 joka kerta. Entropia = Epävarmuus = Informaation lisäys on nolla, sillä tiedämme valmiiksi, mitä tulee tapahtumaan.
Ja vielä kommenttina Anskun kysymykseen, ilmeisesti voimme käyttää informaation käsitettä kuvaamaan myös lähdettä. Suuren entropian omaava lähde tuottaa enemmän informaatiota.
--miika.p 16. joulukuuta 2005 kello 23:20:40 (EET)
Linkkejä
Entropia fi.wikipediassa. Aloita tästä.
Information Theory, Inference, and Learning Algorithms "THE MacKay book". Erityisesti kappale 2, Probability, Entropy, and Inference.
Termodynamiikan perusteet. Luentomateriaalia Oulusta.
http://mats.gmd.de/~skaley/vpa/entropy/entropy.html linkki, joka ei toiminut lukupiirissä käytetyllä tietokoneella: mukava ja havainnollinen entropiasofta.
