Vakiintunut
Väite nojaa pitkään vakiintuneeseen kirjallisuuteen tai useisiin toisiaan tukeviin lähteisiin.
Rajattava väite
Aihetta voi kuvata näin, mutta täsmällinen tulkinta vaatii rajauksen tai kontekstin.
Avoin tai kiistanalainen
Kirjallisuudessa on tässä kohdassa aidosti eriäviä tulkintoja tai avoimia kysymyksiä.
Rajattava väite
1. Mitä malli oikeasti tekee, kun se tuottaa tekstiä?
Yleisessä keskustelussa esiintyvä väite
“Malli laskee seuraavien saneiden todennäköisyydet, arpoo yhden ja toistaa prosessin.”
Tieteellisesti tarkka muotoilu
Malli laskee seuraavalle tokenille todennäköisyysjakauman, mutta lopullinen valinta riippuu
dekoodausalgoritmista. Jos käytössä on ahne dekoodaus, valinta voi olla täysin
deterministinen; jos käytössä on top-k- tai top-p-otanta, valinta sisältää tarkoituksellista satunnaisuutta.
💬 Maalikolle
Malli ei “heitä noppaa” samalla tavalla joka tilanteessa. Se tekee ensin listan siitä,
mitkä jatkot ovat uskottavia. Sen jälkeen toinen sääntö päättää, valitaanko aina
paras jatko vai sallitaanko joukkoon hieman vaihtelua.
🎓 Oppineelle
Autoregressiivinen malli tuottaa jokaisessa askeleessa logitit z, joista muodostetaan
jakauma yleensä softmaxilla.
Varsinainen näytepolitiikka voi olla esimerkiksi greedy, beam, top-k, top-p tai niiden muunnos.
Siksi “malli arpoo yhden” on arkkitehtuurin tasolla liian epätarkka kuvaus.
Kaava
$$
\begin{aligned}
p(x_t = i \mid x_{<t}) &= \frac{e^{z_i / T}}{\sum_j e^{z_j / T}} \\
\text{Greedy: } \hat{x}_t &= \arg\max_i p(x_t=i \mid x_{<t}) \\
\text{Top-}p\text{: } & \text{valitaan pienin joukko } V \text{ siten, että } \sum_{i \in V} p_i \ge p, \\
& \text{ja arvotaan vain joukosta } V.
\end{aligned}
$$
Maalikon matematiikka: malli antaa jokaiselle mahdolliselle jatkolle pistemäärän, muuttaa ne
“prosenttien kaltaiseksi” jakaumaksi ja valitsee siitä jatkon sen mukaan, millainen
vastaustyyli on asetettu.
Tarkennus tokeneista:
LLM ei yleensä käsittele “sanoja” sellaisinaan, vaan tokeneita, jotka voivat olla kokonaisia sanoja,
sanan osia tai välimerkkejä. Siksi suomenkielessä sana “sane” on käyttökelpoinen yleistermi,
mutta teknisesti tarkin termi tässä yhteydessä on tokeni.
Keskeiset lähteet
- Holtzman et al. (ICLR 2020), The Curious Case of Neural Text Degeneration peer-reviewed
- Finlayson et al. (ICLR 2024), Closing the Curious Case of Neural Text Degeneration peer-reviewed
- Sennrich et al. (ACL 2016), Neural Machine Translation of Rare Words with Subword Units peer-reviewed
- Jia et al. (2025), A Comprehensive Survey of Discrete Tokenizers survey / preprint
Rajattava väite
2. Neuroverkot ja biologinen mallintaminen
Yleisessä keskustelussa esiintyvä väite
“Keinotekoisia neuroverkkoja ei ole tarkoitettu mallintamaan aivoja.”
Tieteellisesti tarkka muotoilu
Historiallisesti varhaiset neuroverkot esiteltiin nimenomaan biologisesta hermostosta inspiroituina
laskennallisina malleina. Silti nykyiset LLM-arkkitehtuurit eivät ole biologisesti uskollisia aivosimulaatioita,
vaan insinööriratkaisuja, joiden tavoite on tehokas oppiminen ja sekvenssien mallinnus.
💬 Maalikolle
Sekä “kyllä” että “ei” on tässä liian lyhyt vastaus. Nimi ja historiallinen tausta tulevat
aivoista, mutta nykyiset kielimallit eivät yritä jäljitellä oikeita aivoja solutasolla.
🎓 Oppineelle
McCulloch–Pitts ja Rosenblatt muotoilivat työnsä suoraan hermotoiminnan laskennallisen mallinnuksen
kielellä. Transformer taas esitellään arkkitehtuurina, joka perustuu huomioon
(self-attention)
eikä pyri neurobiologiseen realismiin.
Kaava
$$
\mathrm{Attention}(Q,K,V) = \mathrm{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V
$$
Maalikon matematiikka: jokainen tokeni vertailee itseään muihin tokeneihin ja laskee,
mihin kohtiin pitää kiinnittää eniten huomiota ennen seuraavan tokenin ennustamista.
Keskeiset lähteet
Avoin tai kiistanalainen
3. Päättelevätkö kielimallit?
Yleisessä keskustelussa esiintyvä väite
“Laajat kielimallit eivät päättele.”
Tieteellisesti tarkka muotoilu
Turvallisin lähdevahvistettu muoto on tämä: LLM:t kykenevät monissa tehtävissä päättelyn
kaltaiseen tai käytännössä päättelyksi luokiteltavaan suoritukseen, mutta siitä ei seuraa, että
kysymys “päättelykö tämä todella on?” olisi tieteellisesti ratkaistu. Tutkimuskirjallisuus jakautuu
tässä ainakin kahteen vakavasti otettavaan leiriin.
💬 Maalikolle
Jos kysyt: “osaako malli ratkaista päättelytehtäviä?”, vastaus on usein kyllä.
Jos kysyt: “onko tämä samaa kuin ihmisen looginen päättely?”, siihen tutkimus ei anna
vielä yksimielistä kyllä-vastausta.
🎓 Oppineelle
Chain-of-thought, verifierit, haku ja test-time compute
parantavat ratkaisuja selvästi monissa matemaattisissa ja ohjelmointitehtävissä.
Tämä osoittaa funktionaalista ongelmanratkaisukykyä. Sen sijaan metafyysisempi tai
kognitiivinen tulkinta “aito reasoning” on edelleen auki.
Näkökulma A — käytännön tietojenkäsittely
Tästä näkökulmasta on perusteltua sanoa, että mallit päättelyä tekevät, jos ne käyttävät
väliaskelia, verifiointia, hakua, itsekorjausta ja lisälaskentaa ratkaistakseen tehtäviä aiempaa paremmin.
Tällä tavalla katsottuna esimerkiksi Chain-of-Thought, inference-time scaling ja RL-vahvistetut
reasoning-mallit ovat vahvaa näyttöä parantuneesta reasoning-suoriutumisesta ja
ongelmanratkaisukyvystä benchmarkeissa.
Näkökulma B — tiukka tulkinta
Tästä näkökulmasta benchmark-menestys ei yksin riitä osoittamaan yleistä loogista päättelyä.
Osa uusesta kirjallisuudesta väittää, että “reasoning-model” -menestystä voi liioitella, ja että
kyvykkyydet murtuvat ongelman rakenteen tai kompleksisuuden kasvaessa. Tämän vuoksi
kategorinen väite “mallit päättävät” on yhtä epäsiisti kuin kategorinen väite “mallit eivät päättele”.
Kaava
$$
y^* = \arg\max_{y \in \mathcal{Y}} \; R(x,y)
$$
Maalikon matematiikka: malli voi tuottaa monta ratkaisuehdotusta, tarkistaa niitä jonkin
pisteytyksen avulla ja valita parhaan. Tämä on enemmän kuin yksi suora “seuraava sana” -polku,
vaikka kaikki tapahtuukin edelleen neuroverkon sisällä.
Tiivis johtopäätös tähän kohtaan:
“Nykyiset LLM:t ja erityisesti reasoning-mallit osoittavat mitattavaa päättelytehtävien ratkaisukykyä,
mutta kirjallisuus ei vielä tue yksiselitteistä väitettä siitä, että keskustelu päättelyn luonteesta olisi ratkaistu.”
Keskeiset lähteet
- Wei et al. (NeurIPS 2022), Chain-of-Thought Prompting Elicits Reasoning in Large Language Models peer-reviewed
- Snell et al. (ICLR 2025), Scaling LLM Test-Time Compute Optimally Can Be More Effective than Scaling Parameters peer-reviewed
- Guo et al. / DeepSeek-AI (Nature 2025), DeepSeek-R1 incentivizes reasoning in LLMs through reinforcement learning peer-reviewed / Nature
- Shojaee et al. (2025), The Illusion of Thinking research report
- Lawsen et al. (2025), Comment on The Illusion of Thinking preprint
Vakiintunut
4. Miksi lineaarinen regressio on huono analogia LLM:lle?
Yleisessä keskustelussa esiintyvä väite
Lineaarista regressiota käytetään havainnollistamaan funktion approksimaatiota.
Tieteellisesti tarkka muotoilu
Lineaarinen regressio voi havainnollistaa ajatusta “malli sovittaa funktiota dataan”, mutta se
ei kuvaa uskollisesti LLM:n laskennallista ilmaisuvoimaa. Syvä verkko on epälineaarinen,
monikerroksinen ja kontekstiriippuvainen järjestelmä, joka käyttää attention-mekanismia eikä vain
yhtä suoraa kaavaa y = mx + c.
💬 Maalikolle
Lineaarinen regressio on hyvä leluauto. LLM on kilpa-auto. Molemmissa on pyörät, mutta niillä
ei kannata selittää toisiaan liian pitkälle.
🎓 Oppineelle
Universal approximation -tulos ei tarkoita, että “verkko on vain lineaarinen regressio suuremmassa mittakaavassa”.
Ratkaiseva ero tulee syvyydestä, epälineaarisista aktivaatioista, residual-rakenteista, normalisoinnista,
attentionista ja massiivisesta parametrisaatiosta.
Kaava
$$
\begin{aligned}
\text{Lineaarinen regressio: } & y = mx + c \\
\text{Neuroverkko: } & f_\theta(x) = W_L \,\sigma\!\left(W_{L-1}\,\sigma(\cdots \sigma(W_1 x + b_1)\cdots)+b_{L-1}\right)+b_L
\end{aligned}
$$
Maalikon matematiikka: lineaarinen regressio vetää yhden suoran. Neuroverkko tekee monta
muunnosta peräkkäin, ja jokainen kerros voi muokata dataa uudella tavalla.
Keskeiset lähteet
Rajattava väite
5. Onko LLM “musta laatikko” vai ei?
Yleisessä keskustelussa esiintyvä väite
“Laajat kielimallit eivät ole mustia laatikoita.”
Tieteellisesti tarkka muotoilu
Rakenteen ja optimoinnin tasolla LLM ei ole mystinen: tiedämme, että se koostuu esimerkiksi
lineaarikuvauksista, attentionista, MLP-lohkoista ja gradienttioptimoinnista. Mutta
sisäisten representaatioiden semanttinen tulkinta on edelleen osittain musta laatikko.
Siksi tarkin muoto on: “LLM ei ole laskennallisesti tuntematon, mutta sen sisäinen merkitysrakenne
ei ole vielä läpinäkyvä.”
💬 Maalikolle
Tiedämme hyvin, mistä osista kone on tehty. Emme vielä tiedä tarpeeksi hyvin, miksi juuri nämä
sisäiset tilat ja piirteet tuottavat juuri tämän vastauksen.
🎓 Oppineelle
Mekanistisen tulkittavuuden tutkimus on olemassa juuri siksi, että paikallinen
kausaalinen selitys yksittäiselle ulostulolle on vaikea. Kirjallisuus kuvaa ongelmaa
termeillä kuten polysemanttisuus ja
superpositio.
Tiivis johtopäätös tähän kohtaan:
“LLM:t ovat osittain avattuja ja osittain edelleen vaikeasti tulkittavia järjestelmiä; siksi pelkkä
väite ‘ei musta laatikko’ on liian vahva.”
Keskeiset lähteet
- Zhao et al. (ACM Computing Surveys 2024), Explainability for Large Language Models: A Survey peer-reviewed survey
- Elhage et al. (2022), Toy Models of Superposition preprint / foundational
- Bricken et al. (2023), Towards Monosemanticity lab research
- Palikhe et al. (2025), Towards Transparent AI: A Survey on Explainable Large Language Models survey / preprint
Syväluotaus
Miksi mallin sisäistä toimintaa on lähes mahdoton tulkita?
Ihmiset mieltävät aivot tai tietokoneohjelmat usein lokeroina: "Täällä sijaitsee tieto Ranskan pääkaupungista" tai "Tämä koodirivi tunnistaa kissan". Nykyaikaisissa neuroverkoissa näin ei kuitenkaan ole. Sisältö on hajautettua, monimerkityksistä ja matemaattisesti sotkeutunutta.
1. Polysemanttisuus (Monimerkityksisyys)
Yksi yksittäinen "neuroni" (dimensio vektorissa) ei vastaa yhtä käsitettä. Sama neuroni saattaa aktivoitua, kun malli käsittelee koodia, puhuu kissoista tai kääntää ranskaa. Vastaavasti yksi käsite (esim. "kissa") on ripoteltu tuhansien eri neuronien aktivaatiokuvioiksi (superpositio).
2. Epälineaarisuus ja Mittakaava
Malli kertoo valtavia matriiseja keskenään ja ajaa tulokset epälineaaristen funktioiden (kuten GELU) läpi satoja kertoja. Koska funktiot leikkaavat osan tiedosta pois ja vääristävät loput, on matemaattisesti äärimmäisen vaikeaa laskea prosessia taaksepäin selvittääkseen, mikä alkuperäinen syy johti tiettyyn tulosteeseen.
1. Käsitteiden hajautuminen vs. Ihmisen oletus
2. Matemaattinen kaaos (Miksi laatikkoa ei voi "peruuttaa")
Ihmisen lukema teksti muutetaan valtaviksi lukutaulukoiksi (vektoreiksi), joissa on usein yli 4000 ulottuvuutta per sana. Tämä data kerrotaan satojen peräkkäisten painoarvomatriisien kanssa miljardeja kertoja.
Rajattava väite
6. Rajoittaako malleja data vai laskenta?
Yleisessä keskustelussa esiintyvä väite
“Nykyiset mallit ovat perustavanlaatuisesti rajoittuneita lähdemateriaalin takia, eivät laskentatehon.”
Tieteellisesti tarkka muotoilu
Nykykirjallisuuden perusteella sekä data että laskenta rajoittavat. Lisäksi mallikoko,
arkkitehtuuri, post-training, data-annotaatio ja inference-time compute vaikuttavat kaikki tulokseen.
Siksi vastakkainasettelu “data eikä compute” on liian jyrkkä.
💬 Maalikolle
Hyvä ruoka ei auta ilman hellaa, eikä iso hella auta ilman ruokaa. Sama pätee LLM:iin:
tarvitaan sekä laadukasta dataa että paljon laskentaa, ja lisäksi oikea resepti.
🎓 Oppineelle
Kaplanin skaalauslait ja Chinchilla-tulokset tukevat vahvasti compute–data-yhteispeliä.
Mallin luhistuminen on todellinen kirjallisuudessa dokumentoitu ilmiö tietyissä rekursiivisen
synteettisen datan asetelmissa, mutta uudempi kirjallisuus myös varoittaa yleistämästä sitä
liian katastrofaaliseksi ilman tarkkaa määritelmää ja realistisia oletuksia.
Kaava
$$
L(C) \approx a C^{-\alpha} + b
$$
Maalikon matematiikka: kun laskentaa C lisätään, häviö L yleensä pienenee ennustettavalla tavalla —
mutta ei loputtomasti eikä riippumatta datasta.
Varma osa
Datan laatu, määrä ja monipuolisuus ovat aidosti ratkaisevia. Myös synteettinen data voi väärin käytettynä
aiheuttaa jakaumien kaventumista tai muita ongelmia.
Mistä pitää puhua varovasti
“Mallien luhistuminen on jo havaittavissa kaikkialla” on liian vahva väite. Parempi on sanoa:
ilmiö on dokumentoitu, sen käytännön laajuudesta keskustellaan, ja termin ympärillä on myös
määritelmäkiistaa.
Keskeiset lähteet
- Kaplan et al. (2020), Scaling Laws for Neural Language Models foundational
- Hoffmann et al. (2022), Training Compute-Optimal Large Language Models peer-reviewed / NeurIPS
- Shumailov et al. (Nature 2024), AI Models Collapse When Trained on Recursively Generated Data peer-reviewed
- Schaeffer et al. (2025), Position: Model Collapse Does Not Mean What You Think position / openreview
- Snell et al. (ICLR 2025), Scaling LLM Test-Time Compute Optimally peer-reviewed
Vakiintunut, mutta vaatii tarkennuksen
7. Tietoisuus ja reaaliaikainen oppiminen
Yleisessä keskustelussa esiintyvä väite
“Nykyisistä malleista ei ole näyttöä, että ne olisivat tietoisia, eikä tavallinen chat kouluta mallia reaaliajassa.”
Tieteellisesti tarkka muotoilu
Tämä on pääosin hyvä väite, kunhan sanat valitaan tarkasti. Nykykirjallisuudessa ei ole vahvaa näyttöä siitä,
että nykyiset LLM-järjestelmät olisivat tietoisia. Tavallisessa käyttötilanteessa mallin pysyvät painot eivät
yleensä päivity keskustelun aikana. Samalla on syytä lisätä yksi moderni tarkennus:
malli voi mukautua kontekstin sisällä ilman pysyviä painopäivityksiä.
💬 Maalikolle
Tavallinen keskustelu ei normaalisti opeta mallia pysyvästi. Se voi kuitenkin käyttää keskustelun
aiempia viestejä tilapäisenä muistina ja siksi näyttää siltä kuin se “oppisi” sinun tyylistäsi
saman session aikana.
🎓 Oppineelle
Koulutuksessa päivitetään parametreja gradientilla; inferenssissä parametrit pidetään kiinteinä.
Uudempi ICL-kirjallisuus kuitenkin osoittaa, että malli voi tehdä kontekstin pohjalta tilapäistä
tehtävämukautumista ilman pysyvää weight-updatea. Siksi “ei opi reaaliajassa” on tosi vain, jos
puhutaan pysyvästä parametrien päivittymisestä.
Kaava
$$
\begin{aligned}
& \theta_{t+1} = \theta_t - \eta \nabla_\theta \mathcal{L}(\theta_t) \\
& \text{Training: } \theta \text{ muuttuu} \\
& \text{Inference: } \theta \text{ pidetään kiinteänä}
\end{aligned}
$$
Maalikon matematiikka: koulutuksessa mallin “nuppeja” säädetään. Tavallisessa käytössä niitä ei
yleensä säädetä; malli vain käyttää niitä sekä keskustelussa näkyvää tekstiä.
Tietoisuus
Vahvin varovainen muoto on: “Nykyisistä AI-järjestelmistä ei ole vakuuttavaa tieteellistä näyttöä
tietoisuuden puolesta; aiheesta on kehitteillä arviointikehikkoja, mutta ei hyväksyttyä testiä.”
Keskustelun aikainen ‘oppiminen’
Nykyinen tutkimus erottaa toisistaan pysyvän oppimisen, hienosäädön, ja kontekstissa tapahtuvan
adaptoitumisen. Käyttäjän kannalta tämä näkyy niin, että malli voi tuntua oppivan, vaikka pysyvät
painot eivät muutu.
Keskeiset lähteet
- Butlin et al. (Trends in Cognitive Sciences 2025), Identifying Indicators of Consciousness in AI Systems peer-reviewed
- Butlin et al. (2023), Consciousness in Artificial Intelligence preprint / influential
- Bengio (Science 2025), Illusions of AI Consciousness peer-reviewed commentary
- Goodfellow, Bengio & Courville (2016), Deep Learning textbook
- Akyürek (MIT thesis 2025), Inference-Time Learning Algorithms of Language Models thesis
- Dherin et al. (2025), Learning Without Training: The Implicit Dynamics of In-Context Learning preprint
- Zhang et al. (ACL 2025), Many-Shot In-Context Learning peer-reviewed