Příklad #14 — Attention: na co se model dívá

Když model zpracovává slovo, „rozhlíží se“ po ostatních slovech ve větě a každému dá váhu pozornosti — jak moc je pro něj důležité. Tahle myšlenka (attention) je srdcem dnešních modelů. Klikni na slovo a uvidíš, kam se dívá. When a model processes a word, it "looks around" at the other words in the sentence and gives each an attention weight — how important it is to it. This idea (attention) is at the heart of today's models. Click a word and see where it looks.

Co a jak?What & how?

Co to jeWhat it is Attention (pozornost): když model zpracovává slovo, „rozhlíží se“ po ostatních slovech ve větě a každému dá váhu — jak moc je pro něj důležité. Z nejdůležitějších slov si pak poskládá, co slovo v téhle větě znamená.Attention: when the model processes a word, it “looks around” at the other words in the sentence and gives each a weight — how important it is to it. From the most important ones it then works out what the word means in this sentence.

Co zkusitWhat to try Vyber jednu z dvojic vět a přepínej mezi nimi. Věty se liší jen koncem, ale zvýrazněné slovo se najednou dívá jinam — „byla“ na kočku, „byl“ na stůl. Klikni i na jiná slova; dole je celá mapa pozornosti (každý řádek dává 100 %).Pick one of the sentence pairs and switch between them. The sentences differ only at the end, yet the highlighted word suddenly looks somewhere else — “it” at the cat, or at the table. Click other words too; below is the full attention map (each row adds up to 100 %).

Proč je to důležitéWhy it matters Přesně takhle pracuje každá vrstva dnešních transformerů: každé slovo si přepočítá svůj význam podle toho, na co se dívá. Díky tomu modely chápou kontext — kdo je „on“, o který „zámek“ jde, ke kterému slovu patří tvar slovesa.This is exactly how every layer of today’s transformers works: each word recomputes its meaning from what it looks at. It’s how models grasp context — who “it” is, which “bank” is meant, which word a verb has to agree with.

1 dotaz (co hledám?)query (what am I looking for?) → 2 klíče ostatních slovkeys of the other words → 3 skóre shodymatch scores → 4 softmax = váhy (100 %)softmax = weights (100 %) → 5 nový význam slovathe word's new meaning

1 · dvojice vět — liší se jen malou změnou, a pozornost přeskočí1 · sentence pairs — a small change, and attention jumps

věta (nebo napiš vlastní)sentence (or type your own)

2 · mapa pozornosti — řádek = „odkud“, sloupec = „kam se dívá“2 · attention map — row = "from", column = "looks at"

Jak číst mapu? Každý řádek je jedno slovo („odkud se dívám“), sloupce jsou slova, na která se dívá. Číslo v buňce je % pozornosti a každý řádek dává dohromady 100 %. Klikni na slovo nahoře nebo na řádek a zvýrazní se.
Poctivě: u připravených vět jsou vzory pozornosti nastavené ručně podle vztahů, které se skutečné modely prokazatelně učí (k čemu odkazuje zájmeno, které slovo určuje význam, s čím se shoduje sloveso). Skutečný model je nemá předepsané — spočítá je z vektorů dotazů a klíčů naučených z obrovského množství textu. U vlastní věty žádné naučené vztahy nemáme, takže ukazujeme jen hrubý odhad podle blízkosti slov. How to read the map? Each row is one word ("where I look from"), the columns are the words it looks at. The number in a cell is the % of attention and each row adds up to 100 %. Click a word at the top or a row to highlight it.
Honestly: for the prepared sentences the attention patterns are set by hand to match relations that real models demonstrably learn (what a pronoun refers to, which word sets the meaning, what a verb agrees with). A real model has nothing prescribed — it computes them from query and key vectors learned from a huge amount of text. For your own sentence we have no learned relations, so we only show a rough guess based on how close the words are.

Jak attention fungujeHow attention works

Každé slovo vyšle „dotaz“ (co hledám?) a každé nabídne „klíč“ (co nabízím?). Model spočítá, jak dotaz sedí ke klíči — čím líp, tím větší pozornost. Váhy se přepočítají tak, aby dohromady daly 100 %, a slovo si pak poskládá svůj nový význam z těch, kterým věnovalo nejvíc pozornosti. Dotazy a klíče jsou jen vektory čísel (jako embeddingy z příkladu 13) — a to, jak je z embeddingu spočítat, se model naučí gradientním sestupem (příklad 7). Each word sends a "query" (what am I looking for?) and each offers a "key" (what do I offer?). The model computes how well a query matches a key — the better, the more attention. The weights are normalized to add up to 100 %, and the word then assembles its new meaning from those it paid the most attention to. Queries and keys are just vectors of numbers (like the embeddings in example 13) — and how to compute them from an embedding is something the model learns by gradient descent (example 7).

Dotaz, klíč, hodnotaQuery, key, value

Q (co hledám), K (co nabízím), V (co předám). Pozornost = jak dotaz odpovídá klíčům (skalární součin vektorů). To rozhoduje, kolik z které „hodnoty“ si slovo vezme. Q (what I'm looking for), K (what I offer), V (what I pass on). Attention = how well the query fits the keys (a dot product of vectors). That decides how much of each "value" a word takes.

Váhy dávají 100 %Weights add up to 100 %

Skóre se přes softmax převede na podíly, které dohromady tvoří jednotku. Slovo tak rozdělí svou pozornost mezi ostatní — většinou ji ale soustředí na pár slov, která jsou pro něj klíčová. Softmax turns the scores into proportions that together make one. So a word splits its attention among the others — usually mostly onto the few words that matter to it.

Kontext řeší víceznačnostContext resolves ambiguity

„Zámek“ na kopci s věží je stavba, „zámek“ s klíčem a dveřmi je součástka. Slovo samo nestačí — díky pozornosti k okolí model pozná, který význam platí. V jazyce jde o vztahy mezi slovy. A "bank" by the river is land, a "bank" with money and an account is a company. The word alone isn't enough — thanks to attention to its surroundings the model works out which meaning applies. Language is about the relationships between words.

Víc hlav najednouMany heads at once

Skutečný model má v každé vrstvě desítky „hlav“ pozornosti — každá sleduje jiný vztah: jedna odkazy zájmen, jiná gramatickou shodu, jiná sousední slova. A takových vrstev jsou nad sebou desítky. Tady vidíš jednu hlavu. A real model has dozens of attention "heads" in every layer — each tracks a different relation: one pronoun references, another grammatical agreement, another neighboring words. And dozens of such layers are stacked. Here you see a single head.

Proč je to průlomWhy it's a breakthrough