Od liczenia liter w poemacie do rozmowy z milionami ludzi
1913, PETERSBURG
Matematyk ręcznie liczy litery w poemacie
Rosyjski matematyk Andriej Markow wziął poemat Puszkina „Eugeniusz Oniegin” i policzył na piechotę 20 000 pierwszych liter: jak często po jednej literze pojawia się druga.
🔍Odkrył, że język ma swoją statystykę: po samogłosce znacznie częściej stoi spółgłoska niż druga samogłoska
🎲Wniosek: to, co pojawi się dalej w tekście, da się częściowo przewidzieć z tego, co już było
Dlaczego to ważne:
Ten sposób liczenia - „co zwykle następuje po czym” - matematycy nazywają dziś łańcuchem Markowa. To najstarszy przodek pomysłu, na którym stoją dzisiejsze modele językowe
OKOŁO 1950, USA
Małżeństwo gra w zgadywanie liter
Claude Shannon - matematyk, twórca teorii informacji, czyli nauki o tym, jak mierzyć informację - zasłaniał kartkę z tekstem i odsłaniał ją litera po literze. Zgadującą była często Betty Shannon, matematyczka i prywatnie jego żona.
🙈
„Jaka będzie następna litera?” - pytał przy każdej kolejnej
💡
Wynik: znając początek zdania, człowiek zgaduje zaskakująco trafnie - język jest w dużej mierze przewidywalny
📌 Dokładnie w tę grę - „zgadnij, co będzie dalej” - grają dzisiejsze modele językowe. Tyle że zgadują po „przeczytaniu” ogromnej części internetu, a nie jednej kartki
1954, NOWY JORK
Wielka obietnica: komputer tłumaczem
IBM i naukowcy z uniwersytetu Georgetown pokazali dziennikarzom komputer, który przetłumaczył kilkadziesiąt rosyjskich zdań na angielski. Gazety wieszczyły, że za kilka lat maszyny będą tłumaczyć wszystko.
📏Jak to działało: lingwiści ręcznie wpisywali do komputera słownik i reguły gramatyczne - jedna po drugiej
🧱Problem: język ma za dużo wyjątków. Każda dopisana reguła psuła kilka innych
Zimny prysznic:
W 1966 roku raport amerykańskich ekspertów uznał, że postępu prawie nie widać. Pieniądze na badania obcięto i tłumaczenie maszynowe na długie lata trafiło do zamrażarki
LATA 80. I 90.
Statystyka wraca do gry
Badacze z IBM postawili sprawę na głowie: zamiast wpisywać reguły, dajmy komputerowi górę tekstu i pozwólmy mu samemu policzyć, jakie słowa zwykle występują po jakich - dokładnie w duchu Markowa i Shannona.
🇨🇦
Skąd wziąć tekst do nauki tłumaczenia? Np. z obrad kanadyjskiego parlamentu, publikowanych równolegle po angielsku i francusku
📈
Im więcej tekstu komputer policzył, tym lepiej tłumaczył - bez ani jednej reguły wpisanej ręcznie
📌 Pomysł „nie ucz komputera reguł, daj mu dane i pozwól liczyć” to fundament całego dzisiejszego AI. Słabość: taki system pamiętał tylko kilka ostatnich słów
🧩
Komputer, który zapominał początek zdania
Zanim powstały dzisiejsze modele, komputery czytały tekst słowo po słowie - jak ktoś, kto widzi zdanie przez wąską szczelinę w kartce.
😵Zanim dotarły do końca długiego zdania, gubiły to, co było na początku
🇩🇪Np. tłumacząc z niemieckiego, gdzie czasownik ląduje na samym końcu - model często się gubił i tłumaczył błędnie
PRZEŁOM
A gdyby mieć całe zdanie przed oczami?
Naukowcy wymyślili mechanizm „uwagi” - zamiast czytać przez szczelinę, model widzi całe zdanie naraz i sam zaznacza zakreślaczem, które słowa są teraz ważne.
Efekt:
Nieważne, czy ważne słowo jest zaraz obok, czy 20 słów wcześniej - model potrafi je „zauważyć”
2017, GOOGLE
„Attention Is All You Need”
Naukowcy zadali proste pytanie: skoro sama „uwaga” działa tak dobrze, po co nam w ogóle reszta starego, powolnego mechanizmu? Zostawili samą uwagę. Tak powstał Transformer.
⚡
Praca nad tekstem drastycznie przyspieszyła
🧵
Model dużo lepiej łapał kontekst całych akapitów
📌 Cała praca dotyczyła wyłącznie tłumaczenia tekstów (angielski → niemiecki i francuski)
KROK DALEJ
Ten sam mechanizm, inne zastosowanie
Mechanizm, który tak dobrze rozumiał relacje między słowami przy tłumaczeniu, równie dobrze rozumie relacje między słowami w obrębie jednego języka.
Jak powstał GPT:
Weź Transformer → „nakarm” go internetem → każ mu zgadywać kolejne słowo
2022
Od maszyny kończącej zdania do asystenta
Model, który tylko zgaduje kolejne słowo, nie jest jeszcze asystentem - zamiast odpowiedzieć na pytanie, może je po prostu „dokończyć”, np. dopisać kolejne podobne pytanie.
Brakujący etap:
Najpierw pokazano modelowi tysiące przykładów dobrych odpowiedzi, a potem ludzie oceniali jego wypowiedzi kciukiem w górę lub w dół - jak szkolenie z obsługi klienta po przeczytaniu całej biblioteki
DZISIAJ
Gdzie jesteśmy teraz
👁️ Widzi i słyszy
Nowsze modele rozpoznają obrazy i głos, nie tylko tekst
🧠 Dłużej „myśli”
Zamiast pisać pierwszą pasującą rzecz - bywa wolniejszy, ale trafniejszy w trudnych pytaniach
MYŚL DO ZABRANIA DO DOMU
Dzisiejsze AI, z którymi rozmawiacie, to potomkowie algorytmu do tłumaczenia tekstów
A sam pomysł „zgadnij, co będzie dalej” jest starszy niż komputery - rewolucja przyspieszyła, gdy zapytano: jak lepiej tłumaczyć zdania?