Jestem przekonany, że masz już za sobą swoją pierwszą pracę z ChatGPT, prawda? To faktycznie na początku wygląda jak science-fiction i rzeczywista rozmowa z komputerem. Jest jednak pewien problem. ChatGPT wykorzystuje kilka sprytnych sztuczek, aby nabrać Cię na to, że rozmawiasz z nim, jak z człowiekiem. O co dokładnie chodzi? Wszystkiego dowiesz się z mojego tekstu poniżej.
Istnieją dwie kluczowe rzeczy, które ChatGPT robi, aby naśladować ludzką rozmowę, a ich znajomość może naprawdę zmienić Twój sposób korzystania z tego narzędzia.
ChatGPT czyta całą konwersację od początku
Po pierwsze, oto mały sekret, który Ci zdradzę: za każdym razem, gdy wchodzisz w rozmowę z ChatGPT, nie patrzy on tylko na Twoją ostatnią wiadomość. Zawsze ma przed sobą całą historię konwersacji, od jej początku, do samego końca.
W tym miejscu jest jednak mały haczyk. ChatGPT, podobnie jak wszystkie duże modele językowe (tak zwane LLM), tak naprawdę… niczego nie “pamięta”. Każdy koniec rozmowy, to po prostu koniec rozmowy. Tak, jak gdybyś nigdy nie istniał. Każdy nowy czat, to nowy początek i kolejna okazja do przedstawienia się sztucznej inteligencji. Dlatego warto pamiętać, że jeżeli ChatGPT zaczyna w Twojej rozmowie gubić kontekst (o tym dlaczego tak się dzieje za chwilę), to warto po prostu otworzyć nowy czat.
Tak więc kiedy wydaje Ci się, że ChatGPT zapamiętuje rzeczy z prowadzonego czatu, to błąd. Za każdym razem AI odtwarza całą historię, aby kontynuować rozmowę. To właśnie ten sposób działania pozwala jej sprawnie łączyć odpowiedzi, aby symulować naturalną, ludzką rozmowę.
Bez zastosowania tego typu logiki działania, ChatGPT nie miałby pojęcia o wcześniejszych rozmowach. Każdy z dużych modeli językowych działa w trybie “stateless”, co jest wynikiem projektowania sieci neuronowych i optymalizowania ich pod kątem wydajności. Stateless oznacza, iż sam model po prostu nie przechowuje żadnych informacji pomiędzy czatami z użytkownikiem.
Taka mała, zakulisowa magia.
Dodatkowym terminem, który możesz zapamiętać jest “autoregresja”. Ten wyraz opisuje sposób budowy dużych modeli językowych – które tworzą tekst fragment po fragmencie w oparciu o to, jaka była interakcja z Twojej strony, czyli docelowego użytkownika.
Kiedy ChatGPT zaczyna się gubić
Po drugie, ChatGPT po cichu “porzuca” najstarsze części czatu, gdy staje się on dłuższy, a sama rozmowa przebiega w jednym i tym samym oknie.
Kiedy ChatGPT po raz pierwszy pojawił się w postaci modelu GPT-3.5, mógł obsłużyć około 4096 tokenów – czyli mniej więcej 3000 słów. Andrej Karpathy, wielkie nazwisko w dziedzinie sztucznej inteligencji, nazywa to aktywną, „pamięcią roboczą” modelu.
Tak więc, GPT-3.5 radzi sobie z 4096 tokenami jednocześnie. Tokeny, to temat na zupełnie inny artykuł, który kiedyś na pewno dla Ciebie napiszę.
To, co musisz pamiętać, to fakt, że 4096 tokenów nie rowna się 4096 słów. Czasem jedno zdanie składające się z czterech wyrazów potrafi posiadać swój odpowiednik w postaci 10 tokenów.
I tu dochodzimy do momentu, w którym wiele osób się “potyka”.
Limit tokenów obejmuje zarówno to, co piszesz w rozmowie, jak i to, co ChatGPT Ci odpowiada. Musisz więc równoważyć swoje słowa i pozostawić miejsce na odpowiedź ChatGPT.
Zastanów się teraz, jak to działa w przypadku dłuższych czatów. Im dłużej prowadzisz “rozmowę” z ChatGPT, tym szybciej osiągniesz pułap tokenów. Po jego przekroczeniu, ChatGPT zacznie przycinać najstarsze części rozmowy, aby zmieścić się w limicie swojego kontekstu.
To trochę tak, jak rozmawiać ze znajomym i liczyć sobie wspólnie, ile słów wypowiadacie, a ile zostało Wam jeszcze do górnego limitu. To dość upierdliwa perspektywa, prawda?
Oczywiście, niektóre interfejsy czatu informują o przekroczeniu limitu i pozwalają edytować niepotrzebne treści. W większości przypadków, jeśli korzystasz ze standardowej wersji ChatGPT, im dłuższy czat, tym szybciej zapomina on początkowych rzeczach, o których rozmawialiście.
Jest to kluczowe, zwłaszcza gdy odnosisz się do czegoś z samego początku czatu. Jeśli został on przycięty, ChatGPT nie zapamięta, a nawet może zacząć wymyślać rzeczy w oparciu o kontekst, który pozostał w rozmowie. Zdarzyło Ci się to na pewno nie raz, prawda?
Podsumowując
ChatGPT symuluje konwersacje poprzez odczytywanie historii czatu od początku – dla każdej odpowiedzi, traktując każdą interakcję jako oddzielną instancję. Po zakończeniu odpowiedzi kontekst tej rozmowy zostaje utracony. Oznacza to, że przy każdej nowej interakcji cała historia konwersacji musi być przekazywana z powrotem do sztucznej inteligencji w celu uzyskania spójnych odpowiedzi.
Pomimo zwiększonej długości kontekstu w bardziej zaawansowanych wersjach, zawsze istnieje limit ukończenia, co może zaskoczyć użytkowników oczekujących, że sztuczna inteligencja zapamięta długie rozmowy.
OpenAI oraz inne firmy rozwijające modele AI pracują nad tym, aby w pewien sposób znieść lub zminimalizować te utrudnienia w pracy z dużymi modelami językowymi.
Nam nie pozostaje nic innego, jak tylko czekać na ich potencjalne aktualizacje.
fot. obrazek wygenerowany za pośrednictwem modelu DALLE-3