Dlaczego duże okno kontekstowe w LLM bywa zwodnicze
Google Gemini oferuje okno kontekstowe rzędu 2 milionów tokenów. Claude od Anthropic obsługuje 200 tysięcy. Modele te pozornie rozwiązywały problem zapominania przez sztuczną inteligencję ważnych fragmentów rozmowy. W praktyce jednak ogromne okno kontekstowe bywa pułapką, która pogarsza jakość odpowiedzi. Im więcej danych trafia do modelu, tym częściej gubi on kluczowe detale. TL;DR: Rozmiar okna kontekstowego […]