Lokalny LLM nie jest głupi – to Twój stack go psuje, sprawdź dlaczego
Użytkownicy lokalnych modeli LLM często porzucają je po pierwszych testach, bo model „wydaje się głupi”. Tymczasem problem w większości przypadków leży nie w samych wagach modelu, lecz w całym łańcuchu uruchomieniowym, który zniekształca to, co model faktycznie potrafi. Kwantyzacja, ucięty system prompt, złe parametry samplowania i zbyt mały kontekst potrafią obniżyć jakość odpowiedzi o kilka […]