gik|iewicz

szukaj
Temat: CPU inference

Gemma 3 27B na 13-letnim Xeonie: 5 tokenów na sekundę bez GPU

Gemma 4 26B na 13-letnim Xeonie generuje 5 tokenów na sekundę bez jakiejkolwiek dedykowanej karty graficznej. Ten model z 26 miliardami parametrów uruchomiono na serwerowym procesorze sprzed ponad dekady. Co więcej, projekt udowadnia, że lokalna inferencja jest możliwa nawet na sprzęcie, który dawno temu stracił status wydajnego. TL;DR: Gemma 4 26B A4B uruchomiona na procesorze […]