Uruchomienie modelu LLM na mikrokontrolerze za 8 dolarów
Mikrokontroler ESP32-S3 za 8 dolarów uruchomił model językowy z 28,9 miliona parametrów w pełni offline. Twórca o pseudonimie slvDev udowodnił, że generowanie tekstu bez chmury jest możliwe na sprzęcie, który mieści się w kieszeni. Projekt bazuje na pracy Andreja Karpathego nad llama2.c oraz technice Per-Layer Embeddings opracowanej przez Google. TL;DR: Programista slvDev zmusił mikrokontroler ESP32-S3 […]