Mikrokontroler ESP32-S3 za 8 dolarów uruchomił model językowy z 28,9 miliona parametrów w pełni offline. Twórca o pseudonimie slvDev udowodnił, że generowanie tekstu bez chmury jest możliwe na sprzęcie, który mieści się w kieszeni. Projekt bazuje na pracy Andreja Karpathego nad llama2.c oraz technice Per-Layer Embeddings opracowanej przez Google. TL;DR: Programista slvDev zmusił mikrokontroler ESP32-S3 […]
Sieci Kolmogorowa-Arnolda (KAN) na układach FPGA potrafią przetwarzać dane z opóźnieniem rzędu pojedynczych mikrosekund, deklasując klasyczne procesory graficzne. Zespoły badawcze z Uniwersytetu Nankai oraz MIT udowodniły, że ta architektura minimalizuje zużycie pamięci, przyspieszając inferencję na krawędzi sieci. Inżynierowie z branży motoryzacyjnej oraz obronnej testują te rozwiązania w systemach wymagających natychmiastowej reakcji. TL;DR: Sieci Kolmogorowa-Arnolda (KAN) […]
PrismML, startup z kalifornijskiego Caltech, twierdzi, że ich 1-bitowy model LLM przewyższa modele z pełną precyzją wag. Bonsai 8B oferuje 14-krotną redukcję pamięci przy zachowaniu konkurencyjnych wyników w benchmarkach. To rzuca wyzwanie dekadzie dominacji modeli opartych na skali parametrów. TL;DR: PrismML wprowadza Bonsai — pierwsze komercyjnie opłacalne 1-bitowe modele LLM, które redukują zużycie pamięci 14-krotnie. […]