gik|iewicz

Zespół Needle udowodnił, że wywoływanie narzędzi z Gemini można skompresować do modelu o rozmiarze 26 milionów parametrów. Projekt pokazuje, jak destylacja wiedzy z dużych modeli językowych pozwala tworzyć lekkie rozwiązania gotowe do uruchomienia bezpośrednio na urządzeniach mobilnych.

TL;DR: Needle to skompresowany model o wielkości 26 milionów parametrów, który przejmuje funkcję wywoływania narzędzi z Gemini. Zespół wykorzystał destylację wiedzy, aby przenieść specyficzne zachowania dużego modelu do architektury wystarczająco małej na urządzenia mobilne. Projekt udostępniono publicznie na platformie TechPlanet.

Czym jest projekt Needle i jak działa model o rozmiarze 26M parametrów?

Needle to model językowy składający się z zaledwie 26 milionów parametrów, zaprojektowany specjalnie do obsługi wywoływania funkcji (tool calling) w architekturze zintegrowanej z Gemini. Według opisu na PromptZone projekt wykorzystuje technikę destylacji wiedzy, która przenosi zachowania dużych modeli do znacznie mniejszych struktur. Model nie generuje ogólnych odpowiedzi tekstowych – jego jedynym zadaniem jest interpretowanie poleceń i kierowanie ich do odpowiednich funkcji API.

W praktyce architektura działa jak router. Otrzymuje zapytanie od użytkownika, analizuje dostępną listę narzędzi i podejmuje decyzję o wywołaniu konkretnej funkcji. Rozmiar 26 milionów parametrów sprawia, że model zajmuje ułamek przestrzeni w porównaniu do pełnych modeli językowych. To umożliwia działanie na urządzeniach z ograniczoną pamięcią.

Zatem projekt celowo rezygnuje z uniwersalności na rzecz specjalizacji w jednym konkretnym zadaniu. Zamiast pisać reguły ręcznie, zespół Needle wytrenował sieć do rozpoznawania wzorców wywołań narzędzi.

Na czym polega destylacja wywoływania narzędzi z Gemini do małego modelu?

Destylacja wiedzy to proces, w którym mniejszy model (student) uczy się na podstawie wyników generowanych przez większy model (nauczyciel). W przypadku Needle nauczycielem jest Gemini, a studentem jest sieć o rozmiarze 26 milionów parametrów. Proces polega na generowaniu dużej liczby par wejście-wyjście za pomocą Gemini, a następnie trenowaniu mniejszego modelu na tych danych.

Zespół skupił się wyłącznie na zadaniu wywoływania funkcji. Oznacza to, że dane treningowe zawierały specyficzne przykłady: zapytania użytkownika, dostępne definicje narzędzi i poprawne wywołania API. Model nie musiał uczyć się ogólnej wiedzy o świecie, rozumienia języka naturalnego w szerokim sensie, ani generowania długich tekstów.

Ponadto takie zawężenie zakresu pozwoliło na drastyczną redukcję wielkości modelu. Sieć musiała opanować jeden konkretny wzorzec zachowania. Zamiast miliardów parametrów potrzebnych do ogólnego generowania tekstu, wystarczyło 26 milionów parametrów wyspecjalizowanych w routing zapytań do narzędzi.

Dlaczego wywoływanie funkcji jest kluczowe dla integracji modeli językowych?

Wywoływanie funkcji (tool calling) to mechanizm pozwalający modelom językowym na interakcję z zewnętrznymi systemami – bazami danych, interfejsami API, kalkulatorami i wyszukiwarkami. Zamiast generować odpowiedź na podstawie samej wiedzy z treningu, model może wywołać narzędzie, które dostarczy aktualne, precyzyjne dane. Google intensywnie rozwija tę koncepcję w ramach Gemini Intelligence na Androidzie, co opisano w oficjalnym blogu Google.

Bez mechanizmu tool calling modele językowe pozostają odizolowane od reszty systemu. Nie mogą sprawdzać pogody, rezerwować spotkań, wysyłać wiadomości ani wykonywać operacji matematycznych z pełną dokładnością. Wywoływanie narzędzi mostkuje lukę między rozumieniem języka a rzeczywistym działaniem w systemie operacyjnym.

Z kolei implementacja tego mechanizmu bezpośrednio na urządzeniu eliminuje konieczność wysyłania zapytań do chmury. To obniża opóźnienia, zmniejsza zużycie baterii i chroni prywatność użytkownika. Needle rozwiązuje właśnie ten problem – dostarcza model wystarczająco mały, by działał lokalnie, i wystarczająco precyzyjny, by obsługiwał wywoływanie funkcji.

Jakie zastosowania ma model Needle na urządzeniach mobilnych?

Model o rozmiarze 26 milionów parametrów mieści się w pamięci urządzeń mobilnych i może działać bez stałego połączenia z internetem. Zastosowania obejmują szeroki zakres funkcji systemowych, które Google opisuje jako część strategii Gemini Intelligence.

• Automatyzacja wypełniania formularzy na podstawie kontekstu rozmowy z asystentem
• Routing poleceń głosowych do odpowiednich aplikacji systemowych na Androidzie
• Lokalne wywoływanie funkcji kalkulatora, kalendarza i przypomnień bez dostępu do chmury
• Obsługa zapytań do wyszukiwarki urządzenia z analizą intencji użytkownika
• Integracja z systemowymi ustawieniami prywatności i bezpieczeństwa opisanymi w strategii bezpieczeństwa Google
• Wsparcie dla niestandardowych widżetów tworzonych dynamicznie na podstawie poleceń
• Przetwarzanie zapytań w trybie offline na urządzeniach z ograniczonym połączeniem
• Lokalne zarządzanie powiadomieniami na podstawie analizy priorytetów

Powyższa tabela zestawia tradycyjne podejście chmurowe z lokalnym podejściem opartym na modelach typu Needle:

Czym Needle różni się od pełnych modeli językowych?

Needle nie jest uniwersalnym modelem językowym. Nie odpowiada na pytania, nie pisze tekstów kreatywnych i nie prowadzi swobodnej konwersacji. Jego jedyną funkcją jest interpretowanie zapytań i kierowanie ich do odpowiednich narzędzi systemowych. To fundamentalna różnica w porównaniu do modeli takich jak Gemini 2.5 Pro, które łączą reasoning z generowaniem tekstu.

Pełne modele językowe potrzebują miliardów parametrów, ponieważ muszą opanować szeroki zakres wiedzy i umiejętności językowych. Needle rezygnuje z tej uniwersalności i inwestuje wszystkie parametry w jedno zadanie. Z tego powodu model zajmuje 26 milionów parametrów zamiast setek miliardów.

Mimo to podejście to ma ograniczenia. Needle nie poradzi sobie z zapytaniami wykraczającymi poza zdefiniowany zestaw narzędzi. Nie wygeneruje kreatywnego tekstu, nie przetłumaczy języków i nie przeanalizuje obrazu. Jest to narzędzie wyspecjalizowane, zaprojektowane do konkretnej roli w architekturze systemu.

Jak Needle wpisuje się w strategię Google dotyczącą AI na urządzeniach?

Google konsekwentnie rozwija koncepcję inteligentnych systemów operacyjnych, co widać w zapowiedziach Androida 17 i platformy Gemini Intelligence. Strategia zakłada, że smartfon przestaje być zwykłym systemem operacyjnym, a staje się systemem inteligentnym, który proaktywnie pomaga użytkownikowi. Needle jest przykładem narzędzia, które może stanowić element tej architektury – lekkiego routera AI działającego bezpośrednio na urządzeniu.

W zapowiedziach Googlebooka i nowych funkcji Androida podkreśla się integrację usług z modelem Gemini. Podobnie projekt Sharp od Apple uruchomiony w przeglądarce pokazuje trend przenoszenia modeli AI bezpośrednio do środowisk klienta. Needle wpisuje się w ten sam kierunek – kompresja i lokalne uruchamianie zamiast zależności od chmury.

Dlatego projekty takie jak Needle mają znaczenie praktyczne dla deweloperów. Pokazują, że specyficzne funkcje AI można implementować lokalnie, bez konieczności integracji z płatnymi interfejsami API. Model 26M parametrów to rozmiar, który mieści się w każdej nowoczesnej przeglądarce i na każdym smartfonie, co obniża barierę wejścia dla aplikacji wykorzystujących AI.

Jak technicznie wygląda proces destylacji wiedzy z Gemini do modelu Needle?

Proces destylacji wiedzy z modelu Gemini do architektury Needle opiera się na generowaniu par wejście-wyjście, gdzie większy model pełni funkcję nauczyciela. Zespół Needle skupił się wyłącznie na zadaniu wywoływania funkcji, co oznaczało trenowanie sieci na specyficznych danych: zapytaniach użytkownika, definicjach narzędzi i poprawnych wywołaniach API. Model nie uczył się ogólnej wiedzy o świecie ani generowania długich tekstów. Takie zawężenie zakresu pozwoliło na drastyczną redukcję wielkości do 26 milionów parametrów.

Ponadto sieć musiała opanować wyłącznie jeden konkretny wzorzec zachowania – routing zapytań do narzędzi. Jak opisano na TechPlanet, zespół wykorzystał technikę destylacji, która przenosi zachowania dużych modeli do znacznie mniejszych struktur. Wystarczyło 26 milionów parametrów wyspecjalizowanych w kierowaniu zapytań do odpowiednich funkcji API, zamiast miliardów potrzebnych do ogólnego generowania tekstu.

Oto kluczowe etapy procesu destylacji:
– Zdefiniowanie zestawu narzędzi i funkcji API dostępnych w architekturze Gemini
– Wygenerowanie dużej liczby par treningowych za pomocą modelu nauczyciela (Gemini)
– Przygotowanie danych zawierających zapytania, definicje narzędzi i poprawne wywołania
– Wytrenowanie modelu studenta (Needle 26M) na wygenerowanych danych
– Optymalizacja architektury pod kątem rozmiaru i szybkości wnioskowania na urządzeniach mobilnych
– Testowanie dokładności routingu na zbiorze walidacyjnym
– Kompresja modelu do postaci gotowej do wdrożenia na urządzeniach z ograniczoną pamięcią
– Walidacja końcowa na rzeczywistych zapytaniach użytkowników

Jakie korzyści daje uruchamianie modelu lokalnie na urządzeniu?

Lokalne uruchamianie modeli AI eliminuje konieczność wysyłania danych do chmury, co bezpośrednio wpływa na prywatność użytkownika i opóźnienia odpowiedzi. Model o rozmiarze 26 milionów parametrów mieści się w pamięci smartfona i działa bez stałego połączenia z internetem. To obniża zużycie baterii i pozwala na funkcjonowanie w trybie offline.

Z kolei podejście chmurowe wymaga stałego połączenia sieciowego i wysyłania zapytań do zdalnych serwerów. Needle rozwiązuje ten problem, dostarczając model wystarczająco mały, by działał lokalnie, i wystarczająco precyzyjny, by obsługiwał wywoływanie funkcji. Jak podaje PromptZone, projekt umożliwia działanie na urządzeniach z ograniczoną pamięcią, co obniża barierę wejścia dla aplikacji wykorzystujących AI.

Jak Needle wpisuje się w trend kompresji modeli językowych?

Trend kompresji modeli językowych polega na tworzeniu mniejszych, wyspecjalizowanych sieci zdolnych do działania bezpośrednio na urządzeniach końcowych. Needle to przykład tego podejścia – rezygnuje z uniwersalności na rzecz specjalizacji w jednym zadaniu. Podobnie projekt Sharp od Apple uruchomiony w przeglądarce pokazuje przenoszenie modeli AI do środowisk klienta.

Co więcej, Google Chrome po cichu instaluje na urządzeniach modele AI o rozmiarze około 4 GB, co opisano w artykule o modelu AI instalowanym bez zgody użytkownika. Needle idzie o krok dalej – kompresuje funkcję wywoływania narzędzi do zaledwie 26 milionów parametrów. To rozmiar, który mieści się w każdej nowoczesnej przeglądarce i na każdym smartfonie.

Choć pełne modele językowe nadal są potrzebne do złożonych zadań, wyspecjalizowane sieci takie jak Needle pokazują, że specyficzne funkcje AI można implementować lokalnie. Projekty takie jak malutki LLM demistyfikujący działanie modeli potwierdzają ten kierunek.

Czym Needle różni się od pełnych modeli językowych?

Needle nie jest uniwersalnym modelem językowym. Nie odpowiada na pytania, nie pisze tekstów kreatywnych i nie prowadzi swobodnej konwersacji. Jego jedyną funkcją jest interpretowanie zapytań i kierowanie ich do odpowiednich narzędzi systemowych. To fundamentalna różnica w porównaniu do modeli takich jak Gemini 2.5 Pro, które łączą reasoning z generowaniem tekstu.

Pełne modele językowe potrzebują miliardów parametrów, ponieważ muszą opanować szeroki zakres wiedzy i umiejętności językowych. Needle rezygnuje z tej uniwersalności i inwestuje wszystkie parametry w jedno zadanie. Dlatego model zajmuje 26 milionów parametrów zamiast setek miliardów.

Mimo to podejście to ma ograniczenia. Needle nie poradzi sobie z zapytaniami wykraczającymi poza zdefiniowany zestaw narzędzi. Nie wygeneruje kreatywnego tekstu, nie przetłumaczy języków i nie przeanalizuje obrazu. Jest to narzędzie wyspecjalizowane, zaprojektowane do konkretnej roli w architekturze systemu.

Często zadawane pytania

Ile parametrów ma model Needle i do czego służy?

Needle składa się z 26 milionów parametrów i służy wyłącznie do wywoływania narzędzi (tool calling) w architekturze zintegrowanej z Gemini, co opisano na TechPlanet. Zastosuj go jako lokalny router zapytań do funkcji API.

Czy Needle może działać bez dostępu do internetu?

Tak, model o rozmiarze 26 milionów parametrów został zaprojektowany do działania bezpośrednio na urządzeniach mobilnych bez stałego połączenia z internetem, co potwierdza PromptZone. Uruchom go na urządzeniu z ograniczoną pamięcią.

Jak Needle wykorzystuje destylację wiedzy?

Zespół Needle wykorzystał technikę destylacji wiedzy, w której mniejszy model (student) uczy się na podstawie wyników generowanych przez większy model Gemini (nauczyciel), jak opisano na TechPlanet. Przeprowadź podobny proces dla własnych zadań routing.

Czym Needle różni się od pełnych modeli językowych?

Needle rezygnuje z uniwersalności na rzecz specjalizacji w jednym zadaniu – wywoływaniu funkcji – i zajmuje 26 milionów parametrów zamiast setek miliardów potrzebnych pełnym modelom takim jak Gemini 2.5 Pro, co potwierdza PromptZone. Wybierz go, gdy potrzebujesz lekkiego routera AI.

Podsumowanie

Needle pokazuje, że wywoływanie narzędzi z Gemini można skompresować do modelu o rozmiarze 26 milionów parametrów bez utraty funkcjonalności w zakresie routingu zapytań. Destylacja wiedzy pozwala przenieść specyficzne zachowania dużego modelu do architektury wystarczająco małej na urządzenia mobilne.

Lokalne uruchamianie modelu eliminuje konieczność wysyłania danych do chmury, co obniża opóźnienia i chroni prywatność użytkownika. Model działa w trybie offline i mieści się w pamięci smartfona.

Projekt wpisuje się w szerszy trend kompresji modeli językowych i przenoszenia AI bezpośrednio na urządzenia końcowe. Podobnie jak Sharp od Apple czy modele instalowane przez Chrome, Needle dowodzi, że specyficzne funkcje AI można implementować lokalnie.

Pełne modele językowe nadal są potrzebne do złożonych zadań, ale wyspecjalizowane sieci takie jak Needle pokazują, że wiele operacji można wykonywać bez zależności od chmury.

Zainteresowanych odsyłam do projektu Needle na TechPlanet oraz dyskusji na PromptZone.