gik|iewicz

TL;DR: Wytrenowanie własnego LLM od zera to proces pięciu etapów: zrozumienia matematyki, przygotowania danych, konfiguracji infrastruktury, projektowania architektury oraz treningu z ewaluacją. Model Talkie-1930 z 13 miliardami parametrów pokazuje, że niezależne projekty są realne, choć koszty infrastruktury GPU mogą sięgać tysięcy dolarów miesięcznie.

Choć mniejsze architektury również mają swoje zastosowania, trening dużego modelu językowego od zera wymaga potężnej infrastruktury GPU oraz setek godzin obliczeń. Zespół Talkie-1930 udowodnił, że taki projekt jest wykonalny niezależnie – ich model o architekturze 13B trenowany był wyłącznie na tekstach sprzed 1930 roku.

Krok 1: Zrozumienie matematyki stojącej za LLM

Zrozumienie matematyki stojącej za modelami językowymi wymaga opanowania czterech dziedzin: algebry liniowej, rachunku różniczkowego, prawdopodobieństwa oraz optymalizacji numerycznej. Jak wskazuje poradnik z Hackaday, algebra liniowa stanowi fundament operacji na macierzach, które są podstawą obliczeń w sieciach neuronowych. Rachunek różniczkowy pozwala zrozumieć mechanizm wstecznej propagacji błędu. Prawdopodobieństwo odpowiada za modelowanie języka, a optymalizacja steruje procesem uczenia parametrów modelu.

Każda warstwa transformera operuje na tensorach wielowymiarowych. Mnożenie macierzy to podstawowa operacja wykonywana milionami razy podczas jednego przebiegu treningu. W kontekście treningu LLM mówimy o macierzach o wymiarach rzędu tysięcy, a nawet dziesiątek tysięcy. Znajomość operacji na macierzach bezpośrednio przekłada się na zdolność debugowania problemów numerycznych.

Pochodne cząstkowe i gradienty stanowią mechanizm napędowy uczenia maszynowego. Algorytm wstecznej propagacji błędu oblicza gradienty funkcji straty względem każdego parametru modelu. W modelu z 13 miliardami parametrów, jakim jest Talkie-1930, oznacza to obliczanie 13 miliardów pochodnych w każdym kroku treningowym. To ogromne obciążenie obliczeniowe, dlatego optymalizacja tych obliczeń jest priorytetem. Funkcja softmax, kluczowy element architektury transformera, przekształca surowe wyniki na prawdopodobieństwa. Jej implementacja wymaga ostrożności ze względu na niestabilność numeryczną przy dużych wartościach wejściowych. Programiści stosują wtedy trik polegający na odjęciu maksymalnej wartości przed obliczeniem wykładnika.

Krok 2: Przygotowanie danych treningowych

Jakość danych treningowych bezpośrednio determinuje jakość wygenerowanego modelu. Proces ten obejmuje zbieranie surowych tekstów, czyszczenie, deduplikację oraz tokenizację. Zespół Talkie-1930 użył wyłącznie tekstów opublikowanych przed 1930 rokiem, co pokazuje, że restrykcyjna kuracja zbioru danych daje spójne rezultaty.

Deduplikacja to krytyczny krok. Duplikaty w zbiorze treningowym prowadzą do memorizacji fragmentów tekstu zamiast generalizacji wiedzy. Narzędzia takie jak datasketch lub MinHash pozwalają wykryć podobieństwa między dokumentami (próg zazwyczaj ustala się na poziomie 0.8-0.9), redukując ryzyko przeuczenia.

Tokenizacja zamienia tekst na sekwencje liczb zrozumiałe dla modelu. Najpopularniejsze algorytmy to Byte-Pair Encoding (BPE) oraz WordPiece. BPE buduje słownik najczęstszych podciągów znaków iteracyjnie, łącząc pary tokenów. Słownik o rozmiarze 32 000 do 100 000 tokenów to branżowy standard. Odpowiednio dobrany tokenizer redukuje długość sekwencji wejściowych, co przyspiesza proces uczenia.

Zbiór danych należy podzielić na trzy podzbiory: treningowy, walidacyjny oraz testowy. Proporcje to zazwyczaj 98:1:1 dla dużych zbiorów. Zbiór walidacyjny pozwala monitorować przeuczenie, a testowy służy do ostatecznej ewaluacji. Podział musi być wykonany przed jakimikolwiek transformacjami danych.

Poniżej znajduje się zestawienie popularnych źródeł danych do treningu modeli językowych:

Krok 3: Skonfigurowanie infrastruktury sprzętowej

Trening modelu o rozmiarze 13 miliardów parametrów wymaga minimum ośmiu kart graficznych NVIDIA A100 z 80 GB pamięci VRAM każda. Koszt wynajmu takiej infrastruktury w chmurze to około 30 USD (ok. 120 zł) za godzinę. Pełny trening trwa od kilku dni do kilku tygodni w zależności od rozmiaru zbioru danych, przez co koszty szybko rosną do dziesiątek tysięcy dolarów.

Pamięć VRAM stanowi główne wąskie gardło. Model 13B w precyzji float32 zajmuje około 52 GB pamięci tylko na przechowanie wag. Gradienty, stany optymalizatora oraz aktywacje dodatkowo mnożą to zapotrzebowanie. Bez technik redukcji zużycia pamięci trening jest niemożliwy na dostępnych kartach graficznych.

Mixed precision training wykorzystuje format float16 lub bfloat16 do przyspieszenia obliczeń (od 2 do 3 razy w porówn