gik|iewicz

Platforma HackerRank udostępniła niedawno darmowy system ATS (Applicant Tracking System) w wersji open-source. Narzędzie miało zautomatyzować wstępną selekcję kandydatów i ułatwić pracę rekruterom. Testy przeprowadzone przez programistów ujawniają jednak poważny problem z spójnością oceny.

Jak działa darmowy system ATS od HackerRank?

Narzędzie zaprezentowane przez HackerRank to system open-source służący do automatycznej analizy przesłanych życiorysów. Jego głównym zadaniem jest parsowanie dokumentów oraz wystawianie kandydatom oceny punktowej w skali od 0 do 100. Ponadto system ma za zadanie dopasować treść CV do wymagań konkretnej oferty pracy. Mimo to obietca automatyzacji i obiektywizmu napotyka poważne przeszkody w praktyce. Zamiast stabilnej oceny, kandydat otrzymuje wynik płynny.

Automatyczne systemy ATS (Applicant Tracking System) mają eliminować błędy ludzkie podczas wstępnej selekcji. W teorii algorytm analizuje słowa kluczowe oraz doświadczenie, przydzielając odpowiednie rangi. Podobne mechanizmy opisano przy okazji narzędzi takich jak Pencil.dev – narzędzie AI do projektowania interfejsów. Czy warto?. Wobec tego rekruterzy dostają gotową listę rankingową.

W praktyce wygląda to inaczej.

Otóż testy ujawniają, że algorytm oceniający nie radzi sobie z utrzymaniem powtarzalności wyników. Wynika to prawdopodobnie z zastosowania modeli językowych, które wprowadzają element losowości do każdej analizy. Zatem kandydat z identycznym doświadczeniem może otrzymać zupełnie inną punktację przy kolejnych uruchomieniach skryptu. Co więcej, różnice te sięgają kilkunastu punktów procentowych.

Dlaczego darmowe ATS od HackerRank ocenia CV niespójnie?

Niespójność w ocenie wynika bezpośrednio z zastosowania modeli językowych w procesie analizy dokumentu. Zamiast tradycyjnego dopasowania słów kluczowych, system wykorzystuje AI do interpretacji tekstu. Modele językowe charakteryzują się tzw. temperaturą, która wprowadza nieprzewidywalność w generowaniu odpowiedzi. Z tego powodu każde uruchomienie algorytmu na tych samych danych wejściowych daje odmienny rezultat.

Programista znany pod pseudonimem Danunparsed przeprowadził rygorystyczny eksperyment na udostępnionym kodzie. Uruchomił analizę tego samego dokumentu PDF aż sto razy z rzędu. W rezultacie otrzymał wyniki oscylujące między 74 a 90 punktów. To ogromna rozbieżność, która może zdecydować o odrzuceniu lub zaproszeniu kandydata na rozmowę. Taka losowość całkowicie deklasuje ideę obiektywnej rekrutacji.

To nie jest drobna statystyczna anomalia.

Powyższe zachowanie opisano w szczegółach na blogu Danunparsed. W tradycyjnych systemach punktacja za konkretne umiejętności jest sztywno określona przez twórców oprogramowania. W przypadku narzędzi opartych na sztucznej inteligencji, proces ewaluacji przypomina bardziej rozmowę z analitykiem, który za każdym razem ma inny nastrój. Dlatego zastosowanie LLM do wystawiania twardych ocen liczbowych budzi poważne wątpliwości.

Jak wygląda test 100 uruchomień tego samego życiorysu?

Eksperyment polegał na zautomatyzowanym przetworzeniu jednego pliku z CV przez skrypt ATS od HackerRank. Autor badania zebrał wszystkie wyniki w jedną bazę, aby sprawdzić rozkład punktacji. Najniższy odnotowany wynik to 74 na 100 punktów. Najwyższy wynik wyniósł aż 90 punktów. Mimo to średnia ocena utrzymywała się na poziomie około 83 punktów.

Rozkład wyników w teście prezentuje się następująco:

• Najniższa ocena za życiorys: 74/100 punktów
• Najwyższa ocena za ten sam dokument: 90/100 punktów
• Średnia arytmetyczna ze 100 prób: 83/100 punktów
• Odchylenie standardowe: znaczne rozstrzelenie wyników
• Liczba uruchomień skryptu analizującego: 100
• Format pliku wejściowego: PDF
• Różnica między najwyższą a najniższą oceną: 16 punktów

Tabela zestawiająca skrajne wyniki wyglądałaby tak:

To pokazuje brak determinacji w kodzie.

Czym grozi losowość systemów ATS dla kandydatów?

Losowość w procesie oceny CV uderza bezpośrednio w kandydatów aplikujących na stanowiska techniczne. Systemy ATS są powszechnie używane przez korporacje do odrzucania większości zgłoszeń przed kontaktem z człowiekiem. Jeśli algorytm przypisze niską ocenę z powodu losowości modelu językowego, kandydat traci szansę na rozmowę. Ponadto osoba ta nie dostaje żadnej informacji zwrotnej o przyczynach odrzucenia. W rezultacie utalentowani programiści mogą być systematycznie filtrowani na bardzo wczesnym etapie.

Problem ten dotyczy nie tylko platformy HackerRank, ale całego sektora HR opierającego się na AI. Zastosowanie niedeterministycznych modeli do twardych decyzji personalnych budzi ogromne kontrowersje. Podobne zjawiska zauważono przy okazji analizy innych systemów, takich jak Surya OCR: open-source narzędzie do analizy dokumentów, gdzie precyzja działania odgrywa pierwszorzędną rolę. Zatem zaufanie do automatycznej selekcji drastycznie spada.

Kandydaci nie mają wpływu na te algorytmy.

Z tego powodu specjaliści z branży technologicznej apelują o ostrożność przy wdrażaniu takich rozwiązań. Rekruterzy powinni traktować wyniki AI jedynie jako sugestię, a nie ostateczną prawdę. Dokumenty analizowane przez modele językowe podlegają tzw. halucynacjom. Algorytm może zignorować kluczowe sekcje w CV lub błędnie zinterpretować akronimy technologii. Co więcej, drobna zmiana formatowania może drastycznie obniżyć punktację.

Czy rekruterzy mogą ufać darmowym narzędziom open-source?

Rekruterzy powinni podchodzić do darmowych narzędzi open-source z dużą dozą sceptycyzmu. Choć udostępnienie kodu przez HackerRank pozwala na audyt mechanizmów, to nie gwarantuje to bezbłędności działania. Wprowadzenie modeli językowych do procesu oceny sprawia, że system staje się czarną skrzynką, nawet jeśli jego kod jest publicznie dostępny. Zatem zaufanie do wygenerowanych ocen jest mocno zachwiane. Najważniejsze to ręczne weryfikowanie wyników.

W dobie powszechnej automatyzacji, firmy chętnie wdrażają darmowe rozwiązania do swoich procesów. Zastąpienie człowieka skryptem ma obniżyć koszty oraz przyspieszyć zatrudnianie. Jednakże eksperymenty pokazują, że technologia ta wciąż wymaga wielu usprawnień. Zastosowanie AI w narzędziach programistycznych bywa ryzykowne, o czym wspominaliśmy w materiale Istnieje darmowy sposób na korzystanie z Claude Code. Mimo to, w przypadku rekrutacji błędy mają bezpośredni wpływ na losy ludzi.

Zaufanie do tych systemów to błąd.

Ocena życiorysu przez człowieka posiada element subiektywny, ale jest deterministyczna dla konkretnego rekrutera. Z kolei algorytm z założenia ma działać obiektywnie oraz powtarzalnie dla każdego kandydata. Jeśli narzędzie open-source nie spełnia warunku powtarzalności, jego główna wartość biznesowa znika. Dlatego profesjonalne firmy powinny raczej inwestować w rozwiązania audytowane przez niezależne organizacje. Na przykład testy kompetencyjne dają stabilniejsze rezultaty niż ocena CV przez LLM.

Często zadawane pytania

Jak działa darmowy system ATS od HackerRank?

System parsuje pliki PDF i wykorzystuje modele językowe do przydzielania punktów w skali od 0 do 100. Testy wykazały, że to samo CV uruchomione 100 razy otrzymało średnio 83 punkty, co obnaża brak stabilności algorytmu.

Dlaczego darmowe ATS od HackerRank ocenia CV niespójnie?

Niespójność wynika z zastosowania modeli językowych, które posiadają wbudowaną temperaturę wprowadzającą losowość. Różnica między najwyższą a najniższą oceną tego samego dokumentu wyniosła aż 16 punktów.

Jak wygląda test 100 uruchomień tego samego życiorysu?

Najniższa ocena za życiorys wyniosła 74 punkty, a najwyższa 90 punktów na 100 możliwych. Różnica 16 punktów oznacza, że kandydat może zostać odrzucony lub zaproszony na rozmowę wyłącznie na podstawie losowości AI.

Czym grozi losowość systemów ATS dla kandydatów?

Losowość powoduje, że utalentowani programiści mogą być systematycznie filtrowani na bardzo wczesnym etapie bez kontaktu z człowiekiem. Zastosowanie niedeterministycznych modeli sprawia, że wynik 74/100 zamyka drogę do rekrutacji, podczas gdy 90/100 ją otwiera.