Naukowcy stworzyli AI, która może „uczyć się przez działanie”

Naukowcy z Uniwersytetu Kalifornijskiego w Irvine oraz Uniwersytetu Carnegie Mellon opracowali nowatorską technikę, która pozwala agentom SI pomyślnie wykonywać zadania komputerowe przy użyciu wyłącznie instrukcji w języku naturalnym. Opublikowana w pracy „Language Models can Solve Computer Tasks”, metoda ta stanowi znaczący postęp w kierunku bardziej elastycznych i uniwersalnych systemów SI.

Kluczową innowacją jest podejście nazwane Recursive Criticism and Improvement (RCI), w którym modele językowe rekurencyjnie krytykują i ulepszają swoje własne dane wyjściowe, by osiągnąć pożądane zachowanie. W przypadku zadań komputerowych, RCI wzmacnia „ugruntowanie” modelu na trzech poziomach: łączenie pojęć wysokiego rzędu z elementami interfejsu użytkownika (state grounding), generowanie wykonalnych akcji (agent grounding) oraz optymalizacja całościowego planu (task grounding).

Na przykład, jeśli LLM wygeneruje niepoprawną odpowiedź na zadanie matematyczne, RCI najpierw poprosi model o przegląd odpowiedzi i znalezienie błędów. Model może rozpoznać, że nie przeniósł poprawnie liczby. RCI następnie zasugeruje modelowi ulepszenie odpowiedzi w oparciu o tę krytykę. Poprzez iterowanie procesu krytyki i ulepszania, RCI pozwala LLM korygować własne błędy i dochodzić do bardziej logicznych rozwiązań.

 

W testach na zestawie MiniWoB++ do zadań internetowych, agent RCI osiągnął wyniki lepsze niż dotychczasowe metody, włącznie z opartymi o uczenie ze wzmocnieniem (ang. Reinforcement Learning). Co zaskakujące, uzyskał dokładność 94%, korzystając tylko z kilku przykładów dla każdego zadania, w porównaniu do dziesiątek tysięcy wymaganych w nauczaniu przez naśladownictwo.

Schemat RCI również poprawił umiejętności rozumowania modeli językowych w zadaniach arytmetycznych i zdroworozsądkowych. W połączeniu z istniejącą metodą łańcucha myśli, wydajność jeszcze bardziej wzrosła, demonstrując synergiczne efekty różnych technik rozumowania.

 

Naukowcy sugerują, że wraz ze wzrostem możliwości modeli bazowych, to podejście oparte na instrukcjach będzie mogło radzić sobie z bardziej złożonymi zadaniami poznawczymi. Potencjalne zastosowania to zaawansowane asystenty, które samodzielnie wykonują rutynowe czynności, inteligentne systemy wspomagające, które rozumieją i wykonują polecenia, oraz zautomatyzowane narzędzia badawcze, które przeprowadzają eksperymenty w wirtualnym środowisku komputerowym.

Jednak autorzy ostrzegają, że takie samodzielne systemy mogą również otworzyć drogę dla nowych form przestępczości w sieci oraz stać się jedną z przyczyn technologicznego bezrobocia, jeśli zostaną wprowadzone bez odpowiedniej rozwagi. Ogólnie rzecz biorąc, badania te stanowią ważny krok w kierunku stworzenia zaawansowanych agentów sztucznej inteligencji, które z łatwością poradzą sobie z szerokim wachlarzem zadań komputerowych