Nowe badania ujawniły, że nadanie sztucznej inteligencji (AI) systemu „wewnętrznego monologu” znacząco poprawia jej zdolności rozumowania. Metoda ta, zwana „Quiet-STaR”, polega na trenowaniu systemów AI do przemyślenia odpowiedzi przed ich udzieleniem, podobnie jak ludzie zastanawiają się nad tym, co powiedzą dalej, zanim zaczną mówić. To odbiega od dotychczasowych metod szkolenia popularnych chatbotów, takich jak ChatGPT, które nie „myślą” o tym, co piszą ani nie przewidują różnych możliwości dla kolejnych etapów rozmowy.
Quiet-STaR nakazuje systemowi AI generowanie wielu wewnętrznych uzasadnień równolegle, zanim odpowie na podany bodziec konwersacyjny. Gdy AI odpowiada na podnietę, generuje mieszankę tych prognoz z uzasadnieniem i bez, prezentując najlepszą odpowiedź — którą może zweryfikować uczestnik ludzki, w zależności od charakteru pytania.
Metoda ta pozwala agentom AI przewidywać przyszłe rozmowy i uczyć się z tych, które są w trakcie. Naukowcy zastosowali algorytm Quiet-STaR do Mistral 7B, otwartoźródłowego dużego modelu języka (LLM), i opublikowali wyniki 14 marca w bazie pre-printów arXiv (praca nie została jeszcze zrecenzowana).
Wersja Mistral 7B, wyszkolona przy użyciu Quiet-STaR, osiągnęła wynik 47,2% w teście rozumowania w porównaniu z 36,3% przed jakimkolwiek treningiem. Nadal nie zdała testu matematycznego, zdobywając wynik 10,9%, ale był to prawie podwójny wzrost w stosunku do początkowego wyniku 5,9% w wersji podstawowej.
Modele takie jak ChatGPT i Gemini są zbudowane z sieci neuronowych — zbiorów algorytmów uczenia maszynowego ułożonych w sposób naśladujący strukturę i wzorce uczenia się ludzkiego mózgu. Jednak systemy zbudowane przy użyciu tej architektury są fatalne w kwestii rozumowania zdroworozsądkowego czy kontekstualizacji — a chatboty AI nie mają prawdziwego „zrozumienia”.
Próby poprawy zdolności rozumowania LLM były dotychczas bardzo specyficzne dla danej dziedziny i nie mogły być stosowane do różnych typów modeli AI.
Algorytm samouczącego się rozumowania (STaR), który posłużył badaczom za punkt wyjścia, jest jednym z takich algorytmów szkoleniowych — ale ograniczały go te właśnie limitacje.
Naukowcy, którzy opracowali Quiet-STaR, nazwali go tak, ponieważ zasady STaR mogą być stosowane cicho w tle i ogólnie przez kilka różnych typów LLM, niezależnie od pierwotnych danych szkoleniowych. Teraz chcą zbadać, jak techniki takie jak ich mogą zmniejszyć lukę między systemami AI opartymi na sieciach neuronowych a ludzkimi zdolnościami rozumowania.
Źródło: Live Science
