W poście na blogu DeepMind, spółka zależna Google, opowiadała o eksperymencie z testowaniem modeli sztucznej inteligencji pod kątem umiejętności generalizacji i abstrakcyjnego myślenia. Eksperci opracowali generator, który stawia pytania w oparciu o koncepcję progresji, właściwości kolorów, kształty lub rozmiary oraz ich relacje. Podobne zadania można znaleźć w testach IQ dla ludzi.
Dokładność testu IQ
Większość modeli odpowiedziała na pytania z 75% dokładnością. W ten sposób naukowcy odkryli silną korelację między wykonywaniem zadań a zdolnością do identyfikacji podstawowych abstrakcji. Udało im się zwiększyć efektywność, trenując algorytmy wyjaśniające ich odpowiedzi, pokazujące, które relacje i właściwości należy wziąć pod uwagę w konkretnym zagadnieniu.
Jednak niektóre modele źle radzą sobie z „przenoszeniem” badanych relacji na nowe właściwości, np. Jeśli trenowała rozpoznawanie sekwencji logicznych w odniesieniu do koloru obiektów, a w zadaniu wymagane jest ustanowienie relacji poprzez ich kształt.
Zespół odkrył, że jeśli sieć neuronowa poprawnie ekstrapoluje swoją wiedzę o związkach na nową kombinację wartości, to dokładność zadań wzrosła do 87%. W przypadku błędnej ekstrapolacji spadł on do 32%.
Szczegółowy postęp badań i wyniki zostały opublikowane przez twórców w artykule
Film promocyjny:
W lutym 2018 programiści Facebook AI Research przeszkolili również sztuczną inteligencję, aby wyjaśnić jej działania. Ogólnie rzecz biorąc, ta technika pozwala na śledzenie logiki rozwiązywania problemu i identyfikację problemów, które uniemożliwiają Ci poradzenie sobie z nim.