Kiedy mój pierwszy syn miał zaledwie dwa lata, kochał już samochody, znał wszystkie marki i modele (nawet bardziej niż ja, dzięki moim znajomym), potrafił je rozpoznać po niewielkiej części obrazu. Wszyscy mówili: geniusz. Chociaż zauważyli całkowitą bezużyteczność tej wiedzy. A syn tymczasem spał z nimi, zwijał je, ustawiał dokładnie w rzędzie lub na kwadracie.
Gdy miał 4 lata, nauczył się liczyć, aw wieku 5 lat potrafił już mnożyć i dodawać w ciągu 1000. Graliśmy nawet w Math Workout (ta gra jest na Androida - lubiłem liczyć w metrze po pracy) iw pewnym momencie stał się mną tylko zrób to. A w wolnym czasie naliczył do miliona, co zamroziło otaczających go ludzi. Geniusz! - mówili, ale podejrzewaliśmy, że nie do końca.
Nawiasem mówiąc, na rynku dość dobrze pomógł mamie - sumę obliczył szybciej niż sprzedawcy na kalkulatorze.
Jednocześnie nigdy nie grał na boisku, nie komunikował się z rówieśnikami, nie radził sobie zbyt dobrze z dziećmi i nauczycielami w przedszkolu. Ogólnie był małym powściągliwym dzieckiem.
Następnym krokiem była geografia - próbowaliśmy gdzieś skierować miłość do liczb i daliśmy naszemu synowi stary radziecki atlas. Pogrążył się w tym na miesiąc, a potem zaczął zadawać nam podchwytliwe pytania w stylu:
- Tato, który według Ciebie kraj ma duży obszar: Pakistan czy Mozambik?
„Prawdopodobnie Mozambik” - odpowiedziałem.
- Ale nie! Powierzchnia Pakistanu to aż o 2350 km2 więcej - odpowiedział radośnie syn.
Film promocyjny:
W tym samym czasie absolutnie nie interesowały go ludy zamieszkujące te kraje, ich języki, stroje czy muzyka ludowa. Tylko same liczby: powierzchnia, ludność, wielkość zasobów mineralnych itp.
Wszyscy znów podziwiali. „Sprytny poza swoje lata”, mówili wokół, ale znowu się zmartwiłem, ponieważ Zrozumiałem, że jest to wiedza całkowicie bezużyteczna, niezwiązana z doświadczeniem życiowym i którą trudno jest dalej rozwijać. Najlepszym zastosowaniem ze wszystkiego, co znalazłem, była propozycja obliczenia, ile samochodów zmieści się na parkingu, jeśli dany kraj jest zawijany asfaltem (bez uwzględnienia terenu górskiego), ale szybko się zatrzymałem, bo trąci ludobójstwem.
Co ciekawe, do tego czasu temat samochodów zupełnie zniknął, syn nawet nie pamiętał nazw swoich ulubionych aut ze swojej ogromnej kolekcji, którą zaczęliśmy dystrybuować z utratą zainteresowania. A potem zaczął liczyć wolniej w swoim umyśle i wkrótce zapomniał o kwadratach krajów. W tym samym czasie zaczął bardziej komunikować się z rówieśnikami, stał się bardziej kontaktowy. Geniusz minął, przyjaciele przestali się zachwycać, syn stał się po prostu dobrym uczniem z zamiłowaniem do matematyki i nauk ścisłych.
Powtarzanie jest matką uczenia się
Wydawałoby się, po co to wszystko jest. Widać to u wielu dzieci. Rodzice deklarują wszystkim, że ich dzieci są genialne, babcie podziwiają i chwalą dzieci za ich „wiedzę”. A potem wyrastają na zwykłe, po prostu inteligentne dzieci, nie bardziej genialne niż syn przyjaciela mojej matki.
Badając sieci neuronowe spotkałem się z podobnym zjawiskiem i wydaje mi się, że z tej analogii można wyciągnąć pewne wnioski. Nie jestem biologiem ani neurobiologiem. A wszystko dalej - przypuszczam bez twierdzenia, że są szczególnie naukowe. Z przyjemnością otrzymam uwagi od profesjonalistów.
Kiedy próbowałem zrozumieć, jak mój syn nauczył się liczyć szybciej niż ja tak fajny (ukończył poziom z treningu matematycznego w 20,4 sekundy, podczas gdy mój rekord wynosił 21,9), zdałem sobie sprawę, że w ogóle się nie liczy. Zapamiętał, że kiedy pojawi się 55 + 17, musisz kliknąć 72. Na 45 + 38 musisz kliknąć 83 i tak dalej. Na początku oczywiście liczył, ale skok prędkości nastąpił w momencie, gdy był w stanie zapamiętać wszystkie kombinacje. I dość szybko zaczął zapamiętywać nie konkretne napisy, ale kombinacje symboli. Właśnie tego uczą w szkole, studiując tabliczkę mnożenia - pamiętajcie tabliczkę korespondencji MxN -> P.
Okazało się, że większość informacji postrzegał właśnie jako połączenie między danymi wejściowymi a danymi wyjściowymi, a ten bardzo ogólny algorytm, do którego przyzwyczailiśmy się przewijać w celu uzyskania odpowiedzi, nie został sprowadzony tylko do bardzo dobrze dopracowanego, wysoce wyspecjalizowanego algorytmu zliczania liczb dwucyfrowych. Wykonywał doskonałe zadania, ale znacznie wolniej. Te. to, co wszyscy uważali za super fajne, było po prostu symulowane przez dobrze wyszkoloną sieć neuronową do określonego zadania.
Dodatkowa wiedza
Dlaczego niektóre dzieci potrafią w ten sposób zapamiętywać, a inne nie?
Wyobraź sobie pole zainteresowań dziecka (tutaj podchodzimy do pytania jakościowo, bez żadnych pomiarów). Po lewej stronie znajduje się pole zainteresowań zwykłego dziecka, a po prawej pole zainteresowań dziecka „uzdolnionego”. Zgodnie z oczekiwaniami, główne zainteresowania koncentrują się na obszarach, w których istnieją szczególne predyspozycje. Jednak w przypadku codziennych spraw i komunikacji z rówieśnikami nie wystarczy już skupienie się. Uważa tę wiedzę za zbędną.
Interesy zwykłego dziecka w wieku 5 lat.
Zainteresowania „genialnego” dziecka w wieku 5 lat.
U takich dzieci mózg analizuje i prowadzi szkolenia tylko z wybranych tematów. Poprzez trening sieć neuronowa w mózgu musi nauczyć się skutecznie klasyfikować napływające dane. Ale mózg ma do dyspozycji wiele, wiele neuronów. O wiele więcej, niż potrzeba do normalnej pracy przy tak prostych zadaniach. Zwykle dzieci rozwiązują wiele różnych problemów życiowych, ale tutaj wszystkie te same zasoby są wrzucane do węższego zakresu zadań. Trening w tym trybie łatwo prowadzi do tego, co profesjonaliści ML nazywają overfittingiem. Sieć, korzystając z mnóstwa współczynników (neuronów), została przeszkolona w taki sposób, że zawsze udziela dokładnie niezbędnych odpowiedzi (ale może wydawać kompletne bzdury na pośrednich danych wejściowych, ale nikt ich nie widzi). Tak więc trening nie doprowadził do tego, że mózg wybrał główne cechy i zapamiętał je, ale do tego, że dostosował wiele współczynników,aby dać dokładny wynik na już znanych danych (jak na rysunku po prawej). Co więcej, mózg tak się nauczył na inne tematy, będąc słabo wytrenowanym (jak na zdjęciu po lewej).
Co to jest niedopasowanie i nadmierne dopasowanie?
Tym, którzy nie są w temacie, powiem bardzo krótko. Podczas uczenia sieci neuronowej zadaniem jest dobranie określonej liczby parametrów (wagi komunikacji między neuronami) tak, aby sieć odpowiadała na dane uczące (próbka ucząca) możliwie najdokładniej i najdokładniej.
Jeśli takich parametrów jest za mało, to sieć nie będzie w stanie uwzględnić szczegółów próbki, co doprowadzi do bardzo zgrubnej i uśrednionej odpowiedzi, która nie działa dobrze nawet na próbce uczącej. Podobnie jak na zdjęciu po lewej powyżej. To niedopasowane.
Przy odpowiedniej liczbie parametrów sieć da dobry wynik „połykając” silne odchylenia w danych uczących. Taka sieć będzie dobrze reagować nie tylko na próbkę uczącą, ale także na inne wartości pośrednie. Jak na środkowym zdjęciu powyżej.
Ale jeśli sieć otrzyma zbyt wiele konfigurowalnych parametrów, będzie się szkolić, aby odtworzyć nawet silne odchylenia i fluktuacje (w tym te spowodowane błędami), co może prowadzić do kompletnych bzdur, gdy próbuje się uzyskać odpowiedź na dane wejściowe, a nie z próbki uczącej. Coś jak na zdjęciu po prawej powyżej. To za dużo.
Prosty przykład ilustrujący.
Powiedzmy, że masz wiele punktów (niebieskie kółka). Musisz narysować gładką krzywą, aby przewidzieć położenie innych punktów. Jeśli weźmiemy na przykład wielomian, to przy małych stopniach (do 3 lub 4) nasza gładka krzywa będzie dość dokładna (niebieska krzywa). W takim przypadku niebieska krzywa może nie przechodzić przez oryginalne punkty (niebieskie punkty).
Jeśli jednak liczba współczynników (a tym samym stopień wielomianu) wzrośnie, to dokładność przechodzenia przez niebieskie punkty wzrośnie (lub nawet nastąpi 100% trafienie), ale zachowanie między tymi punktami stanie się nieprzewidywalne (zobacz, jak zmienia się czerwona krzywa).
Wydaje mi się, że to skłonność dziecka do określonego tematu (obsesja) i zupełna nieznajomość pozostałych zagadnień prowadzi do tego, że podczas nauczania przypisuje się im zbyt wiele „współczynników”.
Biorąc pod uwagę, że sieć jest skonfigurowana dla określonych danych wejściowych i nie wyróżnia „funkcji”, ale głupio „zapamiętuje” dane wejściowe, nie można jej używać z nieco innymi danymi wejściowymi. Możliwość zastosowania takiej sieci jest bardzo wąska. Wraz z wiekiem horyzonty poszerzają się, ostrość się rozmywa i nie ma już możliwości przypisania takiej samej liczby neuronów do tego samego zadania - zaczynają być wykorzystywane w nowych, bardziej potrzebnych dziecku zadaniach. „Ustawienia” tej przepełnionej sieci załamują się, dziecko staje się „normalne”, geniusz znika.
Oczywiście, jeśli dziecko ma umiejętność, która jest sama w sobie przydatna i którą można rozwijać (na przykład muzyka czy sport), to jego „geniusz” może być długo utrzymywany, a nawet doprowadzony do profesjonalnego poziomu. Ale w większości przypadków to nie działa i przez 8-10 lat nie będzie śladu starych umiejętności.
wnioski
- czy masz genialne dziecko? To przejdzie;)
- perspektywa i „geniusz” są ze sobą powiązane i są ze sobą ściśle powiązane poprzez mechanizm uczenia się
- ten pozorny „geniusz” najprawdopodobniej wcale nie jest geniuszem, ale efektem zbyt silnego treningu mózgu na określone zadanie bez jego zrozumienia - tylko wszystkie zasoby zostały przeznaczone na to zadanie
- korygując wąskie zainteresowania dziecka, jego geniusz znika
- jeśli Twoje dziecko jest „geniuszem” i trochę bardziej powściągliwym niż rówieśnicy, to musisz dalej uważnie rozwijać te same umiejętności, równolegle aktywnie rozwijając swoje horyzonty, a nie skupiać się na tych „fajnych”, ale zwykle bezużytecznych umiejętnościach
Autor: Siergiej Połtorak
