Le reti neurali liquide (LNN)

 

Le reti neurali liquide (LNN) sono una direzione entusiasmante e relativamente nuova nella ricerca AI/ML che promette reti neurali più compatte e dinamiche per la previsione delle serie temporali. Le LNN offrono un nuovo approccio ad attività come la previsione del meteo, il riconoscimento vocale e la guida autonoma. Il vantaggio principale offerto dalle LNN è che continuano ad adattarsi a nuovi stimoli dopo l'addestramento. Inoltre, le LNN sono robuste in condizioni rumorose e sono più piccole e più interpretabili delle loro controparti convenzionali.

Le LNN e concetti simili esistono da un po', ma il documento del 2020, Liquid Time Constant Networks, le ha catapultate in prima linea nello spazio AI/ML. Da allora, si sono consolidate come una direzione affascinante per i predittori di serie temporali volti ad aumentare la capacità rappresentativa dei singoli neuroni anziché derivare la capacità attraverso la scala.

Durante lo sviluppo del concetto di LNN, Hasani si è ispirato direttamente ai neuroni biologici nel nematode C. elegans, un verme rotondo microscopico. Ramin Hasani, autore principale del documento del 2020, osserva che "It [C. Elegans] ha solo 302 neuroni nel suo sistema nervoso, eppure può generare dinamiche inaspettatamente complesse". La missione di Hasani era quella di "avere meno nodi ma più ricchi". Il risultato sono stati gli LNN.

La parte "liquida" dell'acronimo deriva dall'uso da parte della rete di una costante di tempo liquida (LTC), che è un termine dipendente dall'input che altera la forza delle connessioni della rete per adattarsi a nuovi input. L'LTC è il motivo per cui gli LNN possono adattarsi a nuovi input dopo l'addestramento. Inoltre, la costante di tempo liquida, così come i pesi dei nodi, sono limitati. Ciò significa che gli LNN non sono suscettibili all'esplosione del gradiente come gli RNN tradizionali e altre architetture ricorrenti in tempo continuo.

Gli LNN hanno diversi vantaggi rispetto ai tradizionali framework di previsione delle serie temporali. Innanzitutto, la loro adattabilità. Gli LNN possono alterarsi per modellare nuove distribuzioni dopo l'addestramento grazie alla loro natura "liquida". Questa adattabilità li rende molto capaci in attività con distribuzioni di dati mutevoli e rumore eccessivo. La robustezza delle LNN le rende anche trasferibili tra le attività.

La maggiore densità informativa di ogni neurone significa che le piccole LNN possono modellare comportamenti complessi che potrebbero richiedere decine o centinaia di migliaia di nodi convenzionali per essere modellati.

Questa riduzione delle dimensioni consente alle LNN di essere più trasparenti delle reti neurali convenzionali. Le grandi reti neurali sono scatole nere perché i loro numerosi pesi e nodi rendono difficili da analizzare le relazioni individuali. Riducendo anziché aumentando la scala, nodi e pesi possono essere interpretati nel contesto e puoi non solo raggiungere il tuo obiettivo, ma anche sapere perché lo hai fatto.