Passa ai contenuti principali

Le reti neurali liquide (LNN)


 

Le reti neurali liquide (LNN) sono una direzione entusiasmante e relativamente nuova nella ricerca AI/ML che promette reti neurali più compatte e dinamiche per la previsione delle serie temporali. Le LNN offrono un nuovo approccio ad attività come la previsione del meteo, il riconoscimento vocale e la guida autonoma. Il vantaggio principale offerto dalle LNN è che continuano ad adattarsi a nuovi stimoli dopo l'addestramento. Inoltre, le LNN sono robuste in condizioni rumorose e sono più piccole e più interpretabili delle loro controparti convenzionali.

Le LNN e concetti simili esistono da un po', ma il documento del 2020, Liquid Time Constant Networks, le ha catapultate in prima linea nello spazio AI/ML. Da allora, si sono consolidate come una direzione affascinante per i predittori di serie temporali volti ad aumentare la capacità rappresentativa dei singoli neuroni anziché derivare la capacità attraverso la scala.

Durante lo sviluppo del concetto di LNN, Hasani si è ispirato direttamente ai neuroni biologici nel nematode C. elegans, un verme rotondo microscopico. Ramin Hasani, autore principale del documento del 2020, osserva che "It [C. Elegans] ha solo 302 neuroni nel suo sistema nervoso, eppure può generare dinamiche inaspettatamente complesse". La missione di Hasani era quella di "avere meno nodi ma più ricchi". Il risultato sono stati gli LNN.

La parte "liquida" dell'acronimo deriva dall'uso da parte della rete di una costante di tempo liquida (LTC), che è un termine dipendente dall'input che altera la forza delle connessioni della rete per adattarsi a nuovi input. L'LTC è il motivo per cui gli LNN possono adattarsi a nuovi input dopo l'addestramento. Inoltre, la costante di tempo liquida, così come i pesi dei nodi, sono limitati. Ciò significa che gli LNN non sono suscettibili all'esplosione del gradiente come gli RNN tradizionali e altre architetture ricorrenti in tempo continuo.

Gli LNN hanno diversi vantaggi rispetto ai tradizionali framework di previsione delle serie temporali. Innanzitutto, la loro adattabilità. Gli LNN possono alterarsi per modellare nuove distribuzioni dopo l'addestramento grazie alla loro natura "liquida". Questa adattabilità li rende molto capaci in attività con distribuzioni di dati mutevoli e rumore eccessivo. La robustezza delle LNN le rende anche trasferibili tra le attività.

La maggiore densità informativa di ogni neurone significa che le piccole LNN possono modellare comportamenti complessi che potrebbero richiedere decine o centinaia di migliaia di nodi convenzionali per essere modellati.

Questa riduzione delle dimensioni consente alle LNN di essere più trasparenti delle reti neurali convenzionali. Le grandi reti neurali sono scatole nere perché i loro numerosi pesi e nodi rendono difficili da analizzare le relazioni individuali. Riducendo anziché aumentando la scala, nodi e pesi possono essere interpretati nel contesto e puoi non solo raggiungere il tuo obiettivo, ma anche sapere perché lo hai fatto.

 

Commenti

Posta un commento

Esprimi il tuo pensiero

Post popolari in questo blog

Lo sguardo nel tempo della filosofia

Questo non è un manuale, né una cronologia della filosofia.   È un invito. Un invito a pensare senza rete, a incontrare gli autori nel disordine vivo delle idee senza la mappa sicura della storia a guidare il cammino. I saggi che seguono non sono disposti in ordine cronologico: volutamente.  Non si parte dall’antichità per arrivare ai giorni nostri.   Qui si entra in un dialogo che salta nel tempo, che lega in modo inatteso voci lontane, che accosta domande di oggi a risposte di ieri e viceversa. Questo perché la filosofia quando è autentica, non invecchia e non si lascia classificare. Non è una sequenza, ma un’intuizione che torna, un’urgenza che si ripete, una scintilla che si riaccende anche dopo secoli; è lo sguardo che si muove liberamente attraverso il tempo senza esserne prigioniero. Qui la filosofia è un incontro e un urto; è ascolto e spiazzamento. È un tempo che non si misura, ma si abita. Ogni autore trattato è un ritaglio di questo sguardo nel tempo: uno sguar...
Posta un commento
Continua a leggere »

Michel Foucault, il filosofo più cercato sulla rete

Secondo una recente analisi, Michel Foucault ha 1,42 milioni di citazioni su Google Scholar, circa il 75% in più di qualsiasi altro autore nella storia. Questo significa che, a oggi, solo la Bibbia ha avuto un impatto maggiore di Foucault nel plasmare la società e la cultura occidentale. Oppure, se consideriamo la cosa a livello individuale, si può a ragione affermare che Michel Foucault sia la persona più influente nella storia della civiltà moderna. Ma perché? Beh, diciamo solo che non è dovuto al fatto che fosse di facile lettura. Le sue idee possono spesso essere eccessivamente astratte e un po' dense. E soprattutto, non è stato lo scrittore più prolifico. Ad esempio, Noam Chomsky, che è praticamente una divinità nel campo della linguistica, ha scritto o contribuito a oltre 1.100 opere pubblicate, mentre i contributi di Foucault ammontano a poco più di 400. E a conti fatti, questo è praticamente meno della metà del totale di Chompsky. Ma l'ironia è che il numero di ...
Posta un commento
Continua a leggere »

Nuovi stili di arte?

Opera di Silvia Senna L’arte, davvero, è una delle poche cose che restano agli esseri umani. Abbiamo bisogno che l'arte ci racconti storie, che ci salvi dal nostro destino condiviso, dalla nostra paura della morte e dalla paura gli uni degli altri. Abbiamo bisogno che gli artisti ci mostrino che non siamo sempre soli.  Non si può piangere sulle spalle di un robot, ma ci si può alzare dal letto, finalmente, grazie a una canzone, una poesia, una scultura, un quadro. Ciò l'arte porta dal regno dello spirito a quello dei corpi nella scia delle emozioni è semplicemente l'impossibile per un robot. Abbiamo bisogno che i nostri film, i nostri dipinti, le nostre poesie e la nostra musica siano realizzati dall’uomo, perché siamo umani. Ma come in ogni conversazione che coinvolga arte o tecnologia, spesso possiamo perderci nella verbosità. Nel 21° secolo stiamo certamente vedendo le conseguenze delle connessioni interrotte. I social media, una forma un tempo innocente di condivider...
Posta un commento
Continua a leggere »