Passa ai contenuti principali

Le reti neurali liquide (LNN)


 

Le reti neurali liquide (LNN) sono una direzione entusiasmante e relativamente nuova nella ricerca AI/ML che promette reti neurali più compatte e dinamiche per la previsione delle serie temporali. Le LNN offrono un nuovo approccio ad attività come la previsione del meteo, il riconoscimento vocale e la guida autonoma. Il vantaggio principale offerto dalle LNN è che continuano ad adattarsi a nuovi stimoli dopo l'addestramento. Inoltre, le LNN sono robuste in condizioni rumorose e sono più piccole e più interpretabili delle loro controparti convenzionali.

Le LNN e concetti simili esistono da un po', ma il documento del 2020, Liquid Time Constant Networks, le ha catapultate in prima linea nello spazio AI/ML. Da allora, si sono consolidate come una direzione affascinante per i predittori di serie temporali volti ad aumentare la capacità rappresentativa dei singoli neuroni anziché derivare la capacità attraverso la scala.

Durante lo sviluppo del concetto di LNN, Hasani si è ispirato direttamente ai neuroni biologici nel nematode C. elegans, un verme rotondo microscopico. Ramin Hasani, autore principale del documento del 2020, osserva che "It [C. Elegans] ha solo 302 neuroni nel suo sistema nervoso, eppure può generare dinamiche inaspettatamente complesse". La missione di Hasani era quella di "avere meno nodi ma più ricchi". Il risultato sono stati gli LNN.

La parte "liquida" dell'acronimo deriva dall'uso da parte della rete di una costante di tempo liquida (LTC), che è un termine dipendente dall'input che altera la forza delle connessioni della rete per adattarsi a nuovi input. L'LTC è il motivo per cui gli LNN possono adattarsi a nuovi input dopo l'addestramento. Inoltre, la costante di tempo liquida, così come i pesi dei nodi, sono limitati. Ciò significa che gli LNN non sono suscettibili all'esplosione del gradiente come gli RNN tradizionali e altre architetture ricorrenti in tempo continuo.

Gli LNN hanno diversi vantaggi rispetto ai tradizionali framework di previsione delle serie temporali. Innanzitutto, la loro adattabilità. Gli LNN possono alterarsi per modellare nuove distribuzioni dopo l'addestramento grazie alla loro natura "liquida". Questa adattabilità li rende molto capaci in attività con distribuzioni di dati mutevoli e rumore eccessivo. La robustezza delle LNN le rende anche trasferibili tra le attività.

La maggiore densità informativa di ogni neurone significa che le piccole LNN possono modellare comportamenti complessi che potrebbero richiedere decine o centinaia di migliaia di nodi convenzionali per essere modellati.

Questa riduzione delle dimensioni consente alle LNN di essere più trasparenti delle reti neurali convenzionali. Le grandi reti neurali sono scatole nere perché i loro numerosi pesi e nodi rendono difficili da analizzare le relazioni individuali. Riducendo anziché aumentando la scala, nodi e pesi possono essere interpretati nel contesto e puoi non solo raggiungere il tuo obiettivo, ma anche sapere perché lo hai fatto.

 

Commenti

Posta un commento

Esprimi il tuo pensiero

Post popolari in questo blog

Nuovi stili di arte?

Opera di Silvia Senna L’arte, davvero, è una delle poche cose che restano agli esseri umani. Abbiamo bisogno che l'arte ci racconti storie, che ci salvi dal nostro destino condiviso, dalla nostra paura della morte e dalla paura gli uni degli altri. Abbiamo bisogno che gli artisti ci mostrino che non siamo sempre soli.  Non si può piangere sulle spalle di un robot, ma ci si può alzare dal letto, finalmente, grazie a una canzone, una poesia, una scultura, un quadro. Ciò l'arte porta dal regno dello spirito a quello dei corpi nella scia delle emozioni è semplicemente l'impossibile per un robot. Abbiamo bisogno che i nostri film, i nostri dipinti, le nostre poesie e la nostra musica siano realizzati dall’uomo, perché siamo umani. Ma come in ogni conversazione che coinvolga arte o tecnologia, spesso possiamo perderci nella verbosità. Nel 21° secolo stiamo certamente vedendo le conseguenze delle connessioni interrotte. I social media, una forma un tempo innocente di condivider...
Posta un commento
Continua a leggere »

Lo sguardo nel tempo della filosofia

Questo non è un manuale, né una cronologia della filosofia.   È un invito. Un invito a pensare senza rete, a incontrare gli autori nel disordine vivo delle idee senza la mappa sicura della storia a guidare il cammino. I saggi che seguono non sono disposti in ordine cronologico: volutamente.  Non si parte dall’antichità per arrivare ai giorni nostri.   Qui si entra in un dialogo che salta nel tempo, che lega in modo inatteso voci lontane, che accosta domande di oggi a risposte di ieri e viceversa. Questo perché la filosofia quando è autentica, non invecchia e non si lascia classificare. Non è una sequenza, ma un’intuizione che torna, un’urgenza che si ripete, una scintilla che si riaccende anche dopo secoli; è lo sguardo che si muove liberamente attraverso il tempo senza esserne prigioniero. Qui la filosofia è un incontro e un urto; è ascolto e spiazzamento. È un tempo che non si misura, ma si abita. Ogni autore trattato è un ritaglio di questo sguardo nel tempo: uno sguar...
Posta un commento
Continua a leggere »

I tentacoli di AI sulla pornografia

  L'intelligenza artificiale è in ascesa da anni. Solo negli ultimi mesi, alcuni degli sviluppi in quest'area della tecnologia sono diventati difficili da ignorare. Con l'avvento dei servizi di creazione di immagini AI come Dall-E 2, Midjourney e Lensa, questo nuovo campo in rapida crescita è diventato qualcosa di completamente nuovo. Poco dopo il rilascio di questi strumenti di creazione di immagini, è entrato in scena anche ChatGPT. Man mano che sempre più persone hanno iniziato a saperne di più, tutti, dagli scrittori e insegnanti agli studenti e storici, hanno iniziato a fare ipotesi sui modi in cui questi servizi avrebbero potuto cambiare tutto in futuro. Con la rapidità con cui si muovono le cose nel mondo della tecnologia, è difficile immaginare che questi programmi non miglioreranno nel tempo. E quando lo faranno, è difficile negare la minaccia che rappresenteranno per i creatori di ogni tipo. Poiché la pornografia su Internet ha pervaso sempre più la nostra c...
Posta un commento
Continua a leggere »