Passa ai contenuti principali

Le reti neurali liquide (LNN)


 

Le reti neurali liquide (LNN) sono una direzione entusiasmante e relativamente nuova nella ricerca AI/ML che promette reti neurali più compatte e dinamiche per la previsione delle serie temporali. Le LNN offrono un nuovo approccio ad attività come la previsione del meteo, il riconoscimento vocale e la guida autonoma. Il vantaggio principale offerto dalle LNN è che continuano ad adattarsi a nuovi stimoli dopo l'addestramento. Inoltre, le LNN sono robuste in condizioni rumorose e sono più piccole e più interpretabili delle loro controparti convenzionali.

Le LNN e concetti simili esistono da un po', ma il documento del 2020, Liquid Time Constant Networks, le ha catapultate in prima linea nello spazio AI/ML. Da allora, si sono consolidate come una direzione affascinante per i predittori di serie temporali volti ad aumentare la capacità rappresentativa dei singoli neuroni anziché derivare la capacità attraverso la scala.

Durante lo sviluppo del concetto di LNN, Hasani si è ispirato direttamente ai neuroni biologici nel nematode C. elegans, un verme rotondo microscopico. Ramin Hasani, autore principale del documento del 2020, osserva che "It [C. Elegans] ha solo 302 neuroni nel suo sistema nervoso, eppure può generare dinamiche inaspettatamente complesse". La missione di Hasani era quella di "avere meno nodi ma più ricchi". Il risultato sono stati gli LNN.

La parte "liquida" dell'acronimo deriva dall'uso da parte della rete di una costante di tempo liquida (LTC), che è un termine dipendente dall'input che altera la forza delle connessioni della rete per adattarsi a nuovi input. L'LTC è il motivo per cui gli LNN possono adattarsi a nuovi input dopo l'addestramento. Inoltre, la costante di tempo liquida, così come i pesi dei nodi, sono limitati. Ciò significa che gli LNN non sono suscettibili all'esplosione del gradiente come gli RNN tradizionali e altre architetture ricorrenti in tempo continuo.

Gli LNN hanno diversi vantaggi rispetto ai tradizionali framework di previsione delle serie temporali. Innanzitutto, la loro adattabilità. Gli LNN possono alterarsi per modellare nuove distribuzioni dopo l'addestramento grazie alla loro natura "liquida". Questa adattabilità li rende molto capaci in attività con distribuzioni di dati mutevoli e rumore eccessivo. La robustezza delle LNN le rende anche trasferibili tra le attività.

La maggiore densità informativa di ogni neurone significa che le piccole LNN possono modellare comportamenti complessi che potrebbero richiedere decine o centinaia di migliaia di nodi convenzionali per essere modellati.

Questa riduzione delle dimensioni consente alle LNN di essere più trasparenti delle reti neurali convenzionali. Le grandi reti neurali sono scatole nere perché i loro numerosi pesi e nodi rendono difficili da analizzare le relazioni individuali. Riducendo anziché aumentando la scala, nodi e pesi possono essere interpretati nel contesto e puoi non solo raggiungere il tuo obiettivo, ma anche sapere perché lo hai fatto.

 

Commenti

Posta un commento

Esprimi il tuo pensiero

Post popolari in questo blog

Lo sguardo nel tempo della filosofia

Questo non è un manuale, né una cronologia della filosofia.   È un invito. Un invito a pensare senza rete, a incontrare gli autori nel disordine vivo delle idee senza la mappa sicura della storia a guidare il cammino. I saggi che seguono non sono disposti in ordine cronologico: volutamente.  Non si parte dall’antichità per arrivare ai giorni nostri.   Qui si entra in un dialogo che salta nel tempo, che lega in modo inatteso voci lontane, che accosta domande di oggi a risposte di ieri e viceversa. Questo perché la filosofia quando è autentica, non invecchia e non si lascia classificare. Non è una sequenza, ma un’intuizione che torna, un’urgenza che si ripete, una scintilla che si riaccende anche dopo secoli; è lo sguardo che si muove liberamente attraverso il tempo senza esserne prigioniero. Qui la filosofia è un incontro e un urto; è ascolto e spiazzamento. È un tempo che non si misura, ma si abita. Ogni autore trattato è un ritaglio di questo sguardo nel tempo: uno sguar...
Posta un commento
Continua a leggere »

Michel Foucault, il filosofo più cercato sulla rete

Secondo una recente analisi, Michel Foucault ha 1,42 milioni di citazioni su Google Scholar, circa il 75% in più di qualsiasi altro autore nella storia. Questo significa che, a oggi, solo la Bibbia ha avuto un impatto maggiore di Foucault nel plasmare la società e la cultura occidentale. Oppure, se consideriamo la cosa a livello individuale, si può a ragione affermare che Michel Foucault sia la persona più influente nella storia della civiltà moderna. Ma perché? Beh, diciamo solo che non è dovuto al fatto che fosse di facile lettura. Le sue idee possono spesso essere eccessivamente astratte e un po' dense. E soprattutto, non è stato lo scrittore più prolifico. Ad esempio, Noam Chomsky, che è praticamente una divinità nel campo della linguistica, ha scritto o contribuito a oltre 1.100 opere pubblicate, mentre i contributi di Foucault ammontano a poco più di 400. E a conti fatti, questo è praticamente meno della metà del totale di Chompsky. Ma l'ironia è che il numero di ...
Posta un commento
Continua a leggere »

L'algoritmo per verificare l'età dei naviganti Internet

  Google inizierà a utilizzare algoritmi di apprendimento automatico addestrati con informazioni ottenute dall'azienda stessa per la verifica dell'età per fornire quelle che definisce "esperienze appropriate all'età". Il modello di stima dell'età utilizzerà dati sugli utenti esistenti, tra cui le pagine che visitano, il tipo di video che guardano su YouTube o l'età del loro account, per determinare la loro età.  Quando pensa che un utente possa essere minorenne, l'azienda lo informerà che ha modificato alcune delle sue impostazioni per impedirgli di accedere a determinati tipi di contenuti e offrirà consigli su come può verificare la sua età se lo desidera, scattando un selfie, inserendo i dettagli della carta di credito o utilizzando un documento d'identità ufficiale. L'iniziativa è una risposta alle pressioni degli enti di regolamentazione che chiedono misure per proteggere i minori, nello stesso modo in cui ha fatto Meta. Ma sebbene possa se...
Posta un commento
Continua a leggere »