Technologie

Dynamique neurale: Notions de base (Réseaux Hopfield) – Sonia Joseph

Dynamique neurale: Notions de base (Réseaux Hopfield) - Sonia Joseph


2*gcr1Gk97sk5UtVkvwl76fQ - Dynamique neurale: Notions de base (Réseaux Hopfield) - Sonia Joseph

Comment un comportement d'ordre supérieur émerge-t-il de milliards de neurones qui se déclenchent?

Cet article est une introduction de base à la réflexion sur le cerveau dans le contexte de systèmes dynamiques. J'ai trouvé cette façon de penser beaucoup plus utile que les paradigmes de type phrénologique que les articles de vulgarisation scientifique adorent, dans lesquels des zones du cerveau spatialement modulaires encodent des fonctions spécifiques. J'ai essayé de garder cette introduction aussi simple et claire que possible, et accessible à toute personne sans formation en neuroscience ou en mathématiques.

Pour une liste des articles phares en dynamique neurale, allez ici.

Les systèmes physiques constitués d'un grand nombre d'éléments simples donnent lieu à des phénomènes collectifs. Par exemple, les étourneaux volants:

Chaque starling suit des règles simples: se coordonner avec sept voisins, rester près d'un point fixe et se déplacer à une vitesse fixe. Le résultat est un comportement complexe émergent du troupeau.

Le cerveau est similaire: chaque neurone suit un ensemble de règles simples et, collectivement, ils produisent un comportement complexe d'ordre supérieur, allant du suivi du temps au chant d'une mélodie. Certes, les vrais neurones sont très variés et ne suivent pas tous le même ensemble de règles, mais nous supposons souvent que nos neurones modèles le font afin de garder les choses simples.

Bien que de nombreux types de ces modèles existent, j'utiliserai les réseaux Hopfield de cet article précurseur pour démontrer certaines propriétés générales. Les réseaux Hopfield étaient à l'origine utilisés pour modéliser la mémoire associative humaine, dans laquelle un réseau d'unités simples converge vers un état stable, selon un processus que je décrirai ci-dessous.

Suivant le paradigme décrit ci-dessus, chaque neurone du réseau respecte un ensemble de règles simples. Chaque neurone est similaire à un perceptron, un modèle binaire à un seul neurone. (Il existe quelques différences mineures entre les unités Perceptrons et Hopfield, qui ont une non-directionnalité, une entrée de stimulus direct et des constantes de temps, mais je n’entrerai pas dans les détails ici.)

Les entrées pour chaque neurone sont des signaux des neurones entrants [X[x… xn], qui sont multipliés par la force de leurs connexions [w₁…. wn], également appelé poids.

Perceptron de Rosenblatt. De Wikipedia.

Une fois que les signaux et les poids sont multipliés ensemble, les valeurs sont additionnées. Si la somme totale est supérieure ou égale au seuil −b, alors la valeur de sortie est 1, ce qui signifie que le neurone se déclenche. Si la somme est inférieure au seuil, la sortie est 0, ce qui signifie que le neurone ne se déclenche pas.

Les règles ci-dessus sont modélisées par l'équation:

Un réseau Hopfield est constitué de ces neurones reliés entre eux sans directionnalité. Dans les réseaux de neurones hiérarchiques, le réseau a un flux d’informations directionnel (par exemple, dans l’algorithme de reconnaissance faciale de Facebook, l’entrée est en pixels et la sortie est le nom de la personne). Cependant, dans un réseau Hopfield, toutes les unités sont liées les unes aux autres sans couche d’entrée et de sortie. Nous considérons l'entrée comme étant l'état d'énergie de tous les neurones avant de faire fonctionner le réseau, et la sortie comme étant l'état d'énergie après.

La force de la connectivité synaptique wijwij entre les neurones ii et jj suit la règle d’apprentissage de Hebbian dans laquelle les neurones qui tirent ensemble filent ensemble, et les neurones qui tirent de manière désynchronisée ne parviennent pas à se lier:

Vi et Vj, les états de neurones je et j, sont soit 0 (inactif) ou 1 (actif). Comme on peut le voir par l’équation, si les deux neurones sont 0, ou si les deux neurones sont 1, puis wij = 1. Si un neurone est 0et l'autre est 1, puis wij = −1.

Un concept important dans les réseaux Hopfield, et plus largement dans les systèmes dynamiques, est territoire de l'État, parfois appelé le paysage énergétique.

Le réseau total de Hopfield a la valeur E associé à l’énergie totale du réseau, qui est essentiellement la somme de l’activité de toutes les unités. Le réseau tendra vers des états d'énergie plus faibles. Nous pouvons penser à cette idée représentée par un paysage énergétique, vu ci-dessous:

Paysage énergétique de Wikipedia.

L'axe des ordonnées représente l'énergie du système E, et l’axe des x représente tous les états possibles dans lesquels le système pourrait se trouver. Sur tous les états d’énergie possibles, le système convergera vers un minima locaux, aussi appelé un état attracteur, dans lequel l’énergie du système total est localement la plus basse. Imaginez un bal roulant dans le paysage énergétique vallonné et attrapé dans un état attracteur.

Alors que le graphique ci-dessus représente l’espace d’états dans une dimension, nous pouvons généraliser la représentation de cet espace à n dimensions.

Parcourons le réseau Hopfield en action et expliquons comment il pourrait modéliser la mémoire humaine.

Nous initialisons le réseau en définissant les valeurs des neurones selon un modèle de départ souhaité. Le réseau fonctionne selon les règles des sections précédentes, la valeur de chaque neurone changeant en fonction des valeurs de ses neurones en entrée. Finalement, le réseau converge vers un état attracteur, la plus basse valeur énergétique du système.

Les états attracteurs sont des «mémoires» que le réseau doit «mémoriser». Avant d'initialiser le réseau, nous le «formons», processus par lequel nous actualisons les poids afin de définir les mémoires comme états attracteurs. Le réseau peut donc agir en tant que système de mémoire à contenu adressable («associatif»), qui récupère des mémoires sur la base de la similarité. Si nous formons un réseau à quatre neurones de sorte que l'état (-1, -1, -1, 1) soit un état attracteur, le réseau convergera vers l'état attracteur dans un état de départ. Par exemple, (-1, -1, -1, -1) convergera vers (-1, -1, -1, 1).

Comment les réseaux Hopfield se rapportent-ils à la mémoire humaine?

Dites que vous mordez dans un cornet de crème glacée aux pépites de chocolat à la menthe. Ce cornet de glace pourrait être représenté sous forme de vecteur (-1, -1, -1, -1). Maintenant, disons que pour une raison quelconque, il existe un cône de crème glacée aux pépites de chocolat à la menthe de notre enfance - peut-être que vous le mangiez avec vos parents et que le souvenir a une forte résonance émotionnelle - représenté par (-1, -1, -1, 1 ). En mordant dans le cornet de glace d’aujourd’hui, vous pensez au cornet de glace à la menthe et aux pépites de chocolat des années précédentes. Qu'est-il arrivé? La mémoire du point de départ (-1, -1, -1, -1) a convergé vers l’état attracteur du système (-1, -1, -1, 1).

Nous pouvons généraliser cette idée: certains neuroscientifiques émettent l'hypothèse que notre perception des nuances de couleur converge vers une nuance d'état attracteur de cette couleur. C’est également amusant de penser aux réseaux Hopfield dans le contexte du célèbre passage de madeleine de Proust, dans lequel le narrateur mord dans une madeleine et est ramené dans l’enfance. (Son état de départ de la madeleine converge vers l'état attracteur de la madeleine de l'enfance.)

L’esprit de Proust converge vers Combray en ce moment. De Wikipedia.

Comme pour la plupart des modèles de neurosciences informatiques, nous intervenons au troisième niveau d’analyse de Marr. En d'autres termes, nous ne sommes pas sûrs que le cerveau fonctionne physiquement comme un réseau Hopfield. Le cerveau pourrait travailler physiquement comme un réseau Hopfield, mais l’instanciation biologique de la mémoire n’est pas le problème; nous cherchons plutôt des métaphores mathématiques utiles.

Ceci conclut cette amorce de base sur la dynamique neuronale, dans laquelle nous avons appris l’émergence et l’espace d’états. Parmi les autres concepts utiles figurent les variétés de cadence de déclenchement et les comportements oscillatoires et chaotiques, qui constitueront le contenu d'un futur message.

Pour une liste des articles fondamentaux sur la dynamique neuronale, cliquez ici.

Cet article a été publié à l'origine ici. J'apprécie toujours les commentaires, alors laissez-moi savoir ce que vous pensez, que ce soit dans les commentaires ou par courrier électronique.

Afficher plus

SupportIvy

SupportIvy.com : Un lieu pour partager le savoir et mieux comprendre le monde. Meilleure plate-forme de support gratuit pour vous, Documentation &Tutoriels par les experts.

Articles similaires

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Bouton retour en haut de la page
Fermer