Réseaux de neurones formels

De la même façon que pour les algorithmes génétiques, des informaticiens se sont inspirés de la biologie pour créer des réseaux de neurones formels afin de réaliser certaines opérations. Un neurone formel est une entité dont le comportement peut généralement être représenté par une fonction mathématique et qui est relié à d’autres neurones formels en un réseau.

Le neurone formel possède généralement plusieurs entrées et une sortie qui correspondent respectivement aux dendrites et à l’axone du neurone. Il est coutumier d’attribuer des poids aux entrées afin de représenter l’importance des synapses et de pouvoir effectuer des opérations plus complexes. Le neurone formel réalise ensuite le calcul de la valeur de la sortie à partir des valeurs des entrées.

Le premier modèle de neurone formel a été celui de McCulloch et Pitts, proposé dès 1943. Dans leur modèle, les entrées comme les sorties sont binaires (égales à 0 ou 1). Le neurone réalise une somme pondérée des entrées. La fonction de Heaviside est ensuite utilisée afin de vérifier si cette somme pondérée est ou non au dessus d’un certain seuil.

Schéma d'un neurone formel

Schéma d'un neurone formel

 

En 1957, Frank Rosenblatt crée le premier réseau de neurones à partir du neurone de McCulloch et Pitts : le Perceptron. Il s’agit d’un réseau très simple, où les neurones sont disposés en une seule couche (en dehors des entrées et des sorties), les connexions se font uniquement vers l’avant et dont la topographie ne peut pas évoluer. En revanche, les poids synaptiques peuvent être modifiés afin de parvenir au résultat souhaité. Ce réseau est capable de réaliser les mêmes opérations qu’un classifieur linéaire.

Réseau de neurones schématisé

Réseau de neurones formels

 

Par la suite, d’autres modèles de neurones formels ont été proposés, tels que les neurones à base radiale, les neurones sigma-pi…

Il est à noter que malgré l’inspiration biologique des neurones formels et des réseaux de neurones, leur comportement n’est pas réellement ressemblant à celui des neurones biologiques ni du cerveau humain. Cela ne signifie pas que ces réseaux ne soient pas utiles pour autant.

Il a en effet été prouvé que le neurone formel de McCulloch et Pitts peut réaliser certaines opérations de calcul logique. Ainsi, on peut réaliser un réseau de neurones formels permettant d’effectuer n’importe quel calcul, et équivalent à une machine de Turing ou à des automates finis. En revanche, un seul neurone ou même un réseau mono-couche tel que le Perceptron ne peut pas réaliser d’opérations non linéaires telles qu’un ou exclusif, comme l’ont prouvé Minsky et Papert en 1969. Suite à leur publication, dont les implications n’avaient pas été bien comprises par tous, le connexionnisme a été temporairement abandonné par les financements publics. Comme l’a expliqué Minsky par la suite :

« Ce qu’on prouve dans ce livre, c’est que dans [les perceptrons classiques], il n’est pas possible de calculer certains prédicats à moins qu’au moins un des neurones ne soit connecté avec un poids non nul à chaque entrée. Ceci allait à l’encontre de ce qu’espéraient certains chercheurs, qu’on pourrait essentiellement se contenter de réseaux avec quelques couches de neurones “locaux”, chacun n’étant connecté qu’à un petit nombre d’entrées. Un réseau “feed-forward” et avec des neurones locaux est beaucoup plus simple à construire et à utiliser qu’un réseau de neurones plus grand et récurrent, et dont les chercheurs, à l’époque, se concentraient sur ceux-là et non sur des réseaux plus compliqués. »

Articles connexes

Laisser un commentaire


NOTE - Vous pouvez utiliser les éléments et attributs HTML tags and attributes:
<a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>