Réseau de Neurones (Neural Network)

Définition

Un réseau de neurones artificiels, ou Neural Network, est un modèle computationnel composé de multiples couches de neurones artificiels interconnectés, s'inspirant très librement de l'organisation du cerveau biologique, capable d'apprendre progressivement des représentations hiérarchiques de plus en plus abstraites à partir de données brutes, sans nécessiter de règles explicitement programmées pour chaque tâche. Chaque neurone artificiel applique une transformation linéaire simple à ses entrées, combinant une matrice de poids appris W et un vecteur de biais b, suivie systématiquement d'une fonction d'activation non-linéaire, telle que ReLU, GELU ou SiLU selon l'architecture, cette non-linéarité étant indispensable pour permettre au réseau d'approximer des fonctions complexes bien au-delà d'une simple combinaison linéaire de ses entrées. Les architectures se sont considérablement diversifiées selon le type de données et de tâche visée : les réseaux convolutifs (CNN), particulièrement adaptés au traitement d'images grâce à leur capacité à détecter des motifs locaux invariants par translation, les réseaux récurrents (RNN et LSTM), historiquement dominants pour les séquences temporelles avant l'avènement du Transformer, et les architectures Transformer, aujourd'hui dominantes en traitement du langage naturel grâce à leur mécanisme d'attention. L'entraînement de ces réseaux s'effectue par rétropropagation du gradient, ajustant itérativement les poids pour minimiser une fonction de perte définie.