Separating objects and ‘neural’ computation

John J. Hopfield; Carlos D. Brody

doi:10.1016/S1631-0691(03)00017-9

Résumés

Anglais
Français

This article demonstrates how that the effectiveness of nervous system in doing the computations essential to an organism can be based on using algorithms that are readily implemented by nervous system ‘device biophysics’. Collective effects and collective algorithms that exploit their dynamics provide powerful potential for useful neuronal computations.

Cet article montre comment l'efficacité du système nerveux dans la réalisation de calculs nécessaires à un organisme peut être basée sur sa capacité à utiliser des algorithmes qui sont aisément mis en œuvre par les « dispositifs biophysiques » du cerveau. Des effets collectifs et des algorithmes collectifs qui exploitent leurs dynamiques fournissent un fort potentiel pour d'utiles modélisations neuronales.

Version française abrégée

Les hommes, contemplant un spectacle, le divisent facilement en objets, même quand ces objets ne leur sont pas familiers. En écoutant les voix de plusieurs orateurs, on peut séparer un objet (c'est-à-dire un orateur) d'un autre et prêter attention à cette voix, même d'une seule oreille, et même quand les orateurs ne nous sont pas familiers. De nombreux animaux, possédant un sens de l'olfaction développé et qui peuvent détecter à grande distance des proies, des dangers ou d'autres membres de leur espèce, doivent distinguer, dans les signaux qu'ils reçoivent, des objets. Distinguer des objets dans un stimulus complexe implique un travail de calcul considérable. La capacité qu'ont les animaux de réaliser cette tâche est fortement accrue par l'apprentissage, mais cette capacité est probablement innée, inscrite dans la topologie des réseaux neuronaux. La phrase : « Tout ce qui se déplace de manière coordonnée est un objet » fournit la base conceptuelle de la définition d'un objet [1].

Les fondements du calcul constituent un lien entre la programmation d'un ordinateur et les ordinateurs. Ainsi, tous les programmes d'ordinateurs peuvent être basés sur un petit nombre d'opérations binaires telles que ET, OU et PAS. Chacune de ces opérations peut être exécutée à l'aide de deux à quatre transistors. On peut ainsi construire un ordinateur qui peut être mis en interface avec des programmes écrits en termes d'opérations logiques élémentaires. C'est un moyen efficace pour construire un ordinateur, car les opérations fondamentales peuvent alors être réalisées avec très peu de hardware.

Le hardware de la neurobiologie est très différent de celui des ordinateurs. Nous avons récemment montré que de nouveaux fondements de calcul peuvent être formulés en exploitant des propriétés simples et générales des neurones. Le principe peut être formulé comme suit. Soit un grand nombre, N, de variables continues X_i. Est-il vrai qu'il existe un grand sous-ensemble n (voisin de N) tel que, dans ce sous-ensemble, X_i≈X_j pour tous les i et j de ce sous-ensemble ? Ou encore, est-ce que ce vecteur $X$ possède un grand sous-ensemble de composantes telles que, dans le sous-ensemble de ces composantes, le vecteur est orienté dans la direction $(1, 1, 1, . . .)$ ?

Ce principe est naturellement présent dans les systèmes neuronaux, en raison de la tendance qu'ont les oscillateurs non linéaires couplés à se synchroniser. Quand des oscillateurs de fréquence voisine sont mutuellement couplés, ils se synchronisent si leur couplage est suffisamment fort. Les neurones qui produisent des potentiels d'action se comportent comme des oscillateurs fortement non linéaires. Les synapses couplent entre eux ces oscillateurs, qui se synchronisent, si les vitesses auxquelles les neurones engendrant les potentiels d'action, ou spikes, sont voisins. Un simple ensemble de neurones couplés peut donc exécuter les fondements du calcul évoqués ci-dessus. La « réponse » est fournie par le degré de synchronisation des neurones.

Afin d'illustrer l'utilité et la puissance de ce principe de calcul [2,3], nous l'avons appliqué au problème de la reconnaissance d'une syllabe ou d'un mot court au sein d'un discours. On réalise d'abord un simple prétraitement des sons afin d'obtenir des réponses de « modèles de neurones » semblables à celle des neurones du cortex auditif primaire. On utilise un retard d'activité pour propager l'information du signal légèrement décalée dans le temps. En utilisant les résultats de ces réponses de type « neuronal » comme un input fourni à un réseau de neurones couplés, il devient possible de reconnaı̂tre des discours de courte durée de manière indépendante des distorsions du message. Le fondement du calcul mis en œuvre par ce réseau implique un algorithme de reconnaissance indépendant des distorsions temporelles du message. Cet algorithme est suffisamment puissant pour reconnaı̂tre un mot connu en présence d'autres mots inconnus, et permet ainsi l'isolement d'un « objet auditif ».

La raison pour laquelle cette tâche de séparation d'un objet peut être réalisée simplement est liée au succès précédemment obtenu dans l'identification d'une odeur connue en présence d'un arrière-fond d'odeurs inconnues [4]. Un description relativement sommaire peut être faite du gain d'information, dans les deux cas. Dans cette description, un certain nombre de voies d'information ne sont pas affectées par le second « objet ». On ne sait pas de quelle voie il s'agit, mais l'algorithme permet néanmoins de les utiliser. Dans le cas de l'olfaction, la synchronisation a déjà été impliquée en tant que moyen permettant de séparer les objets, à l'aide du principe selon lequel des mouvements coordonnés signifient l'existence d'un seul objet. Comme on peut s'y attendre, les simulations et les mathématiques indiquent que les problèmes visuels et olfactifs sont étroitement liés. Alors que la synchronisation de l'activité des neurones a été observée dans le cas de l'activité olfactive du criquet [5], des expériences portant sur des ensembles d'objets n'ont pas été réalisées. Des effets de synchronisation ont aussi été observés sur le cortex visuel [6], mais on ne connaı̂t pas encore leur rôle algorithmique.

L'efficacité du système nerveux dans la réalisation de calculs nécessaires à un organisme est basée sur sa capacité à utiliser des algorithmes qui sont aisément mis en oeuvre par les « dispositifs biophysiques » du cerveau.

English version

Humans looking at a visual scene effortlessly parse it into objects, even when the objects are not familiar. When listening to the voices of several speakers, we can separate one ‘object’ (i.e. one speaker) from another, and attend to that voice, even monaurally, and even when the particular speakers are unfamiliar. Highly olfactory animals that detect distant prey, dangers, or mates must similarly separate their mixed input into objects. Separating a complex stimulus into appropriate objects is a computationally daunting task. The ability of animals to perform such tasks is greatly enhanced by learning, but a crude such ability is probably inborn, based on simple neural circuitry. “What moves together is an object” provides a strong and very rapid perceptual grouping for all three senses, and provides a unifying conceptual basis for defining objects [1].

Computational primitives form a link between computer programming and actual computers. For example, all computer programs can be based on few elementary binary operations, such as AND, OR and NOT. Each of these operations can be implemented using 2–4 transistors. Thus a computer can be built, which easily interfaces with programs written in terms of elementary logical operations. It is an effective way to build a computer, since the fundamental operations desired by a programmer are implemented with very little hardware.

The ‘hardware’ of neurobiology differs greatly from that of silicon computers. We have recently shown that a new computational primitive can be efficiently implemented by exploiting simple and general properties of neurons. The primitive can be expressed as follows. Given a large number N of continuous variables X_i, is it true that there exists a large subset n (of order N) such that within that subset, X_i≈X_j for all i and j in the subset? Alternatively, does the vector $X$ have a large subset of components, such that in the subspace of these components, the vector is in the $(1, 1, 1 . . .)$ direction?

This is a natural primitive for neural systems, because of the propensity of coupled non-linear oscillators to synchronize. When similar oscillators of similar frequencies are coupled together, they often will synchronize if the coupling is sufficiently strong compared to the frequency spread. Neurons producing action potentials are strongly non-linear oscillators. Synapses between them couple these oscillators. They will synchronize if their driving currents (and thus the rate at which the neurons generate action potentials or ‘spikes’) are sufficiently similar. A set of simple coupled neurons can therefore implement the above new computational primitive. The “answer” is produced by the degree of synchrony of the neurons.

To illustrate the utility and power of this computing primitive [2,3], we have applied it to the problem of recognizing a syllable or a short word in natural speech. Simple pre-processing of sounds in frequency channels is first carried out, resulting in ‘model neuron’ responses, similar to neurons seen in primary auditory cortex. Delay activity is used to propagate information about the signal briefly forward in time. Using the results of these two quite ‘neural’ responses as the input to a network of coupled spiking neurons, it is now possible to perform short-duration speech recognitions tasks in a fashion that is time-warp invariant. The computing primitive: “Are many almost equal?” implemented by this network implements a time-warp invariant recognition algorithm. This algorithm is powerful enough that it can succeed in recognizing a known word in the simultaneous presence of other unknown spoken words, thus succeeding in one simple auditory ‘object separation’ task.

The reason that this object separation task can be done in a simple way is directly related to the success of earlier work on the identification of a known odor in the presence of a previously unfamiliar background odor [4]. A relatively sparse description of the incoming information can be made in both instances. With such a description, a fraction of the information channels will be uncorrupted by the presence of the second ‘object’. It is unknown which channels these are, but the algorithm can nonetheless make use of them. In the olfactory case, synchrony has previously been implicated theoretically as a means to separate objects, making use of the ‘co-motion=a single object’ principle. Indeed simulations and mathematics indicate that the visual and olfactory problems are closely related. While synchrony of firing has been seen in simple olfactory paradigms in the locust [5], experiments relevant to multiple objects have not been performed. Synchrony effects have also been observed in visual cortex [6], but it is not yet clear what is their algorithmic role.

The effectiveness of nervous system in doing the computations essential to an organism is based on using algorithms that are readily implemented by nervous system ‘device biophysics’. Collective effects and collective algorithms that exploit their dynamics provide powerful potential for useful neuronal computations.