CC-BY 4.0
In this review, I begin with describing the theoretical framework of decision theory that provides the basis of computational models used to analyze behavioral performance in patients with neuropsychiatric conditions. A computational model is nothing but a series of mathematical operations (i.e., an algorithm) that formalize information processing in the brain, so as to perform the same behavioral tests as patients do, receiving the same stimuli and producing the same responses. Then I expose some key tests that have been used to assess motivation in both animals and humans, and how computational parameters can be inferred from behavioral performance. Finally, I sketch some general ideas about the neural counterparts of theoretical variables that could represent targets for treatments, before closing with the main neuro-psychiatric conditions in which the computational approach seems particularly promising.
1. Theoretical framework
The term motivation relates to the interpretation of an action as being goal-directed (Figure 1). According to its etymology, the meaning of motivation is “to set in motion”. In that sense, the term motivation designates a process that adjusts both the direction and the intensity of the action. However, we also use this term in reference to the justification of an action—the reason why it is engaged. This is the content of motivation, i.e. the hidden goal that is pursued by the agent. In a last sense, we speak of motivation as something that can be quantified, for instance in job interviews or clinical evaluations. This quantity is the goal value, or equivalently, the maximal cost that the agent would accept in order to reach that goal. Thus, the term motivation is better understood as a state with two attributes (the goal and its value), whose function is to adjust the direction and intensity of the behavior.
Motivation in the framework of goal-directed action. A goal-directed action is instrumental: it reduces the delay and/or augments the probability of goal attainment. In that framework, motivation as a process is the selection of action direction and intensity, motivation as a content is the goal imagined as the desirable endpoint of the action, and motivation as a quantity is the expected value of the goal, i.e. the maximal acceptable cost for reaching this goal. According to decision theory, the direction and intensity of the behavior are adjusted so as to maximize the expected benefit while minimizing the expected cost.
1.1. The limits of psychometric scoring
Clinical assessment of motivation deficits is focused on intensity. Psychometric scores are based on clinical scales, such as Starktein’s apathy scale [1], that propose a list of items that patients (or their caregivers) must rate depending on how well they describe their situation. Regarding apathy, items may be for instance: “Are you interested in learning new things?” or “Do you have energy for daily activities?”. These questions are quick and simple, and give the opportunity for patients to express their deficit, if they are willing to. However, they suffer from a number of limitations. First, they depend on insight, which may be compromised in patients with cognitive deficits, and can be biased by social desirability (admitting lack of motivation is giving poor self-image). Second, they necessitate language and thus cannot be used in translational research testing motivation deficits and their treatments in animals. Third, they use the term motivation as a common-sense word, although it is polysemic and may not correspond to a specific neural system that could be targeted by treatments. For instance, question 7 in Starkstein’s scale is a blunt “Do you have motivation?”
Because of the gap between clinical language and neural circuitry, scientists have attempted to decompose the term motivation into formal variables that may have biological counterparts.
1.2. The promises of decision theory
The meaning of motivation exposed above, in the framework of goal-directed action, fits well with the formalism of decision theory, which specifies the way a rational agent should choose between different courses of actions. According to the theory, a rational choice selects the action with the highest expected net value, defined as the maximal difference between expected benefits and expected costs. The expected net value function, depending on the considered action, can be written as follows:
The same principle of expected value maximization can apply to both the choice between qualitatively different actions (leading to different goals), and the choice between quantitatively different intensities for a same action (changing its cost but also the probability of goal attainment). Note also that expected value maximization can account for the choice between doing something or nothing (which entails zero cost for zero benefit): if the alternative is no action, then an action will be engaged whenever its expected net value is positive.
The equation proposed above is voluntarily simplified. Other terms may be relevant, depending on the situation, for instance delay (between action execution and goal attainment). And non-linearities may be introduced to capture subjective distortions, such as hyperbolic discounting with delay [2, 3]. However, it is sufficient to understand the logic of the tests and models that I expose below. Indeed, many studies investigating motivation have focused on the tradeoff between the required effort and the promised reward (i.e., the goal). In this case, motivation can be quantified as the maximal effort that an agent is willing to exert in order to get the reward at stake.
2. Empirical tests
The first tests for assessing motivation have been developed for animals, rodents mostly [4, 5], before being adapted to humans (Figure 2). They are sometimes called “effort-based decision test” and sometimes “incentive motivation test”, depending on whether or not choices are made explicit, but they all have in common to involve trading effort for reward.
Empirical tests of the effort/reward tradeoff. In decision tests, the choice between small reward—low effort and big reward—high effort options is made explicit. In motivation test, there is an implicit choice within a continuous set of options, from null to maximal effort, knowing that reward will be proportional. Classic tests in animals use barrier climbing or lever pressing for effort and food for reward. A typical test in humans uses handgrip squeeze for physical effort and money for reward. The effort level is visualized as a cursor moving up within a scale graduated from 0 to maximal force. Coin images indicate the reward levels associated to the two options in decision tests, and the maximal reward (obtained with maximal force) in motivation tests.
Decision tests impose a choice between two options: exerting little effort for a small reward versus exerting more effort for a bigger reward. For example, in the T-maze, one branch may contain just one small food pellet, and the other more or bigger food pellets behind a barrier that animals must climb up to get their reward. The amount of food or the barrier height can be manipulated to determine the minimal reward, or the maximal effort, for which the animal accepts to engage in the costly action. A transposition to humans has been implemented with a handgrip squeeze as effort and monetary payoff as reward [6]. Handgrip presents the advantage that the force produced on it can be objectively quantified with a dynamometer. Money is also convenient for quantification, and even if it is not a primary reward, it is similarly processed by the brain. Thus, a typical decision test in humans involves choosing between exerting little force for little money, or more force for more money.
Motivation tests can be seen as continuous versions of these binary choices. There is no explicit choice in these tests, in the sense that available options are not explicitly presented, but the participant is informed that any effort level can be exerted. What is varied across trials is the conversion rate between effort and reward. For instance, in a free operant test for rodents, the animal can press a lever at any time to obtain food pellets. By increasing the number of presses required for a given amount of food, the experimenter can figure out the maximal effort the animal is willing to accept for that reward (or symmetrically, by decreasing the number of food pellets, the minimal reward necessary for a given amount of effort to be accepted). In humans, the principle of the motivation test translates in a situation where any force can be exerted on the handgrip, between zero and the maximal force (measured individually beforehand), knowing that the payoff will be proportional to the force produced, with a coefficient depending on the money at stake [7]. For example, in a 10€ trial, producing no force results in null payoff, maximal force is paid 10€, half maximal force is 5€, etc. Again, one can infer from the behavior of participants the value that they assign to each force level, or equivalently, the cost that they are ready to accept for each monetary reward.
3. Computational models
In the behavioral tests just described, computational models can be used to disambiguate between several factors that may affect performance: sensitivity to the goal value, to the effort cost, to fatigue across trials, etc.
3.1. Formalizing the cost/benefit tradeoff
The generic net expected value function needs to be specified such that the model can be fitted to the observed behavior in a particular test. I will take the example of the incentive motivation test, where patients squeeze a handgrip to win money. The financial benefit is given by the test rule: it is proportional to the force produced. One may also consider a non-financial benefit of force production, related to showing off or pleasing the experimenter. The cost of force production can be approximated from motor control theory, with the addition that it may increase with muscular fatigue across trials. Thus, the simplest expression of net expected value is:
Simulation of a computational model trading effort for reward in a motivation test. (A) Anticipations of goal value (left), action cost (right) and net value (middle). The model estimates are shown as a function of possible force peaks (normalized to maximal force), for the different reward levels. The expected benefit (goal value) increases linearly with the force peak envisaged (following the test rule that payoff is proportional to effort), while the expected cost follows an explosive function (going to infinite when force approaches its theoretical maximum). The subtraction of expected cost from expected benefit provides a net value function with an optimal force level, corresponding to the model prediction. Note that predicted force (green arrows) does increase with proposed reward. (B) Effects of computational parameters on how trial index (top) and reward level (bottom) impacts force production. Predictably, increasing sensitivity to reward value (kr) boosts the positive impact of reward level (left), increasing sensitivity to fatigue (kf) boosts the negative impact of trial index (right), and increasing sensitivity to effort cost (kc) reduces force production, irrespective of reward level and trial index (middle). Thus, changes in the different parameters produce different behavioral patterns that can be distinguished using model fitting procedures.
3.2. Fitting models to infer parameters
The parameters are adjusted to every patient such that the behavioral responses predicted by the model give the best possible match with the behavioral responses produced by patients. This procedure is called model fitting and may employ different mathematical ways to find the best parameters, such as maximizing likelihood (see dedicated textbooks). It is sufficient for my purposes to understand that the fitted parameters provide a computational fingerprint (or phenotype) that describes the patient’s motivational state in a quantitative manner. For instance, a clinical state of apathy can be explained by a decreased sensitivity to reward value (low kr), or an increased sensitivity to effort cost (high kc).
4. Neural bases
To keep it short, this section is focused on the effort/reward tradeoff. The underlying neural circuits at the cortical and subcortical levels can be visualized with a meta-analysis of functional neuroimaging studies (Figure 4), performed using the neurosynth platform. The reward network mainly includes the orbitofrontal cortex (OFC), the ventral striatum and midbrain dopamine nuclei, while the effort network mainly includes the anterior insula and anterior cingulate cortex (ACC).
Meta-analysis of fMRI studies investigating reward and effort neural signals. The Neurosynth platform provides color-coded statistical maps of brain coordinates associated with specific keywords (here, “reward” and “effort”). The main regions associated with reward are the medial orbitofrontal cortex (OFC), ventral striatum and midbrain dopamine nuclei. The main regions associated with effort are the anterior insula and dorsal anterior cingulate cortex (ACC).
A neuro-computational model of motivation. The anticipatory estimates used to motivate the behavior are mapped onto corresponding brain regions. The expected goal value may be computed in the medial OFC (or vmPFC), the expected effort cost in the anterior insula, and the expected net value integrating costs and benefits in the dorsal ACC. The selected optimal action may then be communicated to sensori-motor systems responsible for its implementation, which may be the occasion to update the effort cost, as well as the goal value when the endpoint is reached. Neuromodulators released by deep brain nuclei may modulate the weights of the different estimates on behavioral response, with dopamine (DA) increasing the sensitivity to goal value, serotonin (5HT) decreasing the sensitivity to effort cost and noradrenalin the impact of the cost/benefit computation on the behavior (relative to automatic or habit behavior). All anatomo-computational associations are speculations at this stage.
4.1. Cortical structures
Both functional MRI and intracranial recordings [8, 9] have identified the medial part of the OFC (sometimes called ventromedial prefrontal cortex) as the main region signaling reward value whatever the domain (food, money, social reward, etc.) Symmetrically, the anterior insula was found to signal effort cost as well as other aversive sensations related to pain or punishment [10, 11]. Both signals are integrated in the ACC, whose activity scales positively with effort cost and negatively with reward value, suggesting a role in computing the net value of the considered action by subtracting expected costs from expected benefits (see Figure 5).
4.2. Subcortical structures
Small regions located deep inside the brain are not always visible with functional MRI techniques, such that their functional role in the effort/reward tradeoff has sometimes been established using electrophysiology in non-human primates. In incentive motivation tests, the ventral part of the striatum was shown to activate with expected reward and drive both mental and physical effort [12, 13], through circuits relating the striatum to cognitive and motor cortical regions.
The synaptic transmission in cortico-striatal circuits is modulated by substances such as dopamine. These neuromodulators are important because they have been involved in many neuro-psychiatric diseases and targeted by many treatments. Stimuli predicting rewards are known to trigger dopamine release [14] and drugs favoring or mimicking dopamine release were shown to bias choices toward exerting more effort and get more reward, in both humans and animals [15, 16]. Other neuromodulators may also be involved in motivational processes: noradrenalin release has been associated with the intensity of effort exertion [17], while antidepressant boosting serotonin levels were found to alleviate effort cost [18]. Thus, neuromodulators could modulate the weight of reward value versus effort cost and hence the motivational state of patients (Figure 5).
5. Clinical manifestations
5.1. Neurology
Motivation deficits have a high prevalence in neurologic conditions. Apathy, in particular, defined as a reduction of goal-directed actions, is reported in 35% of cases following stroke, 40% in Parkinson’s disease, 50% in Alzheimer’s disease and traumatic brain injury [1, 19, 20, 21]. It has a major impact on functional outcome, degree of autonomy and quality of life [22].
Parkinson’s disease (PD) is probably the neurologic condition in which motivation was most studied. PD is mainly caused by degeneration of dopamine neurons and defined as a triad of motor deficits (akinesia, rigidity, tremor). It is not always obvious in PD patients to distinguish a motor deficit such as akinesia (difficulty in movement initiation) and a motivational deficit such as apathy (reduction of goal-directed action). When a patient rests in bed, one may ask whether she/he cannot or is not willing to engage actions. Computational models may help here to interpret the impact of disease and treatment. PD is treated in first intention by pro-dopaminergic medication (either precursors of dopamine synthesis or agonists of dopamine receptors). Such medication was found to boost the willingness to exert effort in exchange of reward [6, 23]. This effect was captured by the reward sensitivity parameter (kr), which is reduced by the disease and increased by the treatment. It confirms the role assigned to dopamine in mediating the neural response to reward (and not effort cost). However, physical effort was also performed faster under dopaminergic medication, irrespective of reward. This second effect was captured by another parameter (Tau) adjusting the efficiency of motor command. Interestingly, the treatment effect on Tau was correlated with that on motor deficit score, and the effect on kr with that on apathy score. Thus, the two parameters separately captured the motor and motivational roles of dopamine.
There is some kind of circularity, however, in using psychometric scoring as a reference to validate the computational approach that is proposed as a replacement. The way to escape this circularity is to show that computational parameters better map with specific brain atrophy than psychometric scores. For instance, the motivational and motor deficits due to a lack of dopamine may correspond to the degeneration of separate anatomical pathways (mesolimbic and nigrostriatal, respectively). This is difficult to show in PD because these pathways are hardly visible on MRI scans. However, anatomo-computational correlations could be established in another neurologic condition, Huntington’s disease (HD).
As many degenerative disorders, HD associates motor and motivation deficits. It is defined by choreic movements due to a genetic mutation, but apathy is often observed even in the early phase of the disease (when patients are young adults). When comparing the behavior of HD patients to that of healthy controls in motivation tests, the reduction of effort exertion was explained by a combination of reduced sensitivity to reward (kr), increased sensitivity to effort (kc) and diminished efficiency of motor control (Tau). Interestingly, Tau was correlated across patients with atrophy in the striatum, similarly to motor deficit score (Le Bouc et al. in preparation). This was expected because the genetic mutation causing the disease is known to affect striatal neurons. The point is that there was no advantage of computational fingerprinting on psychometric scoring regarding motor symptoms. However, the advantage was clear for motivation deficit: while there was no statistical correlate of apathy score, parameters kr and kc were respectively correlated with atrophy in ventral striatum (a reward-related region) and anterior insula (an effort-related region). Thus, computational parameters inferred from behavior provide a better mapping with underlying brain circuits than psychometric scores based on introspection.
Schematization of the computational fingerprinting approach. The patient performs a behavioral task involving cost/benefit tradeoff (here, for choosing between options associated to different reward and effort levels). The trial-by-trial behavioral responses are then approximated by a computational model, through adjustment of weight parameters (noted 𝛾 and 𝜑) in value and choice functions. The adjusted parameters provide a computational fingerprint (or phenotype) that specifies the patient’s motivational state. They can be compared to the distribution of the same parameters in the healthy population to identify potential dysfunctions, which may be treated by specific medication. For instance, reduced sensitivity to reward (low gR) may be treated with pro-dopaminergic medication (psychostimulant).
Another advantage of computational fingerprints is the prediction of functional outcome. As an illustration, I will take the example of recovery after stroke. A rapid assessment using both questionnaires and decision tests was made in the acute phase, during the three days following stroke (Marin et al. in preparation). From the choices was inferred a motivation parameter that provided better prediction than usual apathy scores for a number of functional outcomes, including the recovery of other functions (such as language and motor deficit) and the number of days spent in hospital before returning home.
5.2. Psychiatry
Motivation disorders are even more frequent in psychiatry, and even part of the definition in several mental health conditions. In the following, I focus on motivation deficits that are part of diagnostic criteria for schizophrenia (under the term “avolition”) and depression (under the term “anhedonia”). In other psychiatric conditions, motivation can be considered excessive (as in manic episodes of bipolar disorders) or deviant (as in addiction to artificial reward or in autistic spectrum disorders with the notion of “atypical interests”).
In schizophrenia, motivation deficit is a major component of negative symptoms. Even if less spectacular than positive symptoms (hallucinations and delusions), avolition is a better predictor of functional impact [24] and partly responsible for the poor cognitive abilities evidenced in neuropsychological assessment [25]. In motivation tests, patients with schizophrenia exhibit both reduced response to reward [26] and reluctance to exert motor or cognitive effort [27]. The degree of motivation deficit is correlated to the severity of negative symptoms and potentially aggravated by antipsychotic medication (generally antagonists of dopamine receptors) taken to treat positive symptoms [28]. Here, computational fingerprint may help orient toward non-dopaminergic medication when revealing an impaired sensitivity to reward.
In depression, motivation deficit is extremely frequent, with huge impact on social and professional life, and less responsive to standard antidepressant medication than other depressive symptoms like psychic pain [29]. This motivation deficit has for long been attributed to a difficulty to experience pleasure (anhedonia), which would diminish the desire for reward and hence the willingness to exert effort [30]. However, the motivation deficit, observed during depressive episodes of both unipolar and bipolar disorders [31], is better correlated to apathy scores than to the anhedonia scored in depression assessment scales [32, 33]. Recently (Vinckier et al. submitted), more careful inspection of behavior in motivation tests, using computational models, revealed that the main systematic difference between depressed patients and healthy controls is an elevated sensitivity to effort cost (high kc), not a reduced sensitivity to reward (low kr). However, sensitivity to reward is extremely variable across patients, such that computational fingerprinting may help identify those who would benefit from psychostimulants (which increase kr by boosting dopamine) on top of standard antidepressants (which decrease kc by boosting serotonin).
6. Perspectives
Computational fingerprints provide an intermediate layer that may help establishing a mapping between dysfunctional brain systems and potential treatments of neuropsychiatric conditions. Although conceptually complex, they are easy to elicit in practice, through automatic pipelines analyzing the behavior of patients that can be collected at bedside on a tablet or smartphone. I have focused here on the effort/reward tradeoff and shown how computational fingerprints may help distinguish subcases of motivation deficit due to different brain dysfunctions and calling for different treatments (Figure 6). Other parameters, assessing the sensitivity to other factors driving decisions (such as risk or delay) can be extracted from behavioral tests and related to other clinical dimensions (such as anxiety or impulsivity). Thus, the computational approach could be extended to many neuropsychiatric conditions, and even beyond, every time maladaptive motivation threatens to interfere with therapeutic success.
French version
Dans cette revue, je commence par décrire la théorie de la décision, qui constitue la base des modèles computationnels utilisés pour analyser le comportement des patients atteints de troubles neuropsychiatriques. Un modèle computationnel n’est rien d’autre qu’une série d’opérations mathématiques (c’est-à-dire un algorithme) qui formalisent le traitement de l’information dans le cerveau, de manière à réaliser les mêmes tests comportementaux que les patients, en recevant les mêmes stimuli et en produisant les mêmes réponses. J’expose ensuite certains tests clés qui ont été utilisés pour évaluer la motivation chez l’animal et chez l’homme, et je montre comment les paramètres computationnels peuvent être déduits des performances comportementales. Enfin, j’esquisse quelques idées générales sur les contreparties neurales des variables théoriques qui pourraient représenter des cibles pour les traitements, avant de conclure en mentionnant les principales conditions neuropsychiatriques dans lesquelles l’approche computationnelle semble particulièrement prometteuse.
1. Cadre théorique
Le terme motivation se rapporte à l’interprétation d’une action comme étant dirigée vers un but (Figure 1). D’après son étymologie, le sens de motivation est « mettre en mouvement ». En ce sens, le terme motivation désigne un processus qui ajuste à la fois la direction et l’intensité de l’action. Cependant, nous utilisons également ce terme en référence à la justification d’une action — la raison pour laquelle elle est engagée. C’est le contenu de la motivation, c’est-à-dire le but caché qui est poursuivi par l’agent. Dans un dernier sens, nous parlons de la motivation comme de quelque chose qui peut être quantifié, par exemple dans les entretiens d’embauche ou les évaluations cliniques. Cette quantité est la valeur du but, ou, de manière équivalente, le coût maximal que l’agent accepterait pour atteindre ce but. Ainsi, la motivation peut être comprise comme un état comportant deux attributs (le but et sa valeur), dont la fonction est d’ajuster la direction et l’intensité du comportement.
La motivation dans le cadre de l’action dirigée vers un but. Une action dirigée vers un but est instrumentale : elle réduit le délai et/ou augmente la probabilité associée à l’atteindre du but. Dans ce cadre, la motivation en tant que processus est la sélection de la direction et de l’intensité de l’action, la motivation en tant que contenu est le but imaginé comme l’aboutissement désiré de l’action, et la motivation en tant que quantité est la valeur attendue du but, c’est-à-dire le coût maximal acceptable pour atteindre ce but. Selon la théorie de la décision, la direction et l’intensité du comportement sont ajustées de manière à maximiser le bénéfice attendu tout en minimisant le coût attendu.
1.1. Les limites de l’évaluation psychométrique
L’évaluation clinique des déficits motivationnels se focalise sur l’intensité. Les scores psychométriques sont basés sur des échelles cliniques, comme l’échelle d’apathie de Starktein [1], qui proposent une liste d’items que les patients (ou leurs aidants) doivent noter selon qu’ils décrivent plus ou moins bien leur situation. Concernant l’apathie, les items peuvent être par exemple : « Est-ce qu’apprendre de nouvelles choses vous intéresse ? » ou « Avez-vous de l’énergie pour les activités quotidiennes ? ». Ces questions sont simples et rapides, et donnent l’occasion aux patients d’exprimer leur déficit, s’ils le souhaitent. Cependant, ces évaluations restent assez limitées. Tout d’abord, elles dépendent de l’introspection, qui peut être compromise chez les patients souffrant de déficits cognitifs, et peuvent également être biaisées par la désirabilité sociale (admettre un manque de motivation, c’est donner une mauvaise image de soi). Ensuite, elles font intervenir le langage et ne peuvent donc pas être utilisées dans la recherche translationnelle testant les déficits de motivation et leurs traitements chez les animaux. Enfin, elles utilisent le terme motivation comme un mot de sens commun, bien qu’il soit polysémique et qu’il ne corresponde pas nécessairement à un système neuronal spécifique qui pourrait être ciblé par des traitements. Par exemple, la question 7 de l’échelle de Starkstein est un simple « Êtes-vous motivé ? ».
En raison de l’écart entre le langage clinique et les circuits neuronaux, les scientifiques ont tenté de décomposer le terme motivation en variables formelles qui pourraient avoir des équivalents biologiques.
1.2. Les promesses de la théorie de la décision
La signification de la motivation exposée ci-dessus, dans le cadre de l’action dirigée vers un but, s’accorde bien avec le formalisme de la théorie de la décision, qui spécifie la manière dont un agent rationnel doit choisir entre différentes actions. Selon cette théorie, un choix rationnel consiste à sélectionner l’action dont la valeur nette est la plus élevée, celle-ci étant définie comme la différence maximale entre les bénéfices attendus et les coûts attendus. La fonction de valeur nette attendue, selon l’action envisagée, peut s’écrire comme suit :
La multiplication de la valeur et de la probabilité correspond au calcul de l’espérance mathématique, qui était déjà suggéré par Blaise Pascal comme une manière rationnelle de déterminer quel est le meilleur choix. En termes psychologiques, elle correspond à la multiplication du désir (pour un but donné) et de la confiance (que l’action mènera à ce but). Le coût de l’action est perçu psychologiquement comme une sensation d’effort (mental ou physique). Il est important de comprendre que tous les termes de l’équation sont des anticipations (d’où le mot « attendu ») par le cerveau du ressenti associé à la pénibilité de l’action envisagée et à la satisfaction de l’objectif qui serait atteint.
Le même principe de maximisation de la valeur attendue peut s’appliquer à la fois au choix entre des actions qualitativement différentes (conduisant à des objectifs différents) et au choix entre des intensités quantitativement différentes pour une même action (modulant son coût mais aussi la probabilité d’atteindre l’objectif). Notons également que la maximisation de la valeur attendue peut rendre compte du choix entre faire quelque chose ou ne rien faire (ce qui implique un coût nul avec un bénéfice nul) : si l’alternative est de ne rien faire, alors une action sera engagée chaque fois que sa valeur nette attendue sera positive.
L’équation proposée ci-dessus est volontairement simplifiée. D’autres termes peuvent être pertinents, selon la situation, par exemple le délai (entre l’exécution de l’action et l’atteinte de l’objectif). Des non-linéarités peuvent également être introduites pour capturer les distorsions subjectives, comme la dévaluation hyperbolique avec le délai [2, 3]. Cependant, cette équation suffit pour comprendre la logique des tests et des modèles que j’expose ci-dessous. En effet, de nombreuses études sur la motivation se sont concentrées sur le compromis entre l’effort requis et la récompense promise (c’est-à-dire le but). Dans ce cas, la motivation peut être quantifiée comme l’effort maximal qu’un agent est prêt à fournir pour obtenir la récompense en jeu.
2. Tests empiriques
Les premiers tests évaluant la motivation ont été développés pour les animaux, principalement les rongeurs [4, 5], avant d’être adaptés aux humains (Figure 2). Ils sont parfois appelés « test de décision basé sur l’effort » et parfois « test de motivation incitative », selon que les choix sont explicites ou non, mais ils ont tous en commun d’impliquer un compromis entre l’effort dépensé et la récompense obtenue.
Tests empiriques du compromis effort/récompense. Dans les tests de décision, le choix entre les options petite récompense — faible effort et grande récompense — effort élevé est explicite. Dans les tests de motivation, il y a un choix implicite au sein d’un ensemble continu d’options, de l’effort nul à l’effort maximal, sachant que la récompense sera proportionnelle. Dans les tests classiques chez l’animal, l’effort consiste à grimper une barrière ou à appuyer sur un levier et la récompense obtenue est de nature alimentaire. Dans un test typique chez l’homme, l’effort consiste à serrer une poignée pour obtenir de l’argent comme récompense. Le niveau d’effort est visualisé par un curseur se déplaçant vers le haut sur une échelle graduée de 0 à la force maximale. Les images des pièces de monnaie indiquent les niveaux de récompense associés aux deux options dans les tests de décision, et la récompense maximale (obtenue au moyen d’une force maximale) dans les tests de motivation.
Les tests de décision imposent un choix entre deux options : fournir peu d’effort pour une petite récompense ou fournir davantage d’effort pour une plus grande récompense. Par exemple, dans le test du labyrinthe en T, une branche peut contenir une seule petite boulette de nourriture, et l’autre plusieurs boulettes (ou une seule plus grosse) derrière une barrière que les animaux doivent escalader pour obtenir leur récompense. La quantité de nourriture ou la hauteur de la barrière peuvent être manipulées pour déterminer la récompense minimale, ou l’effort maximal, pour lequel l’animal accepte de s’engager dans l’action coûteuse. Une transposition à l’homme a été mise en œuvre avec une poignée de main comme effort et un gain monétaire comme récompense [6]. La poignée présente l’avantage que la force produite sur celle-ci peut être objectivement quantifiée avec un dynamomètre. L’argent est également pratique pour la quantification, et même s’il ne s’agit pas d’une récompense primaire, il est traité de manière similaire par le cerveau. Ainsi, un test de décision typique chez l’homme consiste à choisir entre exercer peu de force pour peu d’argent, ou plus de force pour plus d’argent.
Les tests de motivation peuvent être considérés comme des versions continues de ces choix binaires. Il n’y a pas de choix explicite dans ces tests, en ce sens que les options disponibles ne sont pas explicitement présentées, mais le participant sait qu’il peut exercer n’importe quel niveau d’effort. Ce qui varie d’un essai à l’autre, c’est le taux de conversion entre l’effort et la récompense. Par exemple, dans le test dit opérant libre pour rongeurs, l’animal peut appuyer sur un levier à tout moment pour obtenir des boulettes de nourriture. En augmentant le nombre de pressions nécessaires pour obtenir une quantité donnée de nourriture, l’expérimentateur peut déterminer l’effort maximal que l’animal est prêt à accepter pour cette récompense (ou symétriquement, en diminuant le nombre de boulettes de nourriture, la récompense minimale nécessaire pour qu’un effort donné soit accepté). Chez l’homme, le principe du test de motivation se traduit par une situation où l’on peut exercer n’importe quelle force sur la poignée, entre zéro et la force maximale (mesurée individuellement au préalable), sachant que le gain sera proportionnel à la force produite, avec un coefficient dépendant de l’argent en jeu [7]. Par exemple, dans un essai à 10 €, l’absence de force entraîne un gain nul, la force maximale fait gagner 10 €, la moitié de la force maximale est payée 5 €, etc. Là encore, on peut déduire du comportement des participants la valeur qu’ils attribuent à chaque niveau de force, ou de manière équivalente, le coût qu’ils sont prêts à accepter pour chaque récompense monétaire.
3. Modèles computationnels
Dans les tests comportementaux que nous venons de décrire, les modèles computationnels peuvent être utilisés pour distinguer plusieurs facteurs susceptibles d’affecter les performances : sensibilité à la valeur du but, au coût de l’effort, à la fatigue entre les essais, etc.
3.1. Formalisation du compromis coût/bénéfice
La fonction générique de valeur nette attendue doit être spécifiée afin que le modèle puisse être ajusté au comportement observé dans un essai particulier. Je prendrai l’exemple du test de motivation par incitation, où les patients serrent une poignée pour gagner de l’argent. Le bénéfice financier est donné par la règle du test : il est proportionnel à la force produite. On peut également considérer un bénéfice non financier de la production de force, lié au fait de montrer ses muscles ou de plaire à l’expérimentateur. Le coût de la production de force peut être approximé à partir de la théorie du contrôle moteur, en ajoutant qu’il peut augmenter avec la fatigue musculaire au fil des essais. Ainsi, l’expression la plus simple de la valeur nette attendue est la suivante :
Simulation d’un modèle de compromis effort/récompense dans un test de motivation. (A) Anticipations de la valeur du but (à gauche), du coût de l’action (à droite) et de la valeur nette (au milieu). Les estimations du modèle sont présentées en fonction des pics de force possibles (normalisés par rapport à la force maximale), pour les différents niveaux de récompense proposés. Le bénéfice attendu (valeur du but) augmente linéairement avec le pic de force envisagé (suivant la règle du test selon laquelle le gain est proportionnel à l’effort), tandis que le coût attendu suit une fonction explosive (allant à l’infini lorsque la force approche son maximum théorique). Une fois le coût attendu soustrait du bénéfice attendu, la fonction de valeur nette présente un niveau de force optimal, correspondant à la prédiction du modèle. Notez que la force prédite (flèches vertes) augmente effectivement avec la récompense proposée. (B) Effets des paramètres computationnels sur l’impact du numéro d’essai (en haut) et du niveau de récompense (en bas) sur la production de force. Comme on pouvait s’y attendre, l’augmentation de la sensibilité à la valeur de la récompense (kr) renforce l’impact positif du niveau de récompense (gauche), l’augmentation de la sensibilité à la fatigue (kf) renforce l’impact négatif du numéro d’essai (droite), et l’augmentation de la sensibilité au coût de l’effort (kc) réduit la production de force, indépendamment de la récompense en jeu et du numéro d’essai (milieu). Ainsi, les changements dans les différents paramètres produisent différentes signatures comportementales qui peuvent être distinguées en utilisant des procédures d’ajustement de modèle.
3.2. Ajustement des modèles pour déduire les paramètres
Les paramètres sont ajustés à chaque patient de telle sorte que les réponses comportementales prédites par le modèle correspondent le mieux possible aux réponses comportementales produites par les patients. Cette procédure est appelée ajustement du modèle et peut utiliser différentes méthodes mathématiques pour trouver les meilleurs paramètres, comme la maximisation de la vraisemblance (voir les manuels spécialisés). Il suffit, pour mon propos, de comprendre que les paramètres ajustés fournissent une empreinte computationnelle (ou phénotype) qui décrit l’état motivationnel du patient de manière quantitative. Par exemple, un état clinique d’apathie peut être expliqué par une sensibilité réduite à la valeur de la récompense (kr faible) ou une sensibilité accrue au coût de l’effort (kc élevé).
4. Bases neuronales
Pour être brève, cette section se concentre sur le compromis effort/récompense. Les circuits neuronaux sous-jacents aux niveaux cortical et sous-cortical peuvent être visualisés par une méta-analyse des études de neuroimagerie fonctionnelle (Figure 4), réalisée à l’aide de la plateforme neurosynth. Le réseau de la récompense comprend principalement le cortex orbitofrontal (OFC), le striatum ventral et les noyaux dopaminergiques du mésencéphale, tandis que le réseau de l’effort comprend principalement l’insula antérieure et le cortex cingulaire antérieur (ACC).
Méta-analyse des études IRMf portant sur les signaux neuronaux de la récompense et de l’effort. La plateforme Neurosynth fournit des cartes statistiques avec un code couleur indiquant le niveau d’association entre une coordonnée cérébrale et un mot-clé spécifique (ici, “récompense” et “effort”). Les principales régions associées à la récompense sont le cortex orbitofrontal médian (OFC), le striatum ventral et les noyaux dopaminergiques du mésencéphale. Les principales régions associées à l’effort sont l’insula antérieure et le cortex cingulaire antérieur dorsal (ACC).
4.1. Structures corticales
L’IRM fonctionnelle et les enregistrements intracrâniens [8, 9] ont identifié la partie médiane de l’OFC (parfois appelée cortex préfrontal ventromédian) comme la principale région signalant la valeur de la récompense, quel que soit le domaine (nourriture, argent, récompense sociale, etc.) Symétriquement, on a découvert que l’insula antérieure signalait le coût de l’effort ainsi que d’autres sensations aversives liées à la douleur ou aux punitions [10, 11]. Les deux signaux sont intégrés dans l’ACC, dont l’activité s’échelonne positivement avec le coût de l’effort et négativement avec la valeur de la récompense, ce qui suggère un rôle dans le calcul de la valeur nette de l’action envisagée par la soustraction des coûts attendus aux bénéfices attendus (voir Figure 5).
4.2. Structures sous-corticales
Les petites régions situées dans les profondeurs du cerveau ne sont pas toujours visibles avec les techniques d’IRM fonctionnelle, de sorte que leur rôle fonctionnel dans le compromis effort/récompense a parfois été établi à l’aide de l’électrophysiologie chez les primates non humains. Lors de tests de motivation, il a été démontré que la partie ventrale du striatum s’active en fonction de la récompense attendue et stimule l’effort mental et physique [12, 13], par le biais de circuits reliant le striatum aux régions corticales cognitives et motrices.
La transmission synaptique dans les circuits cortico-striataux est modulée par des substances telles que la dopamine. Ces neuromodulateurs sont importants car ils ont été impliqués dans de nombreuses maladies neuropsychiatriques et ciblés par de nombreux traitements. Les stimuli annonçant des récompenses sont connus pour déclencher la libération de dopamine [14] et il a été démontré que les médicaments favorisant ou imitant la libération de dopamine orientent les choix vers un effort plus important et une plus grande récompense, tant chez l’homme que chez l’animal [15, 16]. D’autres neuromodulateurs peuvent également être impliqués dans les processus motivationnels : la libération de noradrénaline est associée à l’intensité de l’effort fourni [17], tandis que des antidépresseurs augmentant les niveaux de sérotonine permettent d’atténuer le coût de l’effort [18]. Ainsi, les neuromodulateurs pourraient moduler le poids de la valeur de la récompense par rapport au coût de l’effort, et donc l’état motivationnel des patients (Figure 5).
Un modèle neuro-computationnel de la motivation. Les estimations anticipées par le cerveau pour motiver le comportement sont mises en correspondance avec les régions cérébrales correspondantes. La valeur attendue du but pourrait être calculée dans l’OFC médian (ou vmPFC), le coût attendu de l’effort dans l’insula antérieure et la valeur nette attendue, intégrant les coûts et les bénéfices, dans l’ACC dorsal. L’action optimale sélectionnée pourrait ensuite être communiquée aux systèmes sensori-moteurs responsables de sa mise en œuvre, qui peut être l’occasion de mettre à jour le coût de l’effort, ainsi que la valeur du but lorsque celui-ci est atteint. Les neuromodulateurs libérés par les noyaux profonds du cerveau pourraient moduler le poids des différentes estimations sur la réponse comportementale, la dopamine (DA) augmentant la sensibilité à la valeur du but, la sérotonine (5HT) diminuant la sensibilité au coût de l’effort et la noradrénaline l’impact du calcul coût/bénéfice sur le comportement (par rapport au comportement automatique ou habituel). Toutes les associations anatomo-computationnelles sont des spéculations à ce stade.
5. Manifestations cliniques
5.1. Neurologie
Les déficits de motivation ont une prévalence élevée dans les affections neurologiques. L’apathie, notamment, définie comme une réduction des actions dirigées vers un but, est rapportée dans 35 % des cas après un accident vasculaire cérébral, 40 % dans la maladie de Parkinson, 50 % dans la maladie d’Alzheimer et les traumatismes crâniens [1, 19, 20, 21]. Elle a un impact majeur sur la récupération fonctionnelle, le degré d’autonomie et la qualité de vie [22].
La maladie de Parkinson (MP) est probablement la maladie neurologique dans laquelle la motivation a été le plus étudiée. La MP est principalement causée par la dégénérescence des neurones dopaminergiques et se définit par une triade de déficits moteurs (akinésie, rigidité, tremblement). Il n’est pas toujours évident chez les patients atteints de la MP de distinguer un déficit moteur tel que l’akinésie (difficulté à initier un mouvement) et un déficit motivationnel tel que l’apathie (réduction de l’action dirigée vers un but). Lorsqu’un patient est alité, on peut se demander s’il ne peut ou ne veut pas entreprendre une activité. Les modèles computationnels peuvent aider ici à interpréter l’impact de la maladie et du traitement. La MP est traitée en première intention par des médicaments pro-dopaminergiques (soit des précurseurs de la synthèse de la dopamine, soit des agonistes des récepteurs de la dopamine). On a constaté que ces médicaments augmentaient la volonté d’exercer un effort en échange d’une récompense [6, 23]. Cet effet a été saisi par le paramètre de sensibilité à la récompense (kr), qui est réduit par la maladie et augmenté par le traitement. Cela confirme le rôle attribué à la dopamine dans la médiation de la réponse neuronale à la récompense (et non au coût de l’effort). Cependant, on a également constaté que l’effort physique était effectué plus rapidement sous traitement dopaminergique, indépendamment de la récompense. Ce second effet a été capturé par un autre paramètre (Tau), qui ajuste l’efficacité de la commande motrice. Il est intéressant de noter que l’effet du traitement sur Tau était corrélé à celui du score clinique de déficit moteur, et l’effet sur kr à celui du score clinique d’apathie. Ainsi, les deux paramètres permettent de distinguer les rôles moteurs et motivationnels de la dopamine.
Il y a cependant une sorte de circularité dans l’utilisation de l’évaluation psychométrique comme référence pour valider l’approche computationnelle censée la remplacer. Pour échapper à cette circularité, il faut montrer que les paramètres computationnels reflètent mieux des anomalies cérébrales spécifiques que les scores psychométriques. Par exemple, les affections motivationnelles et motrices dues au manque de dopamine pourraient correspondre à la dégénérescence de voies anatomiques distinctes (mésolimbique et nigrostriatale, respectivement). Cela est difficile à mettre en évidence dans la MP, car ces voies sont peu visibles sur les scanners IRM. Cependant, des corrélations anatomo-computationnelles ont pu être établies dans une autre affection neurologique, la maladie de Huntington (HD).
Comme de nombreux troubles dégénératifs, la MH associe des déficits moteurs et motivationnels. Elle se définit par des mouvements choréiques dus à une mutation génétique, mais on observe souvent une apathie, même dans la phase précoce de la maladie (lorsque les patients sont de jeunes adultes). En comparant le comportement des patients atteints de MH à celui de témoins sains lors de tests de motivation, la réduction de l’effort a été expliquée par une combinaison de sensibilité réduite à la récompense (kr), de sensibilité accrue à l’effort (kc) et de diminution de l’efficacité du contrôle moteur (Tau). Il est intéressant de noter que Tau était corrélé chez tous les patients avec l’atrophie du striatum, de la même manière que le score de déficit moteur (Le Bouc et al. en préparation). Ce résultat était attendu car la mutation génétique à l’origine de la maladie est connue pour affecter les neurones du striatum. Le fait est qu’il n’y avait aucun avantage de l’empreinte computationnelle sur le score psychométrique en ce qui concerne les symptômes moteurs. Cependant, l’avantage était clair pour le déficit de motivation : alors qu’il n’y avait pas de corrélation statistique avec le score d’apathie, les paramètres kr et kc étaient respectivement corrélés avec l’atrophie du striatum ventral (une région liée à la récompense) et de l’insula antérieure (une région liée à l’effort). Ainsi, les paramètres computationnels déduits du comportement fournissent une meilleure correspondance avec les circuits cérébraux sous-jacents que les scores psychométriques basés sur l’introspection.
Un autre avantage des empreintes computationnelles est la prédiction de la récupération fonctionnelle. À titre d’illustration, je prendrai l’exemple de la récupération après un accident vasculaire cérébral. Une évaluation rapide à l’aide de questionnaires et de tests de décision a été réalisée dans la phase aiguë, pendant les trois jours suivant l’AVC (Marin et al. en préparation). De ces choix a été déduit un paramètre de motivation qui prédisait mieux que les scores d’apathie habituels un certain nombre de résultats fonctionnels, notamment la récupération d’autres fonctions (comme le langage et la motricité) et le nombre de jours passés à l’hôpital avant le retour à domicile.
Schématisation de l’approche par empreinte computationnelle. Le patient effectue une tâche comportementale impliquant un compromis coût/bénéfice (ici, il choisit entre des options associées à différents niveaux de récompense et d’effort). Les réponses comportementales essai par essai sont ensuite approximées par un modèle computationnel, par l’ajustement des paramètres (notés 𝛾 et 𝜑) dans les fonctions de valeur et de choix. Les paramètres ajustés fournissent une empreinte computationnelle (ou phénotype) qui spécifie l’état motivationnel du patient. Ils peuvent être comparés à la distribution des mêmes paramètres dans la population saine pour identifier les dysfonctionnements potentiels, qui peuvent être traités par des médicaments spécifiques. Par exemple, une sensibilité réduite à la récompense (𝛾R faible) peut être traitée par un médicament pro-dopaminergique (un psychostimulant).
5.2. Psychiatrie
Les troubles de la motivation sont encore plus fréquents en psychiatrie, et font souvent partie de la définition même de plusieurs pathologies en santé mentale. Dans ce qui suit, je me concentre sur les déficits de motivation qui font partie des critères diagnostiques de la schizophrénie (sous le terme « avolition ») et de la dépression (sous le terme « anhédonie »). Dans d’autres pathologies psychiatriques, la motivation peut être considérée comme excessive (comme dans les épisodes maniaques des troubles bipolaires) ou déviante (comme dans les addictions aux récompenses artificielles ou dans les troubles du spectre autistique avec la notion d’« intérêts atypiques »).
Dans la schizophrénie, le déficit de motivation est une composante majeure des symptômes négatifs. Même si elle est moins spectaculaire que les symptômes positifs (hallucinations et délires), l’avolition est un meilleur prédicteur du retentissement fonctionnel [24] et est en partie responsable des faibles capacités cognitives mises en évidence par l’évaluation neuropsychologique [25]. Dans les tests de motivation, les patients schizophrènes présentent à la fois une réponse réduite à la récompense [26] et une réticence à exercer un effort moteur ou cognitif [27]. Le degré de déficit motivationnel est corrélé à la sévérité des symptômes négatifs et potentiellement aggravé par les médicaments antipsychotiques (généralement des antagonistes des récepteurs de la dopamine) pris pour traiter les symptômes positifs [28]. Ici, l’empreinte computationnelle peut aider à orienter vers des médicaments non dopaminergiques lorsqu’elle révèle une altération de la sensibilité à la récompense.
Dans la dépression, le déficit de motivation est extrêmement fréquent, avec un impact énorme sur la vie sociale et professionnelle, et répond moins bien aux médicaments antidépresseurs standard que d’autres symptômes dépressifs comme la douleur psychique [29]. Le déficit motivationnel a longtemps été attribué à une difficulté à éprouver du plaisir (anhédonie), ce qui diminuerait le désir de récompense et donc la volonté de fournir des efforts [30]. Or ce déficit, observé lors des épisodes dépressifs des troubles unipolaires et bipolaires [31], est mieux corrélé aux scores d’apathie qu’à l’anhédonie notée dans les échelles d’évaluation de la dépression [32, 33]. Récemment (Vinckier et al. soumis), une inspection plus attentive du comportement dans les tests de motivation, à l’aide de modèles computationnels, a révélé que la principale différence systématique entre les patients déprimés et les témoins sains est une sensibilité élevée au coût de l’effort (kc élevé), et non une sensibilité réduite à la récompense (kr faible). Cependant, la sensibilité à la récompense est extrêmement variable d’un patient à l’autre, de sorte que l’empreinte computationnelle peut aider à identifier ceux qui bénéficieraient de psychostimulants (qui augmentent le kr en stimulant la dopamine) en plus des antidépresseurs classiques (qui diminuent le kc en stimulant la sérotonine).
6. Perspectives
Les empreintes computationnelles constituent un niveau intermédiaire qui peut aider à établir une correspondance entre les systèmes cérébraux dysfonctionnels et les traitements potentiels des pathologies neuropsychiatriques. Bien que conceptuellement complexes, elles sont en pratique faciles à obtenir à partir de routines automatiques analysant le comportement des patients, qui peut être enregistré au chevet du patient sur une tablette ou un smartphone. Je me suis concentré ici sur le compromis effort/récompense et j’ai montré comment les empreintes computationnelles aident à distinguer des sous-cas de déficit motivationnels dus à différents dysfonctionnements cérébraux et appelant des traitements différents (Figure 6). D’autres paramètres, évaluant la sensibilité à d’autres facteurs déterminant les décisions (tels que le risque ou le délai), peuvent être déduits de tests comportementaux et reliés à d’autres dimensions cliniques (telles que l’anxiété ou l’impulsivité). Ainsi, l’approche computationnelle pourrait être étendue à de nombreuses pathologies neuropsychiatriques, et même au-delà, chaque fois qu’une motivation inadaptée menace d’interférer avec le succès thérapeutique.