Ce lundi, j'interviens au 3e Colloque International de l'Actuariat Francophone, sur le thème la mutualisation et l'inclusion à l'épreuve de la segmentation.
On sera cinq à parler, j'ai mis quelques slides en ligne.
Ce lundi, j'interviens au 3e Colloque International de l'Actuariat Francophone, sur le thème la mutualisation et l'inclusion à l'épreuve de la segmentation.
On sera cinq à parler, j'ai mis quelques slides en ligne.
Depuis plusieurs semaines (pour ne pas dire plusieurs mois), je discute avec Delphine Cocteau-Senn et Rodolphe Bigot (dialogue de juristes avec un actuaire) sur la protection des données personnelles en assurance. Tout avait commencé il y 15 mois, avec une table ronde organisée à Amiens, avec un resto la veille, les discussions pendant la table ronde, puis des dizaines et des dizaines d'échanges de messages, de coup de fils, de restos…. Rodolphe Bigot m'avait sollicité pour une autre table ronde sur le droit de l'assurance à Caen, et de mon côté, j'avais demandé à Delphine Cocteau-Senn d'intervenir dans la formation Actuariat – Data Science de l'Institut des Actuaires, depuis l'an dernier. Bref, on a eu de très nombreux échanges, et quand on voit les prises de positions ici et là (pour ne pas parler de brassage d'air), on s'était dit que nos discussions pourraient éclairer les débats qui agitent actuaires et juristes.
C'était d'autant plus intéressant, je pense, qu'on a vraiment appris, mutuellement, de ces échanges. Echanges entre un actuaire et des juristes, tous les trois universitaires. Depuis plusieurs semaines, on tente de mettre par écrit ces échanges, et le résultat est aujourd'hui en ligne. La forme retenue est une présentation juridique de plusieurs points (en lien avec des notions évoquées dans le Réglement Général sur la Protection des Données – n° 2016/679), quelques questions actuarielles, et une ébauche de réponse. On a longuement hésité sur la forme, mais on a gardé la forme de la discussion, probablement plus agréable à lire qu'un texte écrit à trois. Je mets ici l'introduction (le document complet est en ligne)
Il y a un peu plus d'un an, Virginie Gautron m'envoyait plein de documents sur la "justice actuarielle", concept que je découvrais alors. Pour comprendre un peu de quoi il s'agit, je peux renvoyer vers pénalité et gestion des risques : vers une justice « actuarielle » en Europe ? qui dresse un état de l'art, en francais. J'avoue avoir un peu mis de côté ensuite (faute de temps), et puis l'autre jour, j'ai dévoré "surveiller et punir" de Nicolas Bourgoin, qui contient un chapitre sur le sujet.
Sans vouloir tomber dans le cliché des deux cultures (à la CP Snow), il faut bien admettre que pour un économètre, lire des écrits de juristes parlant de modèles prédictifs (ou actuariels) est une expérience marquante. Et ce qui me trouble (j'ai d'ailleurs le même soucis avec la psychologie – c'est un sujet proche) c'est que l'accent est souvent mis sur le modèle, l'algorithme, ce truc qui semble fasciner les juristes, alors qu'il me semble que le cœur du problème, ce sont les données. On nous dit, par exemple, que les algorithmes sont racistes (c'est un peu la thèse de Cathy O'Neil dans Weapons of Math Destruction), mais le problème ce n'est pas le modèle. C'est le fait qu'il y a un énorme biais de sélection dans les données ! Et selon l'adage "garbage in, garbage out"… dit de manière plus policée, je pourrais tenter un "purgamentum init, exit purgamentum" pour parler comme un juriste. Ou dit autrement, si on entre des mauvaises données en entrée, faut pas espérer grand chose en sortie…
Pour comprendre le biais de sélection, on peut relire Mostly Harmless Econometrics de Joshua Angrist et Jörn-Steffen Pischke. En particulier, dans l'introduction, ils posent la question simple suivant : vaut-il mieux, suite à une opération, renvoyer les gens chez eux, ou bien les laisser en chambre de convalescence, à l'hôpital ? Le soucis est que les données sont biaisées : oui, si on regarde les données brutes, ceux qui sont rentré chez eux se sont remis plus vite… mais peut être a-t-on autorisé les gens à rentrer justement parce qu'ils allaient bien ? Et on retrouve ce biais de sélection un peu partout. Probablement même encore davantage dans les problèmes relatifs à la justice.
Prenons un exemple simple. On va s'intéresser à la probabilité d'être coupable d'un crime, et d'être condamné par la justice. C'est ma variable Y. Pour avoir un modèle économétrique, il me faut des variables explicatives. J'ai une variable X_3 et une autre X_4, la première influençant vraiment la probabilité de commettre un crime, et l'autre étant juste du bruit. Maintenant, entrons dans le coeur du modèle. Supposons que j'ai une variable corrélée à ma richesse \tilde{X}_2, comme le lieu d'habitation, un critère racial, ou pour faire simple le diplôme. Notons X_1 le niveau de diplôme de la personne (mais encore une fois, on peut imaginer n'importe quoi, l'idée est que cette variable est corrélée à la richesse). Et surtout, cette variable n'est pas du tout une variable causale dans mon modèle. La probabilité de commettre un crime n'est pas influencée par X_1. Une personne ayant un diplôme de second cycle universitaire a autant de chance de commettre un crime qu'une personne ayant raté le brevet. On va même supposer que la probabilité de commettre un crime soit indépendante de la richesse. En fait, la richesse me permet de payer un bon avocat. Et avoir un bon avocat permet de diminuer la probabilité d'être condamné. Pour faire simple, j'ai deux niveaux de richesse, qui me donne soit un avocat commis d'office, soit un avocat qui s'impliquera peut être davantage (je simplifie à des fins pédagogiques). Bref, mon modèle aura la forme suivante : la probabilité d'être condamné pour un crime s'écrit p=(0.025+0.05\cdot X_3)\cdot[k\cdot \mathbb{1}(X_2=R)+\mathbb{1}(X_2=P)] Autrement dit, ma probabilité est une fonction croissante (linéaire) de X_3, et si je suis riche (ce qu'on note X_2=R), j'ai moins de chance d'être condamné, avec un facteur k\in[0,1], toutes choses étant égales par ailleurs, ceteris paribus, histoire de parler latin comme les juristes.
Pour simuler un jeu de données, on considère une population d'un million de personnes, et je suppose que ma richesse est très corrélée avec mon niveau de diplôme. Pour info, la classe A ce sont les gens les plus diplômés, et je suppose qu'un bon avocat divise par trois la chance d'être condamné.
n=1000000 r=.95 k=1/3 S=matrix(c(1,r,r,1),2,2) library(mnormt) set.seed(1) vectX=rmnorm(n,varcov=S) X1=cut(vectX[,1],breaks=c(-10,1,-1,10), c("C","B","A")) X1=relevel(X1,"A") X2=cut(vectX[,2],breaks=c(-10,1,10),c("P","R")) X3=runif(n) X4=runif(n) Y1=rbinom(n,size = 1,prob=(.025+.05*X3)*(k*(X2=="R")+(X2=="P"))) B0=data.frame(X1,X2,X3,X4,Y1)
On peut faire un peu de statistiques pour regarder les caractéristiques des gens condamnés (uniquement)
B1=data.frame(X1=X1[Y1==1],X2=X2[Y1==1],X3=X3[Y1==1],X4=X4[Y1==1])
Par exemple si je regarde la proportion de gens les plus diplômés: ils sont 15% dans la population totale, et 5% parmi les personnes condamnées
mean(B0$X1=="A") [1] 0.158734 mean(B1$X1=="A") [1] 0.05016072 t.test(B0$X1=="A",B1$X1=="A") data: B0$X1 == "A" and B1$X1 == "A" t = 219.5, df = 1283500, p-value < 2.2e-16 95 percent confidence interval: 0.1076038 0.1095428 sample estimates: mean of x mean of y 0.15873400 0.05016072
Autrement dit, on a une différence significative entre ces deux pourcentages. Pareil si je regarde la valeur moyenne de X_3, qui était de 50% dans la population et de 58% dans la population condamnée
t.test(B0$X3,B1$X3) data: B0$X3 and B1$X3 t = -163.46, df = 844940, p-value < 2.2e-16 95 percent confidence interval: -0.08455430 -0.08255058 sample estimates: mean of x mean of y 0.5000094 0.5835618
alors que pour X_4, on a 50% dans la population totale, et 50% dans la population condamnée. Mais on s'y attendait….
t.test(B0$X4,B1$X4) data: B0$X4 and B1$X4 t = -0.81161, df = 48645, p-value = 0.417 95 percent confidence interval: -0.003869879 0.001603452 sample estimates: mean of x mean of y 0.5001326 0.5012659
Passons à la seconde phase. Il semble y avoir un vrai intérêt dans la littérature sur les modèles actuariels pour la construction de modèles liés à la probabilité de récidive. Là encore, je vais faire une hypothèse forte : faire de la prison n'influence en rien la probabilité de récidiver. Autrement dit, pour cette population déjà condamnée, je vais refaire tourner mes simulations, avec une probabilité de commettre un crime qui dépend seulement de X_3, mais avec toujours notre effet richesse qui permet de payer un avocat qui fera baisser la probabilité d'être condamné.
set.seed(2) n1=nrow(B1) Y2=rbinom(n1,size = 1,prob=(.025+.05*B1$X3)*(k*(B1$X2=="R")+(B1$X2=="P"))) B2=cbind(B1,Y2) reg=glm(Y2~X1+X3+X4,data=B2,family=binomial)
J'ai construit ici mon modèle permettant de calculer une probabilité de récidive. Le modèle est construit sur le niveau de diplôme X_1 (qui n'influence en rien, encore une fois, la probabilité de commettre un crime), la variable X_3 (qui effectivement joue un rôle) et la variable de bruit X_4.
set.seed(2) n1=nrow(B1) Y2=rbinom(n1,size = 1,prob=(.025+.05*B1$X3)*(k*(B1$X2=="R")+(B1$X2=="P"))) B2=cbind(B1,Y2) reg=glm(Y2~X1+X3+X4,data=B2,family=binomial)
Je fais ici un score logistique car c'est le plus logique.
summary(reg) Coefficients: Estimate Std. Error z value Pr(|z|) Inter.) -4.04753 0.11592 -34.916 2e-16 *** X1C 0.61311 0.10914 5.618 1.93e-08 *** X1B 0.68807 0.09977 6.896 5.34e-12 *** X3 1.00610 0.08052 12.495 2e-16 *** X4 -0.13562 0.07286 -1.861 0.0627 .
Premier élément à observer, la variable X_4 est à la limite d'être significative… Certains auteurs sur ces thèmes diraient que c'est un signal faible. Pourtant, en l'occurence, c'est du bruit ! Juste du bruit !! Et parmi les signaux forts, très clairement significatifs, on retrouve X_1, notre niveau de diplôme. Ici, si on est faiblement qualifié (niveaux B ou C) alors on a une chance de récidive beaucoup plus importante ! C'est très fortement significatif ! Alors que pour rappel, la probabilé de commettre un crime, et de récidiver n'est aucunement causé par cette variable ! C'est juste une variable corrélée avec la variable richesse, qui permet de faire baisser la probabilité d'être condamné.
Plus intéressant, si je regarde la valeur du coefficient, en fonction de k, autrement dit la valeur d'un bon avocat (que l'on peut s'offrir si on est riche) on obtient la courbe suivante.
Autrement, sur la partie droite, même si un bon avocat ne baisse que de 5% la chance d'être condamné, le niveau de diplôme semble être significativement liée à la probabilté de récidive. Avec un pic autour de 30%. Si les avocats ont un pouvoir incroyable, par exemple en divisant par 20 la probabilité d'être condamné, étrangement, la variable de diplôme redevient très peu significative, mais je pense que c'est parce qu'on n'a alors plus personne de très diplômé dans la base.
On pourrait me reprocher d'avoir une corrélation trop forte entre richesse et niveau de diplôme, ici. En mettant une corrélation à 70% (dans mon modèle Gaussien latent), j'obtiens
qui donne un effet moindre, mais là encore, si un bon avocat permet de réduire la probabilité d'être condamné par un facteur compris entre 5% et 90%, alors la variable de diplôme semblera significative.
Mon modèle n'est pas faux ici. C'est essentiellement que j'ai un biais dans mes données. Et ne pas en tenir compte fait que le modèle n'a aucun sens, et ne peut pas être interprété sans commettre d'erreurs (et ici je cumule les âneries, en voyant un signal faible alors qu'il y a du bruit, et en voyant un signal fort pour une variable qui n'a aucun lien causal). J'insiste lourdement, mais le diplôme n'intervient aucunement ici. Et on peut remplacer le diplôme par toute variable corrélée à la richesse, comme locataire et propriétaire, etc.
Bref, l'utilisation de modèles économétrique dans des problèmes judiciaires n'est pas simple ! Je parle ici de biais de sélection, mais la formulation qui me semble la plus juste serait une mauvaise spécification du modèle (on n'utilise pas les bonnes variables, mais ces dernières sont peut-être non-observables – ou difficiles à justifier éthiquement : peut-on demander le revenu de la personne pour faire un score de récidive, et avoir un score qui dépende effectivement du revenu ?). Il y a aussi un problème d'identification, car on a du mal à savoir ce qui influence le fait de commettre un crime, et la condamnation. Ce qu'on observe, ce sont les condamnations, pas les actes (je ne parle pas des condamnations à tort ici, que j'avais pu évoquer dans un autre billet, sur le principe de précaution). Mais j'essayerais de revenir sur ce point après les vacances….
Dernière anecdote pour finir. Après avoir découvert ces modèles via Virginie Gautron, j'avais discuté avec une amie, présidente de tribunal, qui me parlait de la nullité des experts qu'elle avait sous la main. Et elle voulait faire un peu de ménage. Bref, elle me demandait si je pouvais faire un modèle attribuant un score à un expert. Et là encore, ma réponse a été que oui, faire un modèle c'est facile, à condition d'avoir des données. Comment puis-je avoir un score Y d'un expert? Qui sait ce qu'est un bon expert? C'est quelqu'un contre qui on ne demande pas de contre-expertise? Malheureusement, la justice ne fonctionne pas ainsi, et la demande n'a rien à voir avec la qualité de l'expert. Et la qualité, vu du point de vue de la juge, est une notion qui peut être très différente de celle des deux parties qui s'opposent… Bref, je pourrais facilement faire un modèle. Mais en avoir un qui ait du sens, c'est une autre paire de manches !
Ce mardi, poursuite du cours d'actuariat, avec les modèles linéaires généralisés (qui englobent la régression logistique et la régression de Poisson, sur lesquelles nous avons passé du temps). Les slides sont en ligne.
Sur variances.eu (le blog d'ENSAE Almuni) commence un dossier sur l'assurance, avec un premier billet sur l'assurance et le défi des taux d'intérêt bas, par Bernard Delas, vice-président de l'Autorité de contrôle prudentiel et de résolution (ACPR).
Les principales économies européennes connaissent depuis la crise des subprimes une baisse ininterrompue des taux d'intérêt. Ils ont atteint, au cours des cinq dernières années, des niveaux qu'ils n'avaient jamais connus jusqu'alors, inférieurs au taux zéro. Un tel scénario n'avait pas été envisagé par la réglementation post-crise des institutions et des marchés financiers. Ces taux d'intérêts, s'ils sont à court terme bénéfiques pour le financement des activités marchandes et industrielles, posent en revanche des défis inédits non seulement aux fonds d'investissement, aux banques et aux assureurs mais également aux autorités de contrôle des institutions financières chargées de veiller à la préservation de la stabilité du système financier et, tout particulièrement depuis la crise, à la protection des consommateurs et des épargnants.
[à suivre] Et pour l'occasion – j'en profite aussi avec mon premier cours d'actuariat qui commence demain, à l'ENSAE, pour remettre quelques statistiques sur les ENSAE qui deviennent actuaires
Mardi, on commencera le cours d'actuariat, avec un cours d'introduction le matin, mais l'après midi, on attaquera plus sérieusement, avec une mise en bouche, avec les modèles de classification (de type {survenance} vs {non survenance} d'accident). Là encore, les slides sont en ligne.
Je parlerais aussi du premier devoir, qui portera sur les modèles que nous (re)verrons ici.
Reprise du cours d'assurance non-vie à l'ENSAE la semaine prochaine. Les slides sont en ligne globalement, sinon je mettrais les liens au fur et à mesure (en corrigeant les typos, voire en rajoutant des sections, si besoin), avec cette semaine les slides pour l'introduction du cours. Et pour illustrer, j'ai emprunté quelques images au très beau livre Karambolage d'Arnold Odermatt.
Avant de commencer la tarification, retour sur la classification. Les slides sont en ligne. Il s'agit d'un retour sur la régression logistique, avec une rapide présentation des arbres, et des forêts aléatoires.
Le cours d'actuariat non-vie reprendra ce lundi. Les slides sont en ligne. Il s'agit d'une introduction générale, avec un retour sur les concepts et notions de base.
La semaine prochaine, premier cours d'assurance dommage à l'ENSAE-Paristech. Les slides seront mis en ligne au fur et à mesure… Et mardi, séance de travail dans le cadre de la chaire actinfo.
Vendredi matin, j'interviendrai à la journée "Big Data : la recherche s'expose" organisée par l'Institut Louis Bachelier au petit auditorium du palais Brongniart. Au programme
Je présenterais les résultats obtenus lors du pricing game obtenu cet automne (qui sera relancé, sous une forme actualisé, cet été.. à suivre donc).
Demain midi, je serais à Paris pour un rapide exposé chez Generali sur les modèles économétriques en actuariat, et les modèles de type machine learning. Les slides sont en ligne
Pour le onzième (et dernier) chapitre du cours d'actuariat de l'assurance non-vie à l'ENSAE, on va finir d'étudier les modèles de provisionnement (provisions pour sinistres à payer) avec les modèles de régression et les modèles bayésien. Je n'aurais pas le temps d'aborder cette année le provisionnement sur données individuelles. Les slides sont en ligne (la version pdf téléchargeable est comme souvent plus complète que celle sur slideshare)