HELIX-96 — transformer 96 puits en décision
Un score IA classe des milliers de mutations. La question n’est pas seulement qui arrive en tête, mais si les probabilités voyagent vers une nouvelle protéine.
Organisation et score IA reconstruits. Effets expérimentaux issus de huit expériences ProteinGym publiques ; aucun résultat clinique ou humain.
5 600 variants publics · score synthétiquePlan de lecture
Du problème à la décision
- 01
Comprendre la ressource rare
Une plaque, 96 cavités expérimentales et des milliers de variants candidats.
- 02
Vérifier le score
Séparer les protéines déjà connues des protéines réellement nouvelles.
- 03
Corriger la confiance
Transformer un score en probabilité calibrée avec incertitude.
- 04
Organiser les 96 expériences
Tester 24 variants, pouvoir s’arrêter, puis utiliser les 72 restants.
01
Avant de commencer
Le problème
Une équipe de recherche reconstituée dispose d’une plaque de laboratoire comportant 96 petites cavités expérimentales pour départager des mutations proposées par un modèle de classement.
Une protéine est une chaîne d’acides aminés. Remplacer un seul acide aminé crée un variant ; ce changement peut améliorer, dégrader ou laisser inchangée la fonction biologique mesurée.
Le laboratoire reconstitué ne peut tester que 96 variants parmi plusieurs milliers. Une plaque 96 puits est un support comportant 96 petites cavités : chaque puits accueille ici une expérience distincte.
02
Phase 1
Ce que l’organisation a construit
Nous commençons par comprendre le système tel qu’il est présenté, sans le caricaturer et sans encore proposer de correction.
Ce que fait le moteur de classement
Le moteur attribue à chaque variant un score censé refléter sa chance de produire un résultat expérimental positif. L’organisation trie les variants et envisage de remplir les 96 puits avec les scores les plus élevés.
Pour valider le moteur, elle mélange aléatoirement les variants puis en réserve une partie pour le test. Cette séparation aléatoire place souvent des mutations d’une même protéine dans l’apprentissage et dans le test.
Pourquoi le premier test est trop facile
Le modèle reconnaît en partie des caractéristiques de protéines qu’il a déjà vues. Sa bonne performance peut donc mesurer la familiarité avec ces protéines plutôt que la capacité à fonctionner sur une nouvelle protéine.
Le test corrigé retire une protéine entière à la fois. Les résultats deviennent beaucoup plus dispersés : le score ne se transporte pas de la même façon dans tous les contextes biologiques.
Résumé de l’approche initiale
- Les mutations sont séparées au hasard entre apprentissage et test, séparément pour chaque expérience biologique.
- L’aire sous la courbe de classement vaut 0,838 et l’erreur quadratique des probabilités 0,113 : le résultat paraît solide.
- Mais des mutations issues des mêmes protéines se trouvent des deux côtés, ce qui rend le test trop confortable.
03
Phase 2
Ce que l’évaluation vérifie et propose
La deuxième phase reproduit le mécanisme, localise ce qui casse et transforme la critique en modification testable.
Corriger la probabilité, pas seulement le classement
Sept groupes publics servent à estimer une relation commune entre score et résultat, tout en autorisant chaque groupe à s’écarter de cette relation. Cette structure hiérarchique évite de traiter huit expériences biologiquement différentes comme si elles étaient identiques.
La qualité d’une probabilité est mesurée par le score de Brier : on calcule l’écart au carré entre la probabilité annoncée et le résultat observé. Plus la valeur est faible, mieux les probabilités sont calibrées.
Créer un droit d’arrêt avec 24 puis 72 puits
Au lieu d’engager les 96 expériences d’un seul coup, le plan en utilise d’abord 24 pour vérifier la calibration sur la nouvelle protéine. Une règle fixée à l’avance peut alors arrêter, recalibrer ou poursuivre avec les 72 puits restants.
Dans cette implémentation rétrospective, le classement ne change pas : les sélections en une fois et en deux étapes contiennent exactement les mêmes 96 variants. Le bénéfice du plan est donc le droit d’arrêt, pas un gain démontré de classement.
Évaluation
- Quand des protéines entières sont exclues de l’apprentissage, les performances varient fortement d’une expérience biologique à l’autre.
- Sur le groupe cible, la probabilité initiale obtient une erreur de Brier de 0,215.
- La sélection corrigée obtient 47 résultats positifs sur 96 contre 50 pour l’approche initiale ; aucun gain de classement n’est revendiqué.
Correction proposée
- Sept expériences biologiques servent à apprendre une relation commune entre score et résultat, avec une correction propre à chaque groupe ; la huitième reste la cible.
- Quatre chaînes de calcul indépendantes rendent visibles la stabilité numérique et l’incertitude sur les paramètres.
- Vingt-quatre expériences sont lues avant de décider s’il faut arrêter, recalibrer ou utiliser les 72 restantes, selon une règle écrite à l’avance.
- La diversité passe de 64 à 69 positions distinctes.
04
Notions et équations
Aucun symbole sans définition
Les mêmes fiches s’ouvrent depuis les liens « ? » placés dans le corps de l’article.
05
Résultats chiffrés
Ce que les nombres mesurent réellement
Les quatre nombres résument des questions différentes : qualité des probabilités, stabilité numérique, effet réel du plan séquentiel et nombre de résultats positifs.
score de Brier : nominal → hiérarchique
Erreur quadratique des probabilités ; plus faible est meilleur.
diagnostic R-hat maximal
Très proche de 1 : les quatre chaînes de calcul sont cohérentes.
variants identiques entre les deux plans
Le choix en une fois et le plan 24 + 72 retiennent la même liste.
résultats positifs : initiale / corrigée
La correction gagne en diversité mais pas en nombre de résultats positifs.
06 · Voir les preuves
Lire les graphiques pas à pas
Chaque figure indique d’abord comment lire ses axes et ses couleurs, puis ce qu’elle permet — ou non — de conclure.
Écart entre séparation aléatoire et validation sur des protéines entièrement exclues
La figure comporte un seul panneau. L’axe horizontal énumère huit protéines entièrement retirées tour à tour du jeu d’apprentissage ; les codes CCDB, A0A1I9GEU1 ou TRPC sont des identifiants, pas des métriques. L’axe vertical est le score de Brier, une erreur quadratique de probabilité sans unité : plus il est bas, mieux les probabilités sont calibrées. Le trait violet horizontal, autour de 0,113, est le résultat d’une séparation aléatoire qui mélange des variants des mêmes protéines entre apprentissage et test. Chaque point rouge est le score obtenu quand la protéine indiquée est réellement exclue ; le segment gris montre son écart au violet.
Les résultats par protéine vont d’environ 0,027 pour CCDB à 0,206 pour TRPC. Trois protéines sont au niveau ou en dessous de la ligne aléatoire, mais cinq sont au-dessus, parfois très nettement. On peut conclure qu’un unique score issu de la séparation aléatoire masque une forte dispersion lors du transport vers une protéine inconnue. On ne peut pas conclure que la ligne violette quantifie à elle seule une fuite causale précise, ni que les valeurs se reproduiront sur de nouvelles données : le score IA est reconstruit à partir de résultats publics déjà connus.
Validation aléatoire de l’approche initiale
La figure contient deux panneaux sans axe temporel. À gauche, l’axe horizontal est la probabilité prédite et l’axe vertical la fréquence bénéfique observée, toutes deux de 0 à 1. Chaque point violet regroupe des variants ayant des probabilités voisines ; la diagonale grise pointillée indique où prédiction et fréquence seraient égales. À droite, l’axe horizontal est la corrélation de rang de Spearman entre score et effet expérimental, sans unité, et l’axe vertical énumère les protéines. Chaque barre mesure la qualité du classement pour une protéine ; elles sont violettes sauf TRPC, mise en rouge comme cas le plus faible, et le trait vertical pointillé marque la médiane proche de 0,50.
À gauche, les points semblent globalement proches de la diagonale sous la séparation aléatoire. À droite, la corrélation varie pourtant d’environ 0,39 pour TRPC à 0,82 pour A0A1I9GEU1, avec seulement quatre protéines au-dessus de la médiane. On peut conclure qu’une calibration agrégée rassurante peut coexister avec un transport très inégal entre protéines. On ne peut pas conclure à une capacité de prédiction sur une nouvelle protéine : le panneau gauche mélange des protéines déjà vues et aucune barre ne fournit un intervalle d’incertitude.
Performance du score par expérience biologique
Le panneau gauche place la corrélation de Spearman, sans unité, sur l’axe horizontal et les huit protéines sur l’axe vertical. Chaque barre violette mesure si le score classe les variants dans le même ordre que l’effet expérimental lorsque cette protéine est exclue ; le trait pointillé à 0,50 sert de repère. Le panneau droit reprend la corrélation de Spearman en abscisse et place en ordonnée le score de Brier obtenu en laissant une expérience entière de côté ; plus un point rouge est bas, meilleure est sa calibration. Chaque point étiqueté réunit donc, pour une même protéine, qualité de classement horizontalement et erreur de probabilité verticalement.
A0A1I9GEU1 associe une corrélation proche de 0,82 à un Brier d’environ 0,106 ; CCDB classe moins bien, autour de 0,45, mais possède le meilleur Brier, environ 0,027 ; TRPC est faible sur les deux axes, autour de 0,39 et 0,206. On peut conclure que bien classer et bien calibrer sont deux qualités distinctes, et qu’aucune performance unique ne résume les huit groupes. On ne peut pas choisir un seuil universel à partir de cette dispersion, ni interpréter ces points comme des effets cliniques ou humains.
Calibration des probabilités sur le groupe cible
La figure comporte un seul panneau. L’axe horizontal est la probabilité bénéfique prédite et l’axe vertical la fréquence bénéfique observée, de 0 à 1. Chaque point regroupe des variants de probabilité voisine ; un point sur la diagonale grise pointillée serait parfaitement calibré. Le rouge est l’approche initiale, le violet la calibration avec information hiérarchique avant l’expérience cible, et le vert canard la mise à jour après les 24 premiers emplacements expérimentaux. On lit l’erreur de calibration comme la distance verticale entre un point coloré et la diagonale au même niveau de probabilité annoncée.
La courbe rouge est fortement trop confiante dans ses classes élevées : près de 0,95 annoncé, la fréquence observée n’est qu’environ 0,55. Les courbes violette et vert canard se rapprochent nettement de la diagonale et font passer le score de Brier de 0,215 à 0,141 pour la correction hiérarchique ; elles sont presque superposées. On peut conclure que la correction principale améliore la cohérence des probabilités, tandis que les 24 premiers résultats n’apportent ici presque aucun gain supplémentaire. On ne peut pas conclure que cette calibration tiendra sur de nouvelles données, car la construction reste rétrospective et les points sont des moyennes de groupes, non des garanties individuelles.
Diagnostics des quatre chaînes de calcul
La figure comporte quatre panneaux. En haut à gauche, l’axe horizontal compte 1 000 tirages retenus et l’axe vertical donne la pente de population ; en haut à droite, le même axe horizontal accompagne l’échelle résiduelle en ordonnée. Les quatre lignes — bleue, orange, verte et rouge — sont quatre chaînes de calcul indépendantes ; un point est la valeur proposée par une chaîne à un tirage donné. En bas à gauche, l’axe horizontal reprend les valeurs possibles de pente et l’axe vertical compte les tirages dans chaque barre violette de l’histogramme ; le trait pointillé repère zéro. Le panneau inférieur droit est un tableau de diagnostics, sans axes, donnant R-hat et la taille d’échantillon effective pour cinq paramètres.
Les quatre traces se recouvrent sans dérive visible, la pente a posteriori est centrée près de 0,6 et l’essentiel de son histogramme reste au-dessus de zéro. Le R-hat maximal vaut 1,00058 et la taille effective minimale 2 706, les autres tailles allant jusqu’à près de 4 000. On peut conclure que les chaînes ont convergé vers la même distribution numérique et qu’un nombre utile de tirages demeure après corrélation. On ne peut pas conclure que le modèle biologique est vrai, que les données sont suffisantes ou que la pente prédit de nouvelles expériences : ces diagnostics testent le calcul, pas la validité scientifique externe.
Résultats positifs et diversité des deux listes de 96 variants
La figure contient deux panneaux. À gauche, l’axe horizontal est le score IA reconstruit, exprimé en écart-type, et l’axe vertical l’effet expérimental public, lui aussi standardisé. Chaque disque gris pâle est un variant disponible ; les cercles rouges vides repèrent les 96 choix de l’organisation et les disques vert canard les choix du plan séquentiel 24 + 72. Quand un disque vert est entouré de rouge, les deux plans ont choisi le même variant. Le trait horizontal pointillé, vers 0,75, est le seuil de résultat bénéfique utilisé dans cette reconstruction. À droite, l’axe horizontal compare les deux plans et l’axe vertical compte la diversité : barres violettes pour les positions protéiques distinctes, orange pour les acides aminés mutants distincts.
Le plan de l’organisation couvre 64 positions et 19 acides aminés mutants ; le plan séquentiel en couvre 69 et 20. Le nuage de gauche montre que les deux listes se concentrent sur les scores élevés, tout en incluant des effets publics très dispersés, parfois sous le seuil. On peut conclure que la contrainte séquentielle élargit modestement la diversité de la liste dans cette reconstruction. On ne peut pas conclure que cette diversité produit à elle seule davantage de résultats positifs, ni que le score serait disponible avec la même qualité avant une nouvelle expérience : les effets montrés sont déjà connus.
Valeur de décision du plan 24 plus 72
La figure contient deux panneaux de comptage. À gauche, l’axe horizontal compare quatre méthodes de choix et l’axe vertical compte les variants bénéfiques observés parmi 96 ; la ligne pointillée à 19,6 est l’attente d’une sélection aléatoire. Les barres grise, rouge, violette et vert canard donnent respectivement 23 sur 96, 50 sur 96, 47 sur 96 et 47 sur 96 ; chaque hauteur est un nombre de résultats, et le pourcentage est imprimé au-dessus. À droite, l’axe horizontal sépare l’étape exploratoire de 24 emplacements et l’étape suivante de 72, tandis que l’axe vertical compte les résultats bénéfiques : 15 sur 24 en orange puis 32 sur 72 en vert canard.
Les deux méthodes corrigées totalisent toutes deux 47 résultats bénéfiques ; le plan en deux étapes décompose simplement ce total en 15 + 32 et autorise une décision après les 24 premiers emplacements. L’approche initiale en affiche 50, soit trois de plus, mais la figure précédente montre sa diversité moindre. On peut conclure que, dans cette implémentation rétrospective, le séquençage crée un droit d’arrêt mais ni un nouveau classement final ni un gain de résultats. On ne peut pas en déduire qu’un arrêt aurait effectivement eu lieu, que 47 ou 50 seraient reproduits sur de nouvelles données, ou que l’écart de trois est statistiquement significatif.
07 · Protocole d’analyse
Comment l’analyse a été conduite
Protocole d’analyse
- Huit expériences ProteinGym publiques, avec 700 mutations chacune.
- Modèle statistique hiérarchique robuste, quatre chaînes de calcul et 4 000 tirages retenus.
- Diagnostic R-hat maximal : 1,00058 ; taille d’échantillon effective minimale : 2 706.
- Le huitième groupe est tenu à part ; la calibration est mesurée avant et après les 24 premières expériences.
Limites à ne pas oublier
- Le score IA est reconstruit à partir des effets publics et ne constitue pas une prédiction sur des données futures.
- Les 24 premiers résultats sont évalués rétrospectivement.
- Le score de Brier se dégrade légèrement après la mise à jour des 24.
- Expériences biologiquement hétérogènes ; aucun résultat clinique, patient ou humain.
08 · Sources & provenance
D’où viennent les faits
09 · Décision
CONDITIONALCONDITIONNEL — calibration améliorée, mais aucun gain de classement ni export aveugle d’un vrai modèle.
- 1
La calibration hiérarchique améliore le score de Brier sur la cible, mais cette analyse reconstruit le score à partir de résultats déjà connus.
- 2
La sélection corrigée obtient trois résultats positifs de moins, tout en couvrant davantage de positions. Le plan 24 + 72 ne change ici aucun des 96 choix.
- 3
La suite exige un vrai score gelé avant l’expérience, une règle d’arrêt écrite à l’avance et une validation sur de nouveaux résultats.
Étape suivante : Procéder seulement avec un vrai score gelé, une règle d’arrêt écrite avant l’expérience et une validation future en conditions réelles. Ici, la sélection faite entièrement au départ et le plan en deux étapes retiennent exactement les mêmes 96 variants.