Ne jamais acheter des boosters à l’unité

« Je vends 10 paquets de cartes Pokémon ! Paquets non pesés, non ouverts, vendeur sérieux, non sérieux s’abstenir ».

Voici le genre d’annonce récurrentes que l’on peut lire sur Ebay, notamment lorsqu’on recherche et collectionne comme les cartes Pokémon. J’étais cependant toujours très perplexe quant à la mention « paquet non pesé » et lorsque je glanais mes futurs paquets de cartes, je me demandais bien ce que cela semblait pouvoir dire. Un jour, je me risquais de poser la question à un vendeur dont l’annonce y faisait référence. En voici la réponse :

« Une rumeur prétend qu’il est possible de déterminer si un paquet de carte Pokémon contient une carte Holographique ou très rare, en fonction de la masse du paquet, mais personne n’y croit vraiment.« 

C’était un vendeur auquel j’achetais régulièrement des paquets, et je ne m’étais jamais rendu compte que les paquets qu’il vendait étaient particulièrement dénués de cartes rares. Je pense que ce vendeur était de ce qu’il y a des plus honnêtes. Cependant cette rumeur m’a littéralement intrigué. Sur Reddit, la rumeur était bien réelle, mais personne n’avait de réponse « scientifiquement concrête » à proposer. Qu’à cela ne tienne, il ne me fallait pas plus d’arguments pour tester moi-même cette rumeur.

Peut-on détecter la présence de cartes « rares » sans ouvrir les paquets de cartes Pokémon ?

Après de nombreuses expériences et d’analyses de données, ma réponse est formelle : non, il n’est pas possible de détecter la présence de cartes Pokémon rares dans un paquet. CEPENDANT, il est possible de savoir quel paquet NE CONTIENT PAS de cartes rares. C’est un peu pareil, mais c’est un détail qui aura son importance. Embarquez avec moi dans cette petite enquête scientifique, à la portée de tous et qui répondra quand même à une énigme importante pour les collectionneurs.

Introduction

Les cartes Pokémon rencontrent un succès phénoménal depuis leur arrivée sur le marché. Cet engouement n’a pas cessé de croitre, surtout ces dernières années. De l’achat de paquets, à l’ouverture, au jeu, à l’échange et à la collection, les cartes Pokémon fascinent et on retrouve toujours plus de joueurs et de collectionneurs dans le monde. Les collectionneurs peuvent acheter les cartes et les paquets à l’unité sur Ebay, Amazon, bureau de presse, etc. Comme dans toute collection, les collectionneurs vont rechercher les cartes les plus rares et les plus coûteuses dans ces paquets de cartes, qui s’y trouvent de manière aléatoire. Ces cartes rares prennent différentes formes : les cartes Holographiques, les cartes Full Art, les cartes GX / EX / Vmax, les cartes secrètes. Cependant, il y a un problème : une rumeur prétendrait qu’il serait possible de détecter la présence de cartes rares dans les paquets sans les ouvrir à partir de leur masse. S’agit t-il d’une simple rumeur ou d’un fait réel ? Comment peut-on être sûr qu’il soit possible de reconnaitre un paquet avec une carte rare d’un paquet qui n’en contiendrait pas ? Si cela est effectivement possible, cette donnée est-elle généralisable à l’ensemble des collections de cartes Pokémon ? Si cela est effectivement possible, comment exploiter cette information ?

Glossaire et matériel

Voici un petit glossaire pour vous retrouver dans les mots que je vais utiliser, propre à l’univers du TCG de Pokémon.

• Display : boite contenant 36 paquets ou moins, généralement scellé avec le sceau Pokémon.
• Paquet : paquet de 10 à 11 cartes Pokémon selon les collections.
• Collection : ensemble des différentes collections de cartes Pokémon.
• Edition : ensemble des collections dans une édition en particulier. Ex : Edition Soleil-Lune ; Collection : Invasion Carmin.
• Type de carte : simples ou rares
• Cartes simples : commune, peu commune, rare, reverse ou non, sans distinction particulière.
• Cartes rares : holographique, GX, VMax, full-art, secrète …
• Reverse : carte dont le contours est brillant. Une carte reverse se trouve par paquet.

Pour travailler dans les meilleures conditions, 4 displays de cartes Pokémon on été achetés, directement en maison de presse. Cela me permet de m’assurer que les paquets n’ont pas été manipulés avant ni pesés. Sait-on jamais que la rumeur soit vraie… (non, c’est surtout pour valider le côté expérimental de l’étude). Un displays concernaient la collection « Invasion Carmin » de l’édition « Soleil & Lune » ; et deux displays de la collection « Epée & Bouclier », de l’édition « Epée et Bouclier »… De plus, je me suis procuré une balance de précision de 0,01 g (les balances précises au micromètre sont malheureusement trop chères) ; des post-it pour noter les masses obtenues sur les paquets et bien-sûr un bon vieux tableur excel pour réaliser mes mesures et mes études statistiques.

Problématiques et objectifs

Mes objectifs à ce moment sont alors multiples. Je voulais répondre à de nombreuses problématiques, et il fallait y aller pas à pas. Pour cela, j’ai établi une liste d’objectifs qui, une fois validés, me permettait d’aller à l’objectif suivant. Ces problématiques sont les suivantes : y-a-t’il une différence de masse entre toutes les cartes d’un paquet de carte Pokémon ? Si oui, existe-il, dans cette différence, une différence entre les cartes simples (communes, peu communes, rares et reverse) et les cartes rares (holographiques et full-art), recherchées par les collectionneurs ? Si oui, peut-on réellement faire la différence entre un paquet de carte contenant une carte simple et un paquet de cartes contenant une carte très rare ? Et alors, pourrait-on, à l’aide des données précédentes, prédire la présence ou l’absence de cartes rares dans un paquet ? Enfin, pourrait-on extrapôler l’ensemble des résultats obtenus à l’ensemble des éditions et des collections de cartes Pokémon ?

A partir de l’ensemble de ces problématiques, voici 5 objectifs clairs à valider au fur et à mesure de mon expérience :

Objectif 1 : Vérifier la masse de l’ensemble des cartes d’un paquet afin d’en extraire un schéma.
Objectif 2 : Vérifier s’il existe une différence de masse entre les cartes simples (communes, peu communes, rares et reverses) et les cartes rares (Holographique – Full Art, etc.).
Objectif 3 : Vérifier s’il existe une différence de masse entre les paquets contenant seulement des cartes simples et les paquets contenant une carte rare.
Objectif 4 : Vérifier s’il est possible de prédire la présence ou l’absence de cartes rares dans un paquet.
Objectif 5 : Vérifier si les données obtenues avec les objectifs 1, 2, 3 et 4 sont transposables sur différentes collections / éditions.

Protocole mis en place

Chaque paquet, avant même l’ouverture, a été pesé par la balance de précision (0,01 g). Cette masse a été indiquée sur un post-it puis collé sur le paquet. Cette opération a été réalisée d’abord une seule fois lors de la première expérience.

A noter qu’en répétant cette opération (3 fois, chaque pesée séparées d’au minimum 12h dans le temps) a permis d’affiner les résultats obtenus (voir objectif 5).

Les résultats par collection ont ensuite été combinés dans un tableau excel pour analyse future. Les paquets de carte ont ensuite été ouvert, et chaque masse de chaque carte a été pesée, suivant le protocole utilisé pour les paquets.

La masse de résidus de colle laissée par les post-it a été considérée comme négligleable, la masse ne variant pas avant et après avoir mis et retiré un post-it.

Résultats de l’objectif 1 – une différence entre les carte ?

Vérifier la masse de l’ensemble des cartes d’un paquet afin d’en extraire un schéma. Il semble en effet qu’il y ait un schéma répétitif dans l’emplacement des cartes et dans leur contenu.

Les cartes 1 à 5 et 8 à 11 sont des cartes simples (communes, peu communes et rares). Les masses mesurées ne sont pas significativement différentes (n.s. non significatif, ANOVA à un facteur). Cependant, les cartes 6 et 7 présentent une masse significativement différente aux cartes précédemment citées (p<0,0001 ; ANOVA à un facteur). La carte à l’emplacement 6 était systématiquement une carte REVERSE. Sa masse moyenne est significativement supérieure à l’ensemble des autres cartes, comme celle placée en position 7 (p<0,0001 ; ANOVA à un facteur). La carte à l’emplacement 7 peut être soit une carte simple, soit une carte rare (Holographique, Full Art, …) expliquant cette disparité dans les mesures. Sa masse moyenne est significativement supérieure à l’ensemble des autres cartes (sauf en n°6) (p<0,0001 ; ANOVA à un facteur).

Cette première expérience permet de répondre à des problématiques que je n’avais pas prévu :

• Les cartes ont donc une position non aléatoire dans un paquet donné (la carte Reverse par exemple est toujours en position 6) et la carte rare est toujours, lorsqu’elle se trouve dans un paquet, en position 7. Toutes les autres cartes sont forcément des cartes simples.
• Le traitement « effet brillant » sur les cartes Reverse modifie grandement la masse de ces cartes. Ainsi, la masse des cartes Reverse est significativement différente des masses des cartes simples. Je peux extrapoler à ce moment de l’expérience qu’on retrouvera une telle différence sur les cartes qui auront un traitement spécial due à leur rareté.
• La variation de la masse concernant la carte n°7 correspond à la variation entre une carte « simple » et une carte « rare ». Cette différence sera expliquée dans l’objectif 2.

Résultats de l’objectif 2 – une différence entre les cartes simples et les cartes rares ?

Vérifier s’il existe une différence de masse entre les cartes simples (communes, peu communes, rares et reverses) et les cartes rares (Holographique – Full Art, etc.).

La masse des cartes Reverse, Holographique et Full Art est significativement supérieure à la masse des cartes simples (p<0,0001 ; test ANOVA à un facteur). La masse des cartes Reverse, Holographique et Full Art ne sont pas significativement différentes entre elles (n.s., non significatif). Puisque il y a systématiquement 9 cartes « simples » (cartes 1 à 5 et 8 à 11) et systématiquement une carte Reverse (carte 6) dans un paquet, la masse de la carte 7 est déterminante à la masse entière du paquet.

Si une carte simple se trouve en position 7, la masse du paquet devrait être inférieure à 0,12 g en moyenne par rapport à un paquet dans lequel se trouverait une carte Holographique ou Full Art. Cette différence peut-elle être mesurée ? Réponse dans les résultats de l’objectif 3.

Résultats de l’objectif 3 – une différence entre les paquets contenant une carte rare et ceux qui n’en contiennent pas ?

Vérifier s’il existe une différence de masse entre les paquets contenant seulement des cartes simples et les paquets contenant une carte rare. N = 52 paquets.

La masse d’un paquet contenant une carte rare est significativement supérieure à la masse d’un paquet contenant une carte simple, avec une P value inférieure à 0,0001 (p<0,0001 ; test de Student non apparié). Les nouvelles analyses le montrent, il y a une différence significativement mesurable entre un paquet de carte contenant une carte simple en position 7 et un paquet de carte contenant une carte Rare (Holographique ou Full Art) en position 7.

Cependant, il est impossible de discriminer s’il s’agit d’une carte Holographique ou Full Art lorsque la masse du paquet est significativement supérieure à la masse moyenne des paquets ne contenant pas de cartes rares. Cela n’est pas un frein puisqu’une comme l’autre, ces deux cartes sont activement recherchée par les collectionneurs.

Peut-on maintenant définir avec certitude qu’un paquet contiendra ou ne contiendra pas une carte rare ? Cette question sera résolue dans les résultats de l’objectif 4.

Résultats de l’objectif 4 – Inférences bayésiennes

Ou comment vérifier s’il est possible de prédire la présence ou l’absence de cartes rares dans un paquet. Cet objectif est simple mais la réalisation est complexe.

On souhaite, lorsqu’on ouvre un paquet de cartes, qu’il contienne une carte Rare. On souhaite, lorsqu’on n’ouvre pas un paquet de cartes, qu’il ne contienne pas de carte Rare. Pour répondre à cette problématique, nous allons poser l’hypothèse suivante : tous les paquets de cartes dont la masse est supérieure à la moyenne contiennent des cartes Rares et tous les paquets de cartes dont la masse est inférieure à la moyenne ne contiennent pas de cartes Rares.

Pour cela, on va poser les fameuses inférences bayésiennes, outil mathématique important pour la prise de décision notamment en médecine.

Comment lire ce tableau ? En colonne :

• Si la masse d’un paquet est inférieure à la masse moyenne des paquets mesurés, on lui attribue le signe N pour Non. Si le paquet de carte en question ne contenait pas de cartes rares, on lui attribue un 2e N pour Non. Ainsi pour obtenir un VRAI NÉGATIF, il faut répondre à ces deux critères et le sigle obtenu est NN.
• Si la masse d’un paquet est inférieure à la masse moyenne des paquets mesurés MAIS contenait quand même une carte rare (O), il s’agit d’un FAUX NÉGATIF, c’est à dire qu’on aurait pu passer à côté d’une rare rare. On lui attribue le signe NO.
• Si la masse d’un paquet est cette fois-ci supérieure à la moyenne des paquets mesurés (O), mais ne contient pas de cartes rares, alors on lui attribue le sigle ON. On aura ouvert ce paquet pour rien. Il s’agit d’un FAUX POSITIF.
• Si la masse d’un paquet est supérieure à la masse moyenne des paquets mesurés (O) et qu’il contient en plus une carte rare (O), on lui attribue le sigle OO. C’est un VRAI POSITIF, et on est content car on a ouvert le paquet.

On va maintenant distribuer les paquets (N = 52) en fonction de leur masse et de la présence ou non d’une carte rare à l’intérieur, dans ce tableau.

Ainsi, pour un paramètre arbitraire choisi (la masse moyenne, c’est à dire 22,55 g), sur un total de 52 paquets, on a obtenu les résultats suivants :

• 53,8% des paquets dont la masse était inférieure à la moyenne ne contenait pas de cartes rare (NN), VRAI NÉGATIF, résultat parfait ;
• 34,6% des paquets dont la masse était supérieure à la moyenne contenait une carte rare (OO), VRAI POSITIF, résultat parfait ;
• Aucun paquet (0%) dont la masse était inférieure à la moyenne contenait une carte rare (NO), FAUX NÉGATIF, donc résultat parfait ;
• Cependant, 11,5% des paquets ouverts, dont la masse était pourtant supérieure à la moyenne, ne contenait aucune carte rare (ON), FAUX POSITIF, résultats à revoir.

Ainsi, j’ai de nouveau réalisé un essai cette fois-ci avec un autre paramètre : au lieu d’utiliser la moyenne à 22,55 g, j’ai testé cette inférence bayésienne avec le paramètre suivant : 22,60 g et voici les nouveaux résultats obtenus :

Avec ce nouveau paramètre, on réduit drastiquement la quantité de paquets ouvert et ne contenant pas de cartes rares (ON) mais on augmente de manière importante la quantité de paquets non ouvert et qui contenait quand même une carte rare (NO), au détriment en plus de paquets ouverts et contenant une carte rare (OO).

L’établissement de ce paramètre de départ (moyenne discriminante), concernant la distribution des paquets, est primordial si l’on veut moduler ces différentes données. On peut évidemment moduler ce paramètre (masse moyenne) pour augmenter la spécificité (diminuer le nombre de ON pour augmenter le nombre de NN), mais cela aurait tendance à faire baisser la sensibilité (diminuer le nombre de OO et faire augmenter le nombre de NO). D’autres expériences pourraient donner des résultats intéressants avec une variation moins importante (+0,01 ; +0,02 ; …).

Discussion de mi-parcours

Alors, peut-on finalement prédire la présence ou non d’une carte rare dans un paquet de cartes Pokémon grâce à sa masse ? Oui et non. Je m’explique.

On a vu déjà que les paquets de cartes Pokémon avaient une masse significativement différente en fonction de la présence ou de l’absence de cartes rares, ce qui est quand même un fait plutôt incroyable. Je ne m’attendais pas à autant de différence, qui plus est pouvant être mesurée à partir d’une balance achetée pour 15€ sur Amazon.

Les données obtenues avec cette expérience me permettent de prédire, quasiment avec certitude (voir objectif 4) qu’un paquet de carte ne contiendra PAS de cartes rares. Cependant, les données obtenues me permettent de prédire la présence d’une carte rare dans un paquet, avec risque non nul d’environ 10% de me tromper (objectif 4).

Ces données peuvent-elles être extrapolées à l’ensemble des collections de cartes Pokémon ? C’est en tout cas ce que l’objectif 5 de cette étude essaye de résoudre.

Résultats de l’objectif 5 – Extrapôlation à l’ensemble des collections et éditions ?

Vérifier si les données obtenues avec les objectifs 1, 2, 3 et 4 sont transposables sur différentes collections / éditions.

Les expériences précédentes ont été réalisées avec les paquets de la collection EB1. Des résultats très similaires ont pu être obtenus avec les paquets de la collection EB2. L’affinage du protocole permet même d’améliorer les pronostiques établis dans l’objectif 4. C’est à dire en multipliant les pesées à intervalles réguliers entre les paquets et les cartes (multipliant cependant le temps nécessaire à la mise en place du protocole).

Les paquets des collections EB1 et EB2 ont une masse moyenne similaire (aucune différence significative mesurée). Ce qui voudrait pouvoir dire que nous pourrions à terme mixer les données obtenues avec ces deux collections.

En améliorant le protocole, c’est-à-dire en pesant chaque paquet 3 fois à 12h d’intervalle, nous avons amélioré significativement les données de l’objectif 4. Il n’y aurait plus que 3% de paquets ouverts ne contenant pas de cartes rares (ON) contre 12% avec l’ancien protocole, au profit d’une augmentation du nombre de paquet non ouverts ne contenant pas de cartes rares (NN).

Au sein d’une même collection (ici, Epée et Bouclier) je peux affirmer qu’on peut conclure sur les mêmes résultats obtenus qu’en objectif 4. Ces données ne m’étonnent pas puisque les collections se suivent.

Maintenant, que dire de ces résultats avec d’autres éditions ? J’ai testé ce même protocole avec la même rigueur avec la collection « SL2 – Gardiens Ascendants » de l’édition précédente « Soleil et Lune ».

Pattern (objectif 1) : La collection SL2 respecte le pattern des collections EB1 et EB2, c’est-à-dire une carte simple aux emplacements 1 à 5 ; une carte Reverse à l’emplacement 6 ; une carte rare ou non à l’emplacement 7 et une carte simple aux emplacements de 8 à 11. Petite variation notée tout de même : alors que la 8^e carte était systématiquement une énergie et que les 9 / 10 / 11^e cartes étaient simples dans EB1 et EB2, il arrive que ce ne soit que des énergies de la 8^e à 11^e carte dans la collection SL2. Cela n’a eu aucune incidence sur les mesures.

Cartes (objectif 2) : les paquets contiennent des cartes simples (communes, peu communes, rares, reverses) et des cartes rares (Holographiques, GX, Full Art et Secrète). Au vu du tirage, j’ai décidé d’ajouter les données GX et Secrètes qui étaient absentes du tirages avant). On observe toujours une différence significative concernant la masse des cartes simples et des cartes rares (test de student, p<0,0001). On observe également une différence, peu remarquable, entre la masse des cartes Reverse et Holographique et entre la masse des cartes Reverse et GX (test de student, p<0,01). Cependant, aucune différence n’est constatée entre les cartes GX et Holographiques.

Paquets (objectif 3) : il y a toujours une différence significative de masse entre les paquets ne contenant pas de cartes rares et les paquets contenant des cartes rares (test de student, p<0,0001).

Inférence bayésienne (objectif 4) : il est toujours possible de prédire le contenu d’un paquet avec la collection SL2 avec une très légère incertitude. En prenant comme référence la moyenne, aucune carte rare n’aurait été ratée (NO : 0%) ; et seulement 2 paquets ne contenant pas de cartes rares auraient été ouverts (ON : 5,6%). Le reste étant réparti entre le nombre de paquets de cartes ne contenant pas de cartes rares (NN : 58,3%) et le nombre de paquets contenant une carte rare (OO : 36,1%).

Discussion, conclusion et perspective

Vous l’aurez compris, je joue sur les mots : en effet, il est possible de prédire qu’un paquet contiendra une carte rare avec environ 5 à 10% de marge d’erreur, et on peut prédire avec certitude qu’un paquet ne contiendra pas de carte rare.

Cette donnée est en plus modulée par de nombreux facteurs, notamment la masse moyenne choisie pour élaborer notre test de sensibilité et de spécificité, mais également en améliorant le protocole de pesée des paquets et des cartes (répéter les opérations, peser toujours dans les mêmes conditions, améliorer la qualité du matériel ?).

Cette étude prend en compte pour l’instant que deux éditions (Soleil et Lune ; Epée et Bouclier) mais ne prend pas en compte les éditions antérieures et futures, je ne peux pas m’aventurer pour l’extrapolation des résultats obtenus.

Ces résultats m’interpellent quant au marché de plus en plus saturé de ce buisness que sont devenues les cartes Pokémon. En effet, de nombreux acheteurs (scalpers) achètent toutes les nouvelles collections pour ensuite revendre, paquets par paquets, ou cartes par cartes, ces collections qui deviennent très rares à force d’en aspirer le marché. Il est fort à parier que ces acheteurs, sans utiliser évidemment la rigueur scientifique de cette étude, pèsent et revendent les paquets dont la masse seraient inférieure à la moyenne.

Je suis effaré aussi de voir qu’il est quand même aisément facile de déterminer la présence ou non d’une carte de haute valeur avec si peu de matériel. C’est pour moi un véritable problème technique qui est soulevé dans cette étude, dans la conception directe des paquets de cartes Pokémon. J’aimerais pouvoir étendre cette étude à l’ensemble des collections et des éditions, mais le coût pécunier d’un tel processus est un véritable obstacle. J’espère simplement que cette différence n’est pas retrouvée dans l’ensemble des collections. J’aimerai vraiment attirer l’attention des designer des paquets, pour qu’ils réfléchissent vraiment à apporter une solution pérenne à ce problème.

Il devient de plus en plus difficile en France d’acheter des cartes Pokémon de mains en mains, tant les fausses cartes sont légions, et où il est même possible d’acheter de faux paquets (en vide grenier maintenant), et où l’on sait qu’il est possible d’avoir que des paquets ne contenant pas de cartes rares…

Mes conseils, pour les collectionneurs et les parents qui veulent faire plaisir aux enfants : n’achetez jamais de paquets à l’unité sur Ebay et autre service de vente / revente sauf si vous faites complètement confiance au vendeur ; n’achetez jamais de fausses cartes pour éviter de voir pulluler un marché annexe ; toujours vérifier les lots de cartes qu’on peut acheter en gros pour éviter les déconvenues (j’en ferais un autre sujet à part).

Ce dossier est maintenant terminé. J’espère qu’il vous aura plu et qu’il aura répondu à vos questions. N’hésitez pas à parcourir l’ensemble de mon blog ou à me laisser un commentaire à la suite de ce post pour discuter ensemble de ce phénomène !