« Ces résultats fournissent des preuves claires que les données collectées sur MTurk ne peuvent tout simplement pas être fiables. » Les chercheurs ont longtemps débattu de la question de savoir si les données d'enquête d'Amazon Mechanical Turk (MTurk) peuvent être dignes de confiance. Cet article adopte une approche simple pour évaluer la qualité des données actuellement produites par MTurk. L'auteur donne aux répondants des paires de questions qui sont manifestement contradictoires. Par exemple : "Je parle beaucoup" et "Je parle rarement." Ou : "J'aime l'ordre" et "Je désire le chaos." Si les gens prêtent attention, être d'accord avec l'une devrait signifier être en désaccord avec l'autre. Au minimum, les deux réponses ne devraient pas évoluer ensemble. Le même sondage exact est réalisé sur trois plateformes : Prolific, CloudResearch Connect et MTurk. Sur Prolific et Connect, les choses se comportent normalement : la plupart des éléments contradictoires sont négativement corrélés, comme le prédit le bon sens. Sur MTurk, cependant, les résultats sont à l'opposé. Plus de 96 % de ces paires d'éléments clairement opposés sont corrélées positivement. En d'autres termes, de nombreux répondants donnent des réponses similaires à des déclarations qui se contredisent littéralement. Les auteurs essaient ensuite ce que la plupart des chercheurs feraient ensuite : -restriction de l'échantillon aux travailleurs MTurk de "haute réputation" -application de contrôles d'attention standard -exclusion des répondants rapides et des linéaires...