“Deze bevindingen bieden duidelijk bewijs dat gegevens verzameld op MTurk simpelweg niet te vertrouwen zijn.” Onderzoekers hebben al lang gediscussieerd over de vraag of de gegevens van Amazon Mechanical Turk (MTurk) te vertrouwen zijn. Dit artikel hanteert een eenvoudige benadering om de kwaliteit van de gegevens die momenteel door MTurk worden geproduceerd te evalueren. De auteur geeft respondenten paren van vragen die duidelijk tegenstrijdig zijn. Bijvoorbeeld: "Ik praat veel" en "Ik praat zelden." Of: "Ik hou van orde" en "Ik verlang naar chaos." Als mensen opletten, zou het instemmen met de ene vraag betekenen dat je het niet eens bent met de andere. Op zijn minst zouden de twee antwoorden niet samen moeten bewegen. De exact dezelfde enquête wordt uitgevoerd op drie platforms: Prolific, CloudResearch Connect en MTurk. Op Prolific en Connect gedragen de dingen zich normaal: de meeste tegenstrijdige items zijn negatief gecorreleerd, precies zoals gezond verstand voorspelt. Op MTurk zijn de resultaten echter het tegenovergestelde. Meer dan 96% van deze duidelijk tegenovergestelde paren zijn positief gecorreleerd. Met andere woorden, veel respondenten geven vergelijkbare antwoorden op uitspraken die letterlijk elkaar tegenspreken. De auteurs proberen vervolgens wat de meeste onderzoekers als volgende stap zouden doen: -beperk de steekproef tot "hoog-reputatie" MTurk-werknemers -pas standaard aandachtcontroles toe -verwijder snelle respondenten en rechtlijnige antwoorden...