«Ці висновки дають чіткий доказ того, що дані, зібрані на MTurk, просто не можна довіряти.» Дослідники давно сперечаються, чи можна довіряти даним опитування Amazon Mechanical Turk (MTurk). У цій статті використовується простий підхід до оцінки якості даних, які наразі виробляє MTurk. Автор ставить респондентам пари запитань, які очевидно суперечать одне одному. Наприклад: "Я багато говорю" і "Рідко говорю." Або: "Мені подобається порядок" і "Я прагну хаосу." Якщо люди звертають увагу, погоджуватися з одним має означати не погоджуватися з іншим. Принаймні, ці дві відповіді не повинні поєднуватися. Те саме опитування проводиться на трьох платформах: Prolific, CloudResearch Connect та MTurk. На Prolific і Connect все поводиться нормально: більшість суперечливих елементів мають негативну кореляцію, як і передбачає здоровий глузд. Однак на MTurk результати протилежні. Понад 96% цих явно протилежних пар предметів позитивно корелюють. Іншими словами, багато респондентів дають схожі відповіді на твердження, які буквально суперечать одне одному. Автори потім пробують те, що більшість дослідників зробили б далі: -обмежити вибірку лише працівниками MTurk з «високою репутацією» -застосовувати стандартні перевірки уваги -скинути швидкісні реагувальники та прямі лінії...