4 cambios que haré al usar Amazon MTurk para la investigación

Sign seen in Santa Cruz by Robert Couse-Baker licensed under CC BY 2.0
Fuente: Signo visto en Santa Cruz por Robert Couse-Baker con licencia de CC BY 2.0

Hace unos días, describí mi experiencia bastante intensa y no del todo placentera trabajando a tiempo parcial como Amazon Mechanical Turk (MTurk)   obrero. Esta experiencia no solo me dejó "conmocionado y agitado" por así decirlo, sino que también me hizo pensar en los cambios que debo hacer cuando vuelvo a utilizar MTurk como investigador para recopilar datos experimentales o de encuestas.

Aquí está mi lista de los cuatro cambios que planeo hacer al usar MTurk para publicar mi trabajo (otros investigadores pueden unirse a J).

1. ¡Pague a los trabajadores el doble!

El tema del pago fue quizás la revelación más sorprendente de mi experiencia y una que sería imposible sin haber caminado con los zapatos de un trabajador de MTurk durante una semana. Hasta ahora, cuando publiqué mis encuestas en MTurk, pensé en los trabajadores de maneras muy abstractas y confusas, si es que pensaba en ellos.

Después de haber trabajado en investigación de mercadotecnia comercial, había un sentido molesto en mi mente de que estaba obteniendo mis datos a un precio de ganga (una vez trabajé en un proyecto de investigación que involucraba prisioneros, e incluso un público tan cautivo costaba $ 3 / encuesta); pero lo quité. ¿A que costo? Después de mi experiencia como trabajador, tengo claro que no estaba pagando lo suficiente por el valor que obtengo de los trabajadores de MTurk.

Para una encuesta de 6-7 minutos, ofrecí entre $ .40 y $ .60 dependiendo del número de preguntas abiertas, teniendo que leer y comprender pasajes, etc. A partir de ahora, voy a ofrecer al menos $ 1.00. Con mi presupuesto de investigación limitado, este aumento salarial unilateral significa que tendré que trabajar más duro en la parte delantera para diseñar y planificar estudios más cuidadosamente y hacer menos de ellos.

(Y me doy cuenta de que Amazon recientemente aumentó la comisión que cobran sustancialmente a los investigadores. Pero, en mi opinión, ese es un asunto completamente diferente que queda mejor para los luchadores más feroces, no tiene nada que ver con la remuneración del trabajador justo).

¡Aquí tienes, un profesor de marketing que ofrece pagar el doble! Extraño, lo sé.

2. Controlar y mantener diligentemente la calidad de la encuesta

Desde el punto de vista de los trabajadores de MTurk, cualquier cosa que los desacelere duele, tanto cognitivamente (en cómo piensan y responden a las preguntas) como en el libro de bolsillo. Tales puntos de dolor pueden incluir muchas cosas. Preguntas que son trabalenguas, redactadas de manera deficiente o ambigua, errores de ortografía, errores de gramática, flujos de encuestas complicados, tareas que hacen que los encuestados permanezcan sentados durante más de dos minutos mientras un reloj digital se agota, preguntas abiertas que obligan a las personas a escribir cierto número de palabras (o caracteres) inmensos, creo que algo más de 100 caracteres es demasiado), las encuestas que son demasiado largas (cualquier cosa más 70 preguntas totales es demasiado larga en mi opinión) contribuyen en gran medida al dolor del encuestador.

En los estudios que yo (o mis coautores) hemos publicado en MTurk, en general hemos sido buenos acerca de estas cosas. Pero vacilamos de vez en cuando. A veces, codificamos erróneamente un tipo de respuesta en una pregunta, de modo que un espacio en blanco que realmente debería rellenarse con texto obliga a una respuesta para una dirección de correo electrónico. Otras veces, dejamos un error tipográfico evidente en la encuesta cuando lo publicamos que distrae a los encuestados. Son cosas tan pequeñas como esta que nos vamos a enfocar en arreglar.

Mi propia supervisión más atroz del control de calidad es que a menudo me saltearé la edición de copias, las pruebas preliminares y la ejecución de cuestionarios que estoy a punto de publicar en MTurk (por pura pereza o exceso de confianza injustificada, no sé cuál).

Mi mantra a partir de ahora: Copyedit y luego haga una prueba preliminar del cuestionario sobre mí (y los coautores o secuaces) al menos tres veces antes de que se publique para los trabajadores de MTurk. Si no puedo solucionarlo sin problemas, es probable que los encuestados tampoco lo hagan.

Hice una lista de verificación que revisa todos estos problemas potenciales y puede ser útil para los investigadores que realizan encuestas en línea. Se puede descargar aquí.

3. No solo obtener el consentimiento informado, sino también brindar la oportunidad de recibir "comentarios informados"

Al igual que la mayoría de los investigadores, inserto un formulario de consentimiento informado explicando el procedimiento de mi estudio, sus riesgos potenciales, mi información de contacto, etc. al comienzo de mi cuestionario. Pero ahora me doy cuenta de que esto no es tan útil como podría ser por un par de razones.

  • La forma es bastante densa No es razonable esperar que los trabajadores de MTurk en el reloj lean cuidadosamente más de 300 palabras, incluso antes de que comience el estudio. Incluso si les pido a los trabajadores que lo impriman para futuras referencias, es poco probable que la mayoría lo haga.
  • El formulario de consentimiento informado suele ser el único lugar donde se proporciona el nombre y la información de contacto del investigador. Sin embargo, el trabajador realmente necesita esta información al final después de presionar el botón final y enviar la encuesta.

Por lo tanto, además de obtener el consentimiento informado, voy a obtener "comentarios informados" al final una vez que se haya enviado la encuesta y se haya entregado el código de finalización. Aquí es donde parece apropiado proporcionar mi información de contacto y solicitar comentarios y dar la oportunidad de expresar cualquier queja.

Los especialistas en marketing suelen preguntar a los clientes sobre su experiencia después de una comida en un restaurante o un viaje en avión, así que ¿por qué los investigadores no deberían hacer lo mismo después de una encuesta de MTurk?

4. Complementar los estudios de MTurk con muestras y métodos drásticamente diferentes

Independientemente de la suficiencia estadística de los datos de MTurk, hay algo inherentemente apestoso en la investigación de las ciencias sociales realizada únicamente con un método que tiene encuestadores que completan encuestas como los trabajadores de la línea de montaje que juntan relojes Apple.

Déjame decirte por qué. En la toma de decisiones morales, una clase de problemas importantes (y horribles) implica elegir entre dos situaciones REALMENTE malas (que sinceramente espero que ninguno de nosotros tenga que enfrentar en nuestras vidas reales). Tales dilemas incluyen: "¿Asfixiarías a un niño con tus propias manos para salvar a una docena de extraños de ser asesinados?" O "¿Podrías cocinar y servir a tu perro / gato en una fiesta del pueblo si eso significara que toda tu aldea sería ¿salvado de ser asesinado de inmediato? " ¡Ay!

Este tipo de preguntas son espantosas. Para cualquier ser humano normal, crean confusión emocional y moral cuando los encuentras (¡al menos lo hicieron por mí!). Eso es lo que deben hacer. Pero supongamos que encuentra las mismas preguntas una y otra vez … y otra vez; digamos que encuentras una docena de estas preguntas en 20 encuestas cada semana (la toma de decisiones morales es un tema de investigación popular, después de todo).

¿Vas a sentir el mismo intenso dilema moral la 17ª vez que respondes esas preguntas? ¡De ninguna manera! Irás como: "¡Bostezo! ¡Oh, bueno, para apaciguar a los merodeadores, cocinaré Rover en filetes para la fiesta del pueblo! ¡Siguiente! " Mi punto es cuando respondo, todavía puede responder las preguntas de la forma en que el investigador quiere, espera o predice, pero seguramente sin ninguna agitación emocional que se encuentra en el corazón de tales decisiones morales!

Hay al menos otras dos razones por las que soy cauteloso al realizar únicamente la investigación basada en muestras de MTurk. En primer lugar, debido a la facilidad, el costo y la velocidad de ejecutar los estudios de MTurk, existe una tendencia creciente a realizar numerosos estudios para el mismo proyecto con la idea de replicar el hallazgo y utilizar métodos estadísticos sofisticados, como metanálisis a pequeña escala para calcular a cabo el tamaño del efecto de manera más confiable .

Sin embargo, este aluvión de datos adquiridos a bajo precio pasa por alto el hecho de que todos los estudios se han realizado con encuestadores que están hastiados homogéneamente; por lo que los resultados pueden no generalizarse más allá de los encuestadores de la línea de montaje. Y la verdad del asunto es que sabemos muy poco sobre encuestadores profesionales más allá del hecho de que son relativamente pocos.

En segundo lugar, para los investigadores aplicados en particular, la complacencia derivada de haber realizado numerosos estudios en línea cambia el enfoque de reconocer las severas limitaciones asociadas con las tareas basadas en texto que involucran historias imaginarias y escenarios que las encuestas en línea pueden afrontar. Tales mediciones pueden o no transferirse a decisiones o comportamientos reales en el mundo real que realmente estamos interesados ​​en estudiar.

Por estas razones, planeo usar MTurk toma muestras principalmente para la realización de pruebas previas y para la investigación exploratoria que constituye una pequeña fracción de los estudios en cualquier proyecto de investigación en particular. Tal como están las cosas, prefiero realizar estudios de campo (con clientes reales, por ejemplo) y medir comportamientos reales en lugar de opiniones sobre cómo se comportarían los encuestados.

Quiero decir una última cosa (si tú, el lector, llegaste tan lejos sin irrumpir maldiciéndome profundamente). Al publicar trabajos en MTurk, ¿no sería agradable que los investigadores usaran su nombre real y declararan claramente su afiliación? Usar seudónimos como "SocPerfLab37" crea la impresión de spammers en línea que lanzan Viagra todos los días.

Recursos adicionales

Un colectivo de trabajadores e investigadores de MTurk llamado Dynamo ha elaborado un excelente conjunto de directrices para los investigadores que describe muchas de las cosas que he abordado aquí con mucha más profundidad y mucho más. El grupo también ha realizado una investigación interesante sobre la acción colectiva entre los trabajadores de MTurk.

Más sobre mí

Enseño mercadotecnia básica y precios a estudiantes de MBA en Rice University y mi experiencia académica está aquí.

Puede encontrar y descargar una gran parte de mi escritura académica y parte de mi práctica profesional en SSRN. Si no puede encontrar algo antiguo que haya escrito, envíeme un correo electrónico y se lo enviaré.

Algunos de mis escritos para gerentes y gente de negocios se pueden encontrar en HBR.org y también escribo un blog relativamente nuevo llamado "La ciencia detrás del comportamiento" en Psychology Today.

Puede conectarse conmigo en LinkedIn o Facebook , o puede enviarme un correo electrónico. Todas las preguntas, comentarios, pensamientos e ideas para futuras piezas de blog o proyectos de investigación académica son bienvenidos. Simplemente no me envíe ningún correo de odio, por favor.

[Esta publicación se publica de forma cruzada desde LinkedIn Pulse ]

  • La primera herramienta médica para predecir de manera robusta el TEPT
  • Un mal consejo: sigue a tu corazón
  • Consejos de trauma para comprender y sanar: parte 3 de 4
  • ¿Los sesgos cognitivos mejoran nuestras percepciones?
  • Las ondas alfa cerebrales aumentan la creatividad y reducen la depresión
  • Hacer buenas elecciones
  • TDAH y sexo: una entrevista con Ari Tuckman
  • Es solitario en la cima
  • 2 maneras de preseleccionar a los candidatos para el matrimonio arreglado indio
  • ¿Te cuesta dormir? ¡Hacer nada!
  • La aplicación de la lógica de la evaluación al mundo real.
  • Los bebés son estrategas sociales
  • Mantener un enfoque "ganador" no es la forma de ganar
  • High School y más allá
  • ¿Qué tan razonable es poner tanta fe en la razón?
  • La esencia no conflictiva: unir a las personas
  • Desempacado, la Oración de la Serenidad es una actualización de sabiduría instantánea
  • La puerta giratoria de la recaída
  • Irracionalidad
  • 6 razones por las que permanecemos en malas relaciones
  • Psicodermatología: cuatro mitos que pueden evitar que su piel se vuelva mejor
  • ¿Se supone que debo impresionarme?
  • La felicidad trae riqueza
  • Cómo el trabajo en equipo puede dañar la productividad
  • El caso de la discriminación
  • Entrevista con Rebecca Tinsley, fundadora de Network 4 Africa
  • Cómo el trabajo en equipo puede dañar la productividad
  • ¿Tienes un jefe de Micromanaging?
  • La esencia no conflictiva: unir a las personas
  • 3 pasos para obtener lo que quieres
  • Crianza positiva y el cerebro
  • Bajarse de la Diet Treadmill
  • 4 razones por las que puede despertarse sintiéndose cansado
  • Cómo tener un esposo en el lado
  • Un multimillonario observa la muerte
  • ¿Eres un comedor emocionalmente inteligente?