Bombardeará aleatoriamente entrevistas técnicas. Todos lo hacen. Aquí están los datos.

Cuando escuchas cientos de entrevistas técnicas día tras día, comienzas a notar patrones. O en este caso, falta de patrones.

Sin embargo, encontré una cosa que es bastante consistente y la usé como base para un juego de beber:

  • Cada vez que alguien crea que la respuesta a una pregunta de una entrevista es una tabla hash, tómate un trago.
  • Y cada vez que la respuesta sea mesa de hachís, tómate dos tragos.

Pero no intentes este juego. Casi me muero jugando.

La razón por la que paso mis días escuchando entrevistas técnicas es porque hace un par de años cofundé entrevistas.io, una plataforma de entrevistas donde las personas pueden practicar entrevistas técnicas de forma anónima y, en el proceso, encontrar trabajo.

Como resultado, tengo acceso a un montón de datos sobre cómo se desempeñan las mismas personas de una entrevista a otra. Y he descubierto tanta volatilidad que me hace cuestionar por completo la fiabilidad de los resultados de una sola entrevista.

Cómo obtuvimos todos estos datos

Cuando un entrevistador y un entrevistado coinciden en nuestra plataforma, se encuentran en un entorno de codificación colaborativa con voz, chat de texto y una pizarra y saltan directamente a una pregunta técnica.

Las preguntas de la entrevista en la plataforma tienden a caer en la categoría de lo que encontraría en la pantalla de un teléfono para un rol de ingeniería de software de back-end. Los entrevistadores suelen provenir de una combinación de grandes empresas como Google, Facebook y Yelp, así como de nuevas empresas centradas en la ingeniería como Asana, Mattermark, KeepSafe y más.

Después de cada entrevista, los entrevistadores califican a los entrevistados en algunas dimensiones diferentes, incluida la capacidad técnica. La habilidad técnica se califica en una escala del 1 al 4, donde 1 es "meh" y 4 es "¡asombroso!" En nuestra plataforma, una puntuación de 3 o más generalmente significa que la persona era lo suficientemente buena para seguir adelante.

En este punto, podría decir, eso es bueno y todo, pero ¿cuál es el problema? Muchas empresas recopilan este tipo de datos en el contexto de sus propias canalizaciones.

Esto es lo que hace que nuestros datos sean especiales: el mismo entrevistado puede hacer varias entrevistas, cada una de las cuales es con un entrevistador diferente y / o una empresa diferente. Esto abre la puerta a un análisis comparativo bastante interesante y algo controlado.

Hallazgo n. ° 1: su desempeño de una entrevista a otra es volátil

Comencemos con algunas imágenes. En el gráfico siguiente, cada icono de persona representa la puntuación técnica media de un entrevistado individual que ha realizado 2 o más entrevistas en la plataforma.

Una cosa que no mostramos en este gráfico es el paso del tiempo, por lo que puede ver el desempeño de las personas a lo largo del tiempo. Es una especie de desastre.

El eje y es la desviación estándar del rendimiento, por lo que cuanto más alto asciende, más volátil se vuelve el rendimiento de la entrevista.

Como puede ver, aproximadamente el 25% de los entrevistados son consistentes en su desempeño y el resto está por todas partes.

Si observa el gráfico anterior, a pesar del ruido, probablemente pueda hacer algunas conjeturas sobre a qué personas le gustaría entrevistar.

Pero tenga en cuenta que cada uno representa un medio . Supongamos que, en cambio, tuvo que tomar una decisión basada en un solo punto de datos. Ahí es donde las cosas se ponen difíciles.

Para llevar este punto a casa, debe visitar la versión interactiva realmente genial de este gráfico. Allí puede ampliar el desempeño de todos y ver cómo le fue a cada persona en cada entrevista. ¡Los resultados pueden sorprenderte! Por ejemplo:

  • Muchas personas que obtuvieron al menos un 4 también obtuvieron al menos un 2.
  • Si miramos a los de alto desempeño (media de 3.3 o más), todavía vemos una gran cantidad de variación.
  • Las cosas se ponen realmente turbias cuando consideramos a los intérpretes "promedio" (promedio entre 2.6 y 3.3).

? ¿Visitar la visualización interactiva realmente genial?

Teníamos curiosidad por ver si la volatilidad variaba con las puntuaciones medias de las personas. En otras palabras, ¿los jugadores más débiles eran más volátiles que los fuertes? La respuesta es no. Cuando realizamos una regresión de la desviación estándar frente a la media, no pudimos encontrar ninguna relación significativa (R-cuadrado ~ = 0.03), lo que significa que las personas están por todas partes, independientemente de lo fuertes que sean en promedio.

Para mí, mirar estos datos, y luego fingir que tenía que tomar una decisión de contratación basada en el resultado de una entrevista, me pareció como mirar dentro de un hermoso salón lujosamente decorado a través del ojo de una cerradura. A veces ves una obra de arte en la pared, a veces ves la selección de licores y, a veces, solo ves el respaldo de un sofá.

Entonces, en una situación de la vida real, cuando estás tratando de decidir si adelantar a alguien al sitio, probablemente estés tratando de evitar dos cosas: falsos positivos (traer personas por debajo de tu barra por error) y falsos negativos quién debería haberlo hecho).

El paradigma de entrevistas de la mayoría de las principales empresas es que los falsos negativos son menos malos que los falsos positivos. Esto tiene sentido, ¿verdad? Con una canalización lo suficientemente grande y suficientes recursos, incluso con una alta tasa de falsos negativos, aún obtendrá las personas que desea.

Con una alta tasa de falsos positivos, es posible que obtenga una contratación más barata, pero en el proceso ocasiona un daño potencialmente irreversible a su producto, cultura y estándares de contratación futura. Y, por supuesto, las empresas que establecen los estándares y prácticas de contratación para toda una industria son las que tienen grandes tuberías y recursos aparentemente inagotables.

Sin embargo, el lado oscuro de la optimización para altas tasas de falsos negativos asoma la cabeza en la forma de nuestra actual crisis de contratación de ingenieros. ¿Las instancias de entrevistas únicas, en su encarnación actual, dan suficiente señal? O en medio de tanta demanda de talento, ¿estamos rechazando a personas calificadas porque todos estamos viendo un gráfico grande y volátil a través de un pequeño ojo de cerradura?

Entonces, dejando de lado la moralidad hiperbólica, dado lo volátil que es el desempeño de la entrevista, ¿cuáles son las probabilidades de que un buen candidato falle en una pantalla de teléfono individual?

Hallazgo n. ° 2: sus probabilidades de reprobar una sola entrevista en función del desempeño anterior

A continuación, puede ver la distribución del desempeño medio en toda nuestra población de entrevistados.

Para calcular la probabilidad de que un candidato con un puntaje promedio dado fallara en una entrevista, tuvimos que hacer un trabajo de estadísticas.

Primero, dividimos a los entrevistados en cohortes en función de sus puntuaciones medias (redondeadas al 0,25 más cercano). Luego, para cada cohorte, calculamos la probabilidad de reprobar, es decir, de obtener una puntuación de 2 o menos. Finalmente, para evitar que nuestro conjunto de datos inicial no sea enorme, volvimos a muestrear nuestros datos.

En nuestro procedimiento de remuestreo, tratamos el resultado de una entrevista como una distribución multinomial. En otras palabras, pretendíamos que cada entrevista era una tirada de un dado ponderado de 4 caras correspondiente a la cohorte de ese candidato.

Luego volvimos a lanzar los dados varias veces para crear un nuevo conjunto de datos "simulado" para cada cohorte y calculamos nuevas probabilidades de falla para cada cohorte utilizando estos conjuntos de datos. A continuación, puede ver los resultados de repetir este proceso 10,000 veces:

Como puede ver, muchas de las distribuciones anteriores se superponen entre sí. Esto es importante porque estas superposiciones nos dicen que puede que no haya diferencias estadísticamente significativas entre esos grupos (por ejemplo, entre 2,75 y 3).

Ciertamente, con la llegada de muchos más datos, la delimitación entre cohortes puede volverse más clara. Por otro lado, si necesitamos una gran cantidad de datos para detectar diferencias en la tasa de fallas, podría sugerir que las personas son intrínsecamente muy variables en su desempeño.

Al final del día, si bien podemos decir con confianza que existe una diferencia significativa entre el extremo inferior del espectro (2,25) y el extremo superior (3,75), para las personas en el medio, las cosas son turbias.

Sin embargo, utilizando estas distribuciones, intentamos calcular la probabilidad de que un candidato con una determinada puntuación media fracasara en una sola entrevista:

El hecho de que las personas que son en general bastante fuertes (por ejemplo, media ~ = 3) pueden estropear las entrevistas técnicas hasta en un 22% de las veces muestra que definitivamente hay margen de mejora en el proceso. Y esto se ve agravado aún más por la turbidez general en el medio del espectro.

Entonces, ¿está condenada la entrevista?

Generalmente, cuando pensamos en una entrevista, pensamos en algo que debería tener resultados repetibles y transmitir una señal fuerte. Sin embargo, los datos que hemos recopilado cuentan una historia diferente.

Y esa historia resuena tanto con mi experiencia anecdótica como reclutador como con los sentimientos que hemos visto reflejados en la comunidad.

Startup Interviewing de Zach Holman es un jodido éxito en la desconexión entre el proceso de entrevista y el trabajo que debe ocupar.

Los excelentes caballeros de TripleByte llegaron a conclusiones similares al observar sus propios datos.

Una de las expresiones más conmovedoras de los resultados inconsistentes de las entrevistas provino recientemente dejected.us.

Puede apostar a que muchas personas que son rechazadas después de una pantalla de teléfono por la Compañía A, pero que obtienen mejores resultados con una pantalla de teléfono diferente, y finalmente terminan en un lugar tradicionalmente respetable, son golpeadas por los reclutadores de la Compañía A 6 meses después.

Y a pesar de los mejores esfuerzos de todos, el círculo de masajes turbio, volátil y, en última instancia, estocástico de un proceso de contratación sigue su marcha.

Entonces, sí, ciertamente una posible conclusión es que la entrevista técnica en sí misma está condenada al fracaso y no proporciona una señal confiable y determinista para una instancia de entrevista. Las entrevistas algorítmicas son un tema muy debatido y estamos profundamente interesados ​​en analizarlo.

Una cosa en particular que nos entusiasma mucho es el seguimiento del desempeño de la entrevista en función del tipo de entrevista, a medida que recibimos más y más tipos / enfoques de entrevistas diferentes en la plataforma. De hecho, uno de nuestros objetivos a largo plazo es profundizar realmente en nuestros datos, observar el panorama de diferentes estilos de entrevistas y hacer algunas declaraciones serias basadas en datos sobre qué tipos de entrevistas técnicas conducen a la señal más alta.

Mientras tanto, sin embargo, me inclino hacia la idea de que basarse en el desempeño agregado es mucho más significativo que tomar una decisión tan importante basada en una sola entrevista arbitraria.

El desempeño agregado no solo puede ayudar a corregir un desempeño inusualmente pobre, sino que también puede eliminar a las personas que eventualmente obtienen buenos resultados en una entrevista por casualidad o aquellos que, con el tiempo, se someten a la bestia y memorizan Cracking the Coding Interview .

Sé que no siempre es práctico (o posible) recopilar datos de rendimiento agregados en la naturaleza. Pero digamos que el desempeño de un candidato está en el límite, o donde su desempeño difiere enormemente de lo que cabría esperar. Podría tener sentido entrevistarlos una vez más, enfocándose en material diferente, antes de tomar la decisión final.

Hemos recopilado una tonelada más de datos sobre el rendimiento de las entrevistas que aún no se han incluido en este análisis, por lo que si tiene curiosidad por ver si el rendimiento de las entrevistas sigue siendo arbitrario, ¡esté atento!

¿Quiere ser increíble en las entrevistas técnicas y conseguir su próximo trabajo en el proceso? Únase a entrevistas.io.