Tenemos más datos y mejores herramientas para analizarlos y compartirlos que nunca. Entonces, ¿por qué es tan frecuente que la verdad sea tan difícil de precisar?

¿Que es la verdad? ¿Cómo decides qué es verdad o no? Si hablamos filosóficamente, la verdad es a menudo subjetiva. Y si hablamos en términos de resolver problemas de datos, también puede ser subjetivo o simplemente mal definido.

Es raro, al resolver un problema con los datos, que sepamos exactamente la pregunta correcta. Es común que, al decidir la pregunta, que resolvamos el problema equivocado, muy ligeramente. Y a menudo hacemos suposiciones que no debemos hacer o que no se cumplen.

No olvides el ruido tampoco. Esto puede ser una medición o grabación incorrecta, o puede provenir de un ser humano que responde a una encuesta en un estado de ánimo no ordinario. Y no olvides el sesgo.

Si todo lo que estábamos tratando de predecir siguiera un conjunto de reglas consistentes, eventualmente podríamos encontrar la verdad. Y, por ejemplo, en física, eso es básicamente lo que está sucediendo. Sin embargo, observando, por ejemplo, el cambio climático, hay quienes están tan firmemente en un campamento u otro que ninguna cantidad de diálogo o prueba del otro lado los influirá.

Y este es un gran problema.

Y cuando hablamos de lo que es “verdadero” en algo que solo involucra a humanos … digamos, decidiendo si un video se volverá viral (un ejemplo que acaba de aparecer en mi mente). Los humanos son una mezcla interesante de lo racional y lo irracional. Nuestra verdad subjetiva, nuestra filosofía de vida, a menudo es cambiante a menos que estemos muy conscientes de nosotros mismos y de nuestros pensamientos. Un argumento que es válido (en cualquier mente humana) un día puede ser inválido al día siguiente porque dicho humano decide mirar las cosas desde otra perspectiva.

Eso es algo bueno, la mayoría de las veces, pero hace que sea difícil decidir si alguna “verdad” relacionada con la existencia humana es realmente cierta.

Tenemos métodos científicos para trabajar con el mundo, pero la ciencia depende de la coherencia en nuestra definición de verdad.

Ampliando el excelente ejemplo de Peter Flom de pronóstico del tiempo donde hay una verdad singular y muchos datos involucrados. Creo que el huracán Sandy es un buen ejemplo:

El 23 de octubre de 2012, el camino del huracán Sandy fue pronosticado correctamente por el Centro Europeo de Pronósticos Meteorológicos de Mediano Alcance ( ECMWF ) casi ocho días antes de su sorprendente región de Nueva York / Nueva Jersey el 29 de octubre. Dos días antes de que Sandy golpeara NY / NJ, el Sistema de Pronóstico Global (GFS) del Servicio Meteorológico Nacional y el Centro Nacional de Huracanes confirmaron el camino del huracán predicho por el modelo europeo.

Ambos servicios de pronóstico del tiempo tenían las mismas fuentes de datos. Pero el europeo no solo tenía el mejor modelo meteorológico, sino que también tenía 20 veces la potencia informática para ejecutarlo.

El huracán Sandy se convirtió en un desastre porque prevaleció la arrogancia en todos los niveles del gobierno. El Congreso recortó el presupuesto del NWS. La gente en el Centro Nacional de Huracanes no escuchó las advertencias de los europeos porque eso sería una admisión de que Estados Unidos no es el número 1 en pronósticos de huracanes, etc., etc.

Como Simon Tse y D. VanEvery han comentado, no se puede superar con más datos y mejores herramientas la mala toma de decisiones que a menudo se basa en el ego, el pensamiento miope y la mentalidad cerrada.

Esto se ejemplifica mejor por el hecho de que el Congreso ha leído el informe sobre el huracán Sandy, que establece claramente que para evitar otro desastre, el NWS necesita el mismo presupuesto que los europeos. El Congreso aún no ha proporcionado este presupuesto.

Como puede ver en las respuestas de Justin y Simon (que le aconsejo que lo lea una y otra vez), la verdad no es un absoluto … bueno … ¡verdad!

Una de las cosas más exigentes de mi trabajo es convencer a las personas que me rodean de que mi trabajo no se trata de la verdad sino de la incertidumbre. Estoy a punto de intentar convencerte de lo mismo.

No existe una verdad absoluta, todo lo que tenemos es el conocimiento actual basado en la evidencia que hemos reunido hasta ahora. Si nuestra evidencia muestra que una hipótesis es válida, aceptamos el nuevo conocimiento encontrado y descartamos el viejo. Para avanzar, hacemos esto una y otra y otra vez. No hay nada más hermoso que decir que actualizamos nuestras creencias. De eso se trata la ciencia.

El problema es que la comprensión (y el marketing) se trata de “se puede saber todo de los datos”. No puedes realmente. Nunca seras. Lo que puede y debe hacer es aceptar lo que sabe, reconocer lo que no sabe y seguir buscando evidencia y actualizando su conocimiento actual.

Los sistemas digitales más avanzados que alimentan nuestra vida diaria ni siquiera se preocupan por la verdad. Están diseñados para optimizar nuestra decisión con muy poco interés en las causas raíz. Estos sistemas y las personas que los construyen prosperan en presencia de incertidumbre.

Consulte sus recomendaciones de Netflix, Spotify y Amazon. ¿Crees que esos sistemas son sobre la verdad? Se trata de que la subjetividad se transforme en matemáticas, de la incertidumbre y de cómo minimizarla.

Supongo que esta no es una pregunta metafísica.

En primer lugar, una mayor cantidad de datos no garantiza una mejor decisión y mucho menos acercarse a la verdad cuando hace una pregunta incorrecta y plantea una hipótesis incorrecta, o formula la pregunta de una manera que realmente se basa en supuestos falibles. Recopilar más datos basados ​​en suposiciones falsas o inexactas no lo acercará a la verdad ya que no se dirige hacia la dirección correcta. Más importante aún, parte de nuestra “verdad” de larga data podría derrumbarse porque tenemos mejores mediciones y mejores datos que lo refutan. Eso nos hace plantear otras preguntas porque “sabemos” más ahora.

Siempre me gusta esta metáfora de Buda: cuando arrojas una aguja al suelo donde nadie está mirando, ¿suena igual? La verdad es más o menos lo mismo.

¿Qué verdad sobre qué?

Tomemos un ejemplo donde ha habido intentos claros de hacer algo durante mucho tiempo y donde las herramientas y los datos están mejorando: los pronósticos del tiempo.

Los pronósticos del tiempo han mejorado mucho . Han mejorado mucho porque hay mejores herramientas y más datos. ¿Es perfecto? No claro que no. Pero está mucho más cerca de la verdad que hace 10 años, mucho menos 100.