Si diseñaras una IA cuyo motivo principal pudieras elegir, ¿cuál sería?

Estoy más de acuerdo con este enfoque:

En términos poéticos, nuestra volición coherente extrapolada es nuestro deseo si supiéramos más, pensáramos más rápido, si fuéramos más las personas que quisiéramos que hubiéramos crecido juntas; donde la extrapolación converge en lugar de divergir, donde nuestros deseos son coherentes en lugar de interferir; extrapolado como deseamos que extrapolado, interpretado como deseamos que interpretado.

—Eliezer Yudkowsky, mayo de 2004

Es, creo, el enfoque más sabio y completo de la ética de la IA hasta el momento. Tiene 13 años y sigue siendo el mejor que tenemos. No sufre los problemas con las opiniones divergentes que perjudican otras sugerencias populares, sin embargo, no subestima la importancia de ayudar a los humanos a mejorarse a sí mismos, siempre que no afecte negativamente a los demás.

Le da a la IA suficientes grados de libertad para evitar el desastre teorizado por la Tesis de Ortogonalidad, pero no lo suficiente como para hacer que su comportamiento sea errático o poco ético. El único defecto importante es el caso en que los deseos actuales de los individuos y su deseo si él ‘supiera más’ divergen. Esto está bien ilustrado en un artículo de LessWrong:

Tomemos, por ejemplo, un agente que se enfrenta al dilema del prisionero. Tal agente originalmente podría tender a cooperar y solo después de aprender sobre la teoría de juegos decide desertar y obtener una recompensa mayor. ¿Fue racional para el agente aprender sobre la teoría de juegos, en el sentido de que ayudó al agente a alcanzar su objetivo o en el sentido de que eliminó uno de sus objetivos a cambio de un objetivo supuestamente más “valioso”? [1]

Notas al pie

[1] Objeciones a la volición extrapolada coherente