¡Ah, el problema de la “programación ética”!
No soy programador; Mi experiencia es en el área de prevención de accidentes y seguridad, actualmente en el dominio de la aviación no tripulada. Sin embargo, tenemos que considerar bastantes desafíos similares o similares a los que enfrentan los vehículos sin conductor. Entonces, para lo que vale, aquí está mi opinión sobre cuestiones más grandes planteadas por esta pregunta.
Tl; dr para el escenario específico en la pregunta: si se choca por la parte trasera solo podría causar lesiones al ocupante del vehículo sin conductor, y tal vez al conductor del camión causando la colisión. Se garantiza que causará estragos en la acera. Le diría al auto que se quede quieto y reciba el golpe, tal vez soltando los frenos momentáneamente para darle un poco de distancia para gastar energía. Sin embargo, la necesidad de pensar en innumerables y qué pasa si de este tipo no se le está dando casi la atención que merece … y realmente debe ser así, rápidamente.
Comencemos por considerar un excelente ejemplo ofrecido por el autor Tyson Gill en un ensayo que escribió hace más de una década para un libro sobre Visual Basic (extracto de Software Issues 3: The Ethics of Programming):
- ¿Qué es un acto que es éticamente correcto pero legalmente incorrecto y un acto que es legalmente correcto pero éticamente incorrecto?
- Explique. ¿Ser famoso significa que tienes una moral alta?
- ¿Qué nos dice lo correcto de lo incorrecto sin una deidad? ¿Se implantó la moral en nosotros? Si no, ¿cuál es el origen de la moralidad?
- Dado que Google es un motor de búsqueda, ¿puede citar la fuente de la imagen como Google?
- ¿Es cierto que la moral no existe?
“En un episodio del viejo show de Bob Newhart, Bob acaba de publicar un libro sobre la construcción de estanterías. Le pide a su personal de mantenimiento, George, que construya una nueva estantería para el libro. Le da a George algunos planes que hizo, siguiendo las instrucciones de su libro. George mira los planes e intenta ofrecer algunas sugerencias. Bob lo interrumpe y le dice a George que espera construir la estantería de acuerdo con el diagrama detallado. George finalmente se rinde por la frustración y se va a trabajar.
“Al final del espectáculo, Bob entra y admira la realización de sus planes. Se regodea y se jacta de George sobre lo bien que funcionaron sus planes. Se dirige a su escritorio, recoge la copia del libro de instrucciones de su estantería y lo coloca en el estante. El libro no encaja. Todos los estantes son demasiado pequeños.
“George tiene la dignidad y la gracia de simplemente mostrar una sonrisa satisfecha, recoger sus herramientas y salir sin decir una palabra.
“Ciertamente, esto representa un dilema ético con el que todos nosotros en el desarrollo de software podemos relacionarnos. Muchas veces hemos trabajado para el gerente o el planificador de proyectos que ha trabajado duro en las especificaciones y se muestra reacio o incluso hostil cuando el desarrollador sugiere cambios. Aceptar que el plan es imperfecto es admitir falibilidad. Y los planes nunca son perfectos, por lo que terminamos con un software que cumple con el plan perfectamente pero no contiene ningún libro “.
A muchos defensores les disgusta intensamente el tipo de experimento mental sugerido por esta pregunta. Su argumento habitual es que tales escenarios son “artificiales”, “artificiales”, “poco realistas”, etc.
Toro.
Hace un par de años, había un excelente artículo en Gizmodo que abordaba indirectamente este tipo de desafíos en el contexto de las “Tres leyes de la robótica” del escritor de ciencia ficción Isaac Asimov. (Por qué las tres leyes de la robótica de Asimov no pueden protegernos). Crecí tratando de leer todo lo que Asimov escribió (lo que resultó ser casi imposible: buscarlo en Google para ver por qué; el hombre debe haber escrito mientras dormía). Sus “Tres Leyes” siempre se quedaron conmigo porque realmente anticiparon cómo la sociedad podría necesitar protegerse de la inteligencia artificial.
Se expresaron de la siguiente manera:
1. Un robot no puede dañar a un ser humano o, por inacción, permitir que un ser humano sufra daños.
2. Un robot debe obedecer las órdenes que le dan los seres humanos, excepto cuando tales órdenes entren en conflicto con la Primera Ley.
3. Un robot debe proteger su propia existencia siempre que dicha protección no entre en conflicto con la Primera o Segunda Ley.
(¡Además, tenga en cuenta que a Asimov se le ocurrió este modelo hace 75 años ! Apenas habíamos hecho que la tecnología de tubos funcionara para nosotros en ese momento, y mucho menos cualquier cosa transistorizada o utilizando circuitos integrados).
El ensayo Gizmodo de George Dvorsky trata el legado de Asimov con respeto, pero argumenta efectivamente que las Tres Leyes realmente no son prácticas. Considere este pasaje:
“Invariablemente, y como se demuestra en muchas de las novelas de Asimov, las imperfecciones, las lagunas y las ambigüedades consagradas en estas leyes a menudo resultaron en comportamientos extraños y contraintuitivos de los robots. Las leyes eran demasiado vagas, por ejemplo, al no definir y distinguir adecuadamente a los “humanos” y los “robots”. Además, los robots podrían violar las leyes sin saberlo si se les oculta la información. Lo que es más, un robot o IA dotado de inteligencia sobrehumana sería difícil no descubrir cómo acceder y revisar su programación central “.
Todos los puntos válidos. Un sistema ni siquiera tiene que ser lo suficientemente consciente de sí mismo para reescribirse si está en condiciones de hacer daño por falta de información o por una anticipación inadecuada de las formas en que podría interactuar con las personas de manera no deseada. Son precisamente los comportamientos “extraños y contraintuitivos” los que deben anticiparse y abordarse para llegar al corazón de la posibilidad sugerida en esta pregunta.
El astronauta Frank Borman, quien fue seleccionado para dirigir la investigación de la NASA sobre el trágico incendio que se cobró la vida de los astronautas del Apolo 1 durante las pruebas en tierra, según los informes, testificó que la secuencia que condujo al incendio fue el resultado de un “Fallo de la imaginación”. Si puedo encontrar una fuente para esto que no sea la excelente miniserie de Tom Hanks De la Tierra a la Luna , la publicaré más tarde como un apéndice). Mientras Borman se refería a los peligros de las pruebas en tierra que no se reconocen en el contexto de En el entorno mucho más peligroso de las operaciones espaciales, la noción de tal falla no es un mal concepto a tener en cuenta.
Lo mismo puede decirse de la posibilidad de eventos de “Cisne negro”, cosas que van más allá de lo esperado con resultados significativamente peores de lo previsto. El único problema que tengo con el concepto de “cisne negro” como profesional de seguridad es que tiende a liberar a las personas con demasiada facilidad. Parece atraer a la gente a pensar que:
- Hay un punto donde la consideración “razonable” de las consecuencias debería ser suficiente; y
- Si sucede algo “inesperado”, bueno, ese fue un evento de cisne negro de baja probabilidad, y nadie debería ser culpado por algo así.
En la seguridad de la aviación en estos días, casi todos los accidentes son “atípicos”. Se producen debido a múltiples fallas en el camino que inician o mantienen una secuencia de eventos que conducen al desastre. Por lo tanto, la única forma en que podemos tratar de adelantarnos a ellos es examinar posibles escenarios, sin importar cuán “improbables” puedan parecer. En la complejidad del entorno de la aviación automatizada actual, las combinaciones de circunstancias o condiciones pueden tener efectos sinérgicos y totalmente inesperados en la seguridad general del sistema.
Ahora puedo volver al círculo de la cuestión de la OP. Lo que se presenta como un desafío de codificación es, de hecho, una decisión muy real, solo una de miles, que los programadores tendrán que abordar a medida que intentan construir algoritmos basados en reglas para la toma de decisiones de automóviles sin conductor que reflejen (o al menos aproximada) las variables que los conductores humanos deben tener en cuenta todos los días.
Es por eso que soy muy escéptico de que los autos sin conductor estén de alguna manera listos para el horario estelar. Si el sector autónomo quiere convertir las calles públicas en un laboratorio de aprendizaje y convertir a los ciudadanos inconscientes en sujetos de un experimento grande y arriesgado, y nuestros representantes electos están dispuestos a aceptar la responsabilidad de las vidas que se perderán o arruinarán en el proceso de retocando el software basado en una experiencia mortal, claro, tenlo en cuenta.
La programación es un proceso intelectual. El único gasto asociado con él es el tiempo que necesita el programador para hacer el trabajo correctamente. El costo de agregar líneas de código adicionales, operaciones adicionales de “hacer mientras” o rutas de decisión mejor definidas es trivial en comparación con el posible daño que el código incorrecto puede causar cuando se desata en sistemas críticos para la seguridad.
Los automóviles sin conductor están destinados a integrarse con un sistema que funcione, operado por humanos, no en sus propias guías segregadas aisladas del potencial de interacciones no deseadas. Entonces, evadir / no evadir, acelerar / frenar, y cualquier otra combinación posible de respuestas utilizadas desde el primer día de la educación de los conductores en adelante, deberán abordarse.
Más importante, una vez que se aborden, los conductores humanos deberán estar preparados para la posibilidad de que un robot haga algo diferente a un humano en una situación dada, saber cuál podría ser ese comportamiento alternativo y estar preparado para responder de manera apropiada. Como de costumbre, los humanos terminarán adaptándose a las limitaciones de las máquinas, tal como lo hemos hecho desde los albores de la era industrial, por lo que el progreso puede avanzar.