12AIz5X1jnv5dkdBr5FiHj4DA
(An English-language version of this post can be read here.)
Los proveedores de Software que venden productos basados en IA defectuosa y los expertos en ética distraídos por sus abstracciones alejadas de la realidad deberían plantearse una pregunta básica: ¿Están enfrentándose a problemas del mundo real o se están deleitando con problemas insustanciales?
El futuro de la tecnología eficaz y responsable — incluyendo el campo de la Inteligencia Artificial — no se definirá en un laboratorio o detrás de un escritorio. Aun así, desafortunadamente, algunas de las mentes más prominentes de la IA han dirigido sus esfuerzos a crear demostraciones ostentosas de productos imposibles de implementar de forma fiable. Otros se han centrado en crear aplicaciones comerciales en internet que tienen por objetivo manipular, explotar y monetizar la información privada de los ciudadanos, mientras hipócritamente denuncian la inmoralidad de aplicar técnicas similares a proyectos que realmente contribuyen a salvaguardar la seguridad de la sociedad.
Vehículos autónomos [1], radiología [2], o poder predecir la probabilidad de éxito de un candidato basándose en sus videos [3], son algunas de las aplicaciones fallidas que han generado un creciente desencanto con fantasia de la IA [4], a su vez, hay una incipiente necesidad de fijar unos cimientos realistas alejados de toda moda [5]. Preservar las contribuciones de la IA/ML que realmente añaden valor de las inevitables repercusiones regulatorias [6], una dura resaca o incluso un nuevo “invierno de la IA” requerirá un esfuerzo conjunto para afrontar los mayores retos de este campo: la ética y eficacia. En la práctica, esto significa examinar qué funciona, descartar lo que no funciona, y volver a centrar nuestros esquemas morales en torno a los retos que plantea la IA operacionalizada, alejándonos así de vanas elucubraciones sobre clips [7] y carritos [8].
Vemos las dos caras de la erosión continuada de la confianza como síntoma de la misma y única confusión: la tendencia a adoptar rendimientos aspiracionales y a menudo fatuos sin cimentar primero las bases esenciales que deben aplicarse a cualquier tecnología destinada a implementarse en el mundo real.
El método de Palantir para construir tecnología, incluyendo sistemas operacionales que permiten la integración de IA y flujos de trabajo asistidos por ella, se centra en comenzar por el contexto operacional, independientemente de que sea una cadena de suministro afectada por la pandemia, la línea de montaje en una aerolínea o un reporte del estado de batalla de un combatiente. A partir de ahí, construir y adaptar soluciones de software que permitan poner en contexto los retos del entorno en sus propios términos, no como una abstracción injertada, sino como una vista completa de las complejidades. Este enfoque impulsa nuestra forma de pensar, no sólo sobre la eficacia de nuestra tecnología, sino también sobre la ética que rodea su uso. Y lo que es más importante, este planteamiento apunta a una importante convergencia práctica de la ética y la eficacia de la IA, es decir, que las prácticas y los planteamientos para crear una IA que funcione de forma eficaz en el mundo real también se ajustan estrechamente a las exigencias reales y aplicadas de las tecnologías moralmente aceptables.
En primer lugar, la ambigüedad en torno a lo que constituye la IA nos sitúa en un terreno inestable. En términos generales, “Inteligencia Artificial” se ha utilizado para referirse a un conjunto de tecnologías que van desde la computación estadística a los sistemas expertos, la heurística y las redes neuronales artificiales. Mucho de lo que hace diez años describíamos como “big data” o “análisis predictivo” se ha rebautizado ahora como IA. La automatización y la IA también se utilizan a menudo indistintamente, a pesar de que hay importantes distinciones categóricas entre los dos campos (la automatización tiene como objetivo mecanizar las actividades humanas, a veces utilizando herramientas de IA; la IA tiene como objetivo sintetizar o imitar funciones, actividades de resolución de problemas e incluso la toma de decisiones tradicionalmente asociadas con formas de inteligencia humana).
Estas incertidumbres en la definición demuestran, en el mejor de los casos, un conjunto de semejanzas familiares [9] entre tipos de tecnologías que se han agrupado espontáneamente bajo la bandera de la “inteligencia artificial”. Esta confusión categórica se ve aún más enturbiada por los promotores de diversas tendencias profesionales que tratan de explotar una sensación de exuberancia general con el fin de promover sus propios intereses, independientemente de si esos intereses se alinean o no con resultados reales y defendibles, es decir, si las tecnologías que están promocionando realmente funcionan o no.
Como conjunto fragmentado de tecnologías, la IA no suele cumplir con las exageradas promesas de la industria, del mundo académico, de los medios y de los legisladores, al tiempo que se adentra cada vez más en una vorágine crítica caracterizada por un panorama lleno de dudas sobre la imparcialidad, la responsabilidad y la transparencia algorítmicas.
Lamentablemente, gran parte de lo que se ha escrito, promulgado y lo que se espera en el ámbito de los principios éticos de la IA se ha convertido en un ejercicio proforma, una tarea de “marcar casillas” que es más un cumplimiento rutinario que una guía práctica para navegar por las consideraciones éticas extremadamente complejas a las que se enfrentan los operadores y usuarios reales de los sistemas de IA. La “ética como teoría” proporciona herramientas para reflexionar sobre cuestiones que, aunque teóricamente interesantes son, en la práctica, inútiles.
De hecho, el volumen de declaraciones de principios éticos de la IA ha llegado a ser tan masivo que ha generado una auténtica industria aficionada de meta-estudios de ética [10]. Los medios especializados han señalado la inadecuación de los elevados principios éticos [11] para abordar por sí solos los verdaderos retos éticos de la IA e incluso han señalado como se ha desarrollado una crisis de legitimidad [12] en torno a su proliferación.
Tal vez la acusación más contundente acerca del estado de los principios éticos de la IA pueda verse en lo genéricos que se han vuelto los distintos marcos. Las orientaciones sobre “IA fiable” elaboradas por el Ministerio de Industria y Tecnología de la Información de China son prácticamente indistinguibles de los marcos publicados por las principales consultoras y “think-tanks” [13]. Es evidente que algo va mal si una sociedad que adopta la vigilancia masiva y el sistema de crédito social facilitada por la IA [14] como herramientas para un control social exhaustivo puede adoptar prácticamente la misma postura ética de principios que las instituciones de los sectores público y privado de las democracias liberales.
Por estas razones, hasta ahora nos hemos resistido a las peticiones de publicar una declaración de Palantir sobre la ética de la IA. En su lugar, hemos tendido a redirigir tales debates hacia lo que consideramos cuestiones críticas de encuadre, como: ¿Qué diferencia a la IA de otras tecnologías para que requiera un tratamiento ético distinto? ¿Existen cuestiones más fundamentales que deban abordarse para situar la IA como práctica o disciplina, y mucho menos como ámbito de tratamiento ético formal? ¿De qué sirve una articulación de principios éticos abstractos que no ofrezcan una traducción significativa o directa a lo práctico?
Esto no quiere decir que todos los enfoques de la ética en el ámbito de la IA carezcan de mérito. Por el contrario, apreciamos que los marcos éticos que se ocupan de los riesgos de sesgo algorítmico, responsabilidad y razonamiento a menudo aspiran genuinamente a abordar preocupaciones que no deben ser minimizadas o ignoradas — de hecho, son importantes y están representadas mediante arquitecturas tecnológicas responsables.
Sin embargo, creemos que es importante llamar la atención sobre cómo la industria, el mundo académico y los legisladores pueden haber sucumbido a una especie de visión de túnel y a la idea un tanto equivocada de que las preocupaciones más críticas en el núcleo de la adopción y el uso de la IA residen en esta “estrechez de miras” en lugar de en la visión completa de los sistemas (que abarcan algoritmos como componentes individuales) integrados en entornos del mundo real.
El enfoque de la IA y la ética de la tecnología que hemos adoptado y que compartimos públicamente se basa en un reconocimiento más amplio de que nuestra tecnología (las plataformas de software que construimos e implementamos en nuestros clientes) no existe en el vacío, sino que está inextricablemente ligada al contexto de su aplicación, sus usos operacionales y todo el entorno de datos que rodea a los muy limitados componentes de la IA en los que muchos otros parecen fijarse obsesivamente.
Afirmamos una ética tecnológica que se aplique a todos los contextos de su uso. Cada uno de estos contextos implica su propio conjunto de demandas específicas, expectativas funcionales y obligaciones éticas. Este marco nos obliga a situar la IA en el lugar que le corresponde: como una herramienta entre otras herramientas de diversa sofisticación e inexorablemente integrada en un mundo de acciones y consecuencias tangibles.
En lo que respecta a la eficacia de la IA, los casos en los que se ha quedado tristemente corta son numerosos y cada vez más comunes. De hecho, muchos de los éxitos anunciados a menudo resultan ser, si se examinan más de cerca, exagerados [15] o simplemente inventados [16]. Por ejemplo, los vehículos autónomos: fuera de unos ámbitos de diseño operativo muy limitados y drásticamente restringidos, sencillamente no han logrado alcanzar el Nivel 5 de automatización [17], a pesar de que durante casi una década se ha asegurado que esa marca estaba a la vuelta de la esquina [18]. Algunas empresas como Argo AI también han sucumbido a la presión del mercado ante el fracaso de sus proyectos y han optado por cerrar por completo [19].
La IA creada para monetizar al consumidor en Internet ha demostrado cómo las redes sociales impulsadas por algoritmos, cuyo objetivo es fomentar implacablemente la participación en nombre de la monetización, han descuidado las complejas externalidades de la sociedad, la política y el mundo en general. Los efectos de segundo y tercer orden adoptan la forma de moderación de contenidos impulsada por la IA para combatir los efectos de resonancia y amplificación de la desinformación, que han contribuido a niveles aparentemente sin precedentes de inestabilidad política, división, incultura y desconfianza en las instituciones.
Esto no quiere decir que no haya lugares en los que la IA se haya aplicado con gran éxito y ofrezca una utilidad significativa. Un ejemplo destacado es el Procesamiento del Lenguaje Natural (NLP por sus siglas en Ingles) para usos de traducción (por ejemplo, Google Translate, DeepL). Las aplicaciones de traducción funcionan bastante bien para multitud de usos cotidianos. Pero también empiezan a toparse con limitaciones que motivan la supervisión y la lectura atenta de una traducción de alta calidad que implique, por ejemplo, las sutilezas de la poesía y la prosa literaria, así como textos más cotidianos, como los mensajes de las redes sociales que implican formas de comunicación complejas, ambiguas y en rápida evolución.
Pero aquí los ejemplos de éxito casi confirman la regla: La traducción NLP funciona tras décadas de intentos y, en gran medida, como consecuencia del aprovechamiento de un corpus de textos ya traducidos en la web con el que ha sido entrenado. El paso de los resultados de laboratorio a la aplicación práctica no se produjo de la noche a la mañana.
Aún estamos en los primeros días de exuberancia por las herramientas de Grandes Modelos Lingüísticos (o LLM, por sus siglas en inglés) como GPT-3, GLaM, Gopher, LLaMA y Chinchilla, que parecen presentar fascinantes -o al menos divertidas- capacidades de generación de chatbot y texto. Sin embargo, no han tardado en surgir algunas preocupaciones y críticas, que sugieren que los LLM funcionan más como loros estocásticos del lenguaje [20] casi siendo más impresionantes “máquinas de mentiras” [21] que como una auténtica inteligencia que entienden el mundo sobre el que parecen estar reflexionando [22]. Los proyectos asistidos por máquinas que generan textos a partir de un corpus de otros textos pueden ser interacciones excitantes e incluso inquietantes [23], pero en sí mismos carecen de todo atisbo de comprensión de la semántica -el significado, el sentido en el mundo real- de las palabras que encadenan. Esta desconexión entre sintaxis y semántica [24] resulta aún más tensa en aplicaciones en las que las decisiones de vida o muerte dependen de afirmaciones concretas sobre lo que es cierto en el mundo.
No obstante, somos conscientes de que existen vías sensatas para lograr aplicaciones legítimas y defendibles de los LLM en diversos entornos. Sin embargo, debería servir como un recordatorio importante que, al igual que otras clases de tecnologías de IA, existen límites a su aplicabilidad y que esos límites estarán determinados en gran medida por los contextos y entornos específicos de la operación prevista.
La idea central que impulsa nuestra perspectiva sobre la IA es el reconocimiento de que la eficacia y los desafíos éticos de la misma están fundamentalmente arraigados en el ecosistema técnico-social, y en contextos operativos completos en los que la IA no sirve como una panacea integral, sino más bien como una herramienta para ayudar a facilitar y aumentar los resultados significativos para las personas en todo el mundo. Y la mejor manera de abordar la ética de la IA es reorientar el debate hacia ese contexto de sistemas completos, lo que en otros lugares hemos denominado “IA operativa”.
Si empezamos a considerar la Inteligencia Artificial más como herramientas para uso humano, estaremos mejor equipados para situarla en los contextos adecuados que reconozcan sus características críticas, limitaciones, responsabilidades y dependencias:
Interiorizar este replanteamiento de la IA como herramientas integradas en lugar de una verdadera inteligencia ayuda a dilucidar varios de los enigmas que causan la impresión de que se trata todo de una fantasía.
A lo largo de los años, Palantir se ha centrado en hacer operativa la IA de forma eficaz y responsable (por ejemplo, a través de las capacidades de gestión de modelos de Palantir Foundry), mientras que gran parte del mundo se ha fijado en las visiones de marketing de una tecnología que rara vez funciona tal y como se anuncia y que a menudo fracasa con ramificaciones significativas que están aún por conocerse.
Nuestro enfoque siempre ha consistido en llevar a cabo el difícil y laborioso trabajo de fundamentar la IA como herramienta en entornos concretos, con el fin de construir el marco completo de rigor metodológico que trate tanto la construcción como la implementación como parte de un proceso de decisión real, integrado en el sistema y el entorno completos de la aplicación de la IA.
Lo que esto significa, en la práctica, es que nuestra noción de IA operativa engloba varias características importantes:
En última instancia, este enfoque más fundamentado de la IA puede conducir a herramientas tecnológicas con más probabilidades de ser fiables, duraderas y eficaces. Sin embargo, ocurre también que los principios y características de los sistemas de IA operativos fiables y adecuadamente situados pueden alinearse estrechamente con las exigencias éticas de la ciencia de datos y las prácticas de ingeniería. Cuando se pierden de vista los fundamentos sólidos de las aplicaciones tecnológicas y se asume que se trata de magia, es difícil afianzar la ética del uso de esa tecnología.
Los resultados de nuestro enfoque de la IA son reales, tienen consecuencias y repercuten en nuestras vidas. No son producto de reflexiones académicas, son el production de años de trabajo sobre el terreno con nuestros clientes, tratando de comprender la complejidad de sus ámbitos de aplicación, lidiando con los retos jurídicos, políticos y éticos que rodean sus entornos, y trabajando para habilitar soluciones de sistemas de IA que aborden esas complejidades en sus propios términos.
En próximas entradas del blog, presentaremos más detalles y estudios de casos representativos de aplicaciones de las tecnologías de Palantir habilitadas y asistidas por IA en distintos ámbitos. Creemos que cada uno de estos ejemplos ilustrará mejor cómo el planteamiento que hace Palantir de la IA como sistemas integrados en entornos operativos y contextualmente dependientes; ha proporcionado una vía para pasar de lo fatuo a lo operativo en los aspectos de una tecnología que sirve al mundo que la necesita.
Courtney Bowman es el Director Global de Ingeniería, Privacidad y Libertades Civiles en Palantir Technologies. Su trabajo aborda la confluencia de cuestiones en la intersección de la política, el derecho, la tecnología, la ética y las normas sociales. En estrecha colaboración con socios gubernamentales y comerciales, el equipo de Bowman se centra en permitir a Palantir construir y desplegar software de integración, intercambio y análisis de datos que respete y refuerce los principios de privacidad, seguridad y protección de datos, así como las expectativas de la comunidad.
En su función, Bowman también trabaja con el mundo de la defensa de la privacidad para garantizar que las preocupaciones relacionadas con las tecnologías y nuevas fuentes de datos se tengan en cuenta en el diseño y la implementación continuos de las plataformas de software de Palantir. Bowman es coautor de The Architecture of Privacy(La arquitectura de la privacidad), que proporciona un marco multidisciplinar para diseñar y construir sistemas de información que protejan la privacidad. Bowman es un comentarista habitual en temas relacionados con la ética, la eficacia y la operacionalización de la IA. Antes de trabajar en Palantir, Bowman se licenció en Física y Filosofía en la Universidad de Stanford y trabajó como analista cuantitativo y económico en Google.
[1] Dembski, W.A. “Automated Driving and Other Failures of AI.” Mind Matters, 20 April 2021, https://mindmatters.ai/2021/04/automated-driving-and-other-failures-of-ai/.
[2] Roberts, M., Driggs, D., Thorpe, M. et al. Common pitfalls and recommendations for using machine learning to detect and prognosticate for COVID-19 using chest radiographs and CT scans. Nat Mach Intell 3, 199–217 (2021), https://doi.org/10.1038/s42256-021-00307-0.
[3] Raghavan, M., Barocas, S., Kleinberg, J., & Levy, K. Mitigating Bias in Algorithmic Hiring: Evaluating Claims and Practices (June 21, 2019). ACM Conference on Fairness, Accountability, and Transparency (FAT*), 2020, https://ssrn.com/abstract=3408010 or http://dx.doi.org/10.2139/ssrn.3408010.
[4] https://www.cs.princeton.edu/~arvindn/talks/MIT-STS-AI-snakeoil.pdf
[5] https://www.gartner.com/en/information-technology/glossary/hype-cycle
[6] https://www.ftc.gov/business-guidance/blog/2023/02/keep-your-ai-claims-check?utm_source=govdelivery
[7] Bostrom, N. “Cognitive, Emotive and Ethical Aspects of Decision Making in Humans and in Artificial Intelligence,” Vol. 2, ed. I. Smit et al., Int. Institute of Advanced Studies in Systems Research and Cybernetics, 2003, pp. 12–17.
[8] https://www.turing.ac.uk/blog/ais-trolley-problem-problem
[9] Wittgenstein, Ludwig (2001) [1953]. Philosophical Investigations. Blackwell Publishing. pp. § 65–71.
[10] Consider just a few examples of AI ethics meta-studies:
Jobin, A., Ienca, M. & Vayena, E. The global landscape of AI ethics guidelines. Nat Mach Intell 1, 389–399 (2019). https://doi.org/10.1038/s42256-019-0088-2; https://cyber.harvard.edu/story/2020-01/meta-analysis-shows-ai-ethics-principles-emphasize-human-rights; https://venturebeat.com/ai/ai-weekly-meta-analysis-shows-ai-ethics-principles-emphasize-human-rights/; Hickok, M. Lessons learned from AI ethics principles for future actions. AI Ethics 1, 41–47 (2021). https://doi.org/10.1007/s43681-020-00008-1.; Hagendorff, Thilo. (2022). A Virtue-Based Framework to Support Putting AI Ethics into Practice. Philosophy & Technology. 35. 10.1007/s13347–022–00553-z.; Lacroix, A. & Luccioni A. S. Metaethical Perspectives on ‘Benchmarking’ AI Ethics. https://arxiv.org/pdf/2204.05151.pdf.
[11] Mittelstadt, B. Principles alone cannot guarantee ethical AI. Nat Mach Intell 1, 501–507 (2019). https://doi.org/10.1038/s42256-019-0114-4.
[12] Latonero, M. “AI Principle Proliferation as a Crisis of Legitimacy.” Carr Center Discussion Paper Series, 2020–011, https://carrcenter.hks.harvard.edu/files/cchr/files/mark_latonero_ai_principles_6.pdf?m=1601910899.
[13] Sheehan, M. “Beijing’s Approach to Trustworthy AI Isn’t So Dissimilar from the World’s.” Marco Polo Org, 18 August 2021, https://macropolo.org/beijing-approach-trustworthy-ai/?rp=e.
[14] García, L. I. (2022). The Role of AI in a Security and Population Control System: Chinese Social Credit System. Handbook of Research on Artificial Intelligence in Government Practices and Processes. https://doi.org/10.4018/978-1-7998-9609-8.ch011.
[15] Smith, G. & Funk J. “AI has a long way to go before doctors can trust it with your life.” Quartz, 4 June 2021, https://qz.com/2016153/ai-promised-to-revolutionize-radiology-but-so-far-its-failing.
[16] Schellmann, H. & Wall, S. “We tested AI interview tools. Here’s what we found.” MIT Technology Review, 7 July 2021, https://www.technologyreview.com/2021/07/07/1027916/we-tested-ai-interview-tools/.
[17] ‘Level 5’ refers to a “full automation” in which the “System is fully responsible for driving tasks while occupants act only as passengers and do not need to be engaged. … When engaged, the system handles all driving tasks while you, now the passenger, are not needed to maneuver the vehicle. The system can operate the vehicle universally — under all conditions and on all roadways. A human driver is not needed to operate the vehicle.” See US Department of Transportation NHTSA resources for more details: https://www.nhtsa.gov/technology-innovation/automated-vehicles-safety.
[18] Levin, T. “Elon Musk has promised self-driving Teslas for years. Experts say it’s not even close.” Business Insider, 26 February 2023, https://www.businessinsider.com/elon-musk-tesla-full-self-driving-promise-experts-2023-2.
[19] Korosec, K. “Ford, VW-backed Argo AI is shutting down.” Tech Crunch, 26 October 2022, https://techcrunch.com/2022/10/26/ford-vw-backed-argo-ai-is-shutting-down/.
[20] Weil, E. “You Are Not a Parrot And a chatbot is not a human. And a linguist named Emily M. Bender is very worried what will happen when we forget this.” New York Magazine, 27 February 2023, https://nymag.com/intelligencer/article/ai-artificial-intelligence-chatbots-emily-m-bender.html.
[21] McQuillan, D. “ChatGPT: The world’s largest bullshit machine.” Transforming Society, 10 February 2023, https://www.transformingsociety.co.uk/2023/02/10/chatgpt-the-worlds-largest-bullshit-machine/.
[22] Auslender, V. “Meaningless words: Dangerous conversations with ChatGPT.” CTech, 12 December 2022, https://www.calcalistech.com/ctechnews/article/vhhk7xrni.
[23] Roose, K. “A Conversation With Bing’s Chatbot Left Me Deeply Unsettled.” New York Times, 16 February 2023, https://www.nytimes.com/2023/02/16/technology/bing-chatbot-microsoft-chatgpt.html.
[24] Searle, J., 1980, ‘Minds, Brains and Programs’, Behavioral and Brain Sciences, 3: pp. 417–57.
La eficacia y ética de la Inteligencia Artificial deben pasar de lo fatuo a lo operacional was originally published in Palantir Blog on Medium, where people are continuing the conversation by highlighting and responding to this story.
An internal email obtained by WIRED shows that NOAA workers received orders to pause “ALL…
Researchers at FORTH have developed a new type of artificial neural network (ANN) that incorporates…
Our next iteration of the FSF sets out stronger security protocols on the path to…
Large neural networks pretrained on web-scale corpora are central to modern machine learning. In this…
Generative AI has revolutionized technology through generating content and solving complex problems. To fully take…