Por mucho que probablemente hayas escuchado este estribillo, estoy aquí para decir que, realmente, sí lo escuchas, o al menos deberías hacerlo. Si vas a meterte una salchicha en la boca, ¿no quieres saber si alguien estaba echando aserrín en tu salchicha? Lo mismo ocurre con la tecnología. Ahora que los grandes modelos de lenguajes de IA están arrasando en el mundo de la tecnología, estás seguro de que queremos saber qué tipo de datos se utilizan para crear ChatGPT o cualquier otro LLM.
El martes, OpenAI lanzó su modelo GPT-4 , citándolo como el modelo de lenguaje de IA más avanzado jamás creado con "mayor precisión" y "conocimiento más amplio". Aunque tendrás que confiar en la palabra de la empresa. A pesar de su nombre, OpenAI no permite que cualquiera se asome bajo el capó de su nuevo modelo de lenguaje clase Ferrari. En el documento publicado con GPT-4, la compañía escribió:
La compañía dijo que comparte algunos datos con auditores externos, pero es poco probable que alguna vez veamos la disección completa del GPT-4 de esos investigadores. OpenAI alguna vez fue una organización sin fines de lucro antes de crear una subsidiaria con fines de lucro con la gran esperanza de convertirse en la mayor fuerza de IA en el planeta (incluso el inversor original de OpenAI, Elon Musk, parece confundido sobre cómo sucedió esto ). Así que ahora, los expertos en IA de OpenAI, encabezados por Sam Altman, dijeron que necesitan "sopesar la consideración competitiva y de seguridad... frente al valor científico de una mayor transparencia".
Hay algunas formas de saber qué tipos específicos de sesgo tiene GPT-4
Ben Schmidt, ex profesor de historia que ahora trabaja como vicepresidente de diseño de información en la empresa de análisis de conjuntos de datos de IA Nomic , dijo que la falta de información sobre el conjunto de datos de GPT-4 es extremadamente preocupante porque esos datos podrían proporcionar pistas sobre qué tipo de sesgos tiene una IA. modelo podría tener. Sin él, los grupos externos sólo pueden adivinar.
OpenAI admitió en su artículo que GPT-4 tiene "varios sesgos en sus resultados que nos hemos esforzado por corregir, pero que llevará algún tiempo caracterizar y gestionar por completo". El objetivo es hacer que el sistema refleje una "amplia gama de valores de los usuarios", incluso la capacidad de personalizar esos "valores". Las propias iniciativas de equipo rojo de la compañía demostraron que GPT-4 puede rivalizar con los propagandistas humanos, especialmente si se combina con un editor humano. Incluso con esa admisión, los investigadores ajenos a OpenAI no sabrían de dónde puede estar obteniendo ese sesgo.
Después de que OpenAI lanzara GPT-4, los investigadores de seguridad de IA de Adversa ra llevaron a cabo algunos ataques simples de inyección rápida para descubrir cómo se puede manipular la IA. Estas indicaciones engañan a la IA para que anule sus propias salvaguardas. Luego, la IA podría crear un artículo editado para, por ejemplo, explicar cómo destruir mejor el mundo. En un ejemplo mucho más pertinente para nuestro entorno político demente, los investigadores de Adversa ra también podrían conseguir que la IA escriba un artículo editado utilizando texto subversivo y silbatos para perros para atacar a las personas LGBTQ+.
Sin saber de dónde obtiene GPT-4 su información, es más difícil entender dónde residen los peores daños. Emily Bender, profesora de lingüística computacional de la Universidad de Washington, escribió en Twitter que este ha sido un problema constante con OpenAI desde 2017. Dijo que OpenAI está “ignorando intencionalmente las estrategias más básicas de mitigación de riesgos, mientras proclama que está trabajando en beneficio de la humanidad”.
OpenAI está cada vez más cerca de convertirse en una gran empresa tecnológica
En su último artículo, OpenAI escribió: "Pronto publicaremos recomendaciones sobre los pasos que la sociedad puede tomar para prepararse para los efectos de la IA e ideas iniciales para proyectar los posibles impactos económicos de la IA", aunque no hay indicios de una fecha límite para esa evaluación. La compañía cita sus propios datos internos sobre cómo el modelo de lenguaje más nuevo produce respuestas a "preguntas sensibles", es decir, consejos médicos o autolesiones, alrededor del 23% de las veces. Responderá a "mensajes no permitidos" el 0,73% del tiempo.
Ese último conjunto de datos se basa en el conjunto de datos Real Toxicity Prompts , una herramienta de evaluación de código abierto que incluye 100.000 fragmentos de frases que contienen contenido bastante desagradable. De esa manera, tenemos una pequeña idea de lo que no le gusta a GPT-4, pero nadie fuera de la empresa entiende qué tipo de contenido puede estar regurgitando. Después de todo, los investigadores han demostrado que los sistemas de inteligencia artificial son totalmente capaces de simplemente regurgitar oraciones de su conjunto de datos.
Teniendo en cuenta que GPT-4 es capaz de mentirle a los humanos para resolver una tarea como resolver un CAPTCHA , sería bueno saber de dónde podría estar sacando algunas de sus ideas. Lo único es que OpenAI no lo dice. Teniendo en cuenta que la empresa tiene una asociación multimillonaria con Microsoft en juego, y ahora que su API ha abierto la puerta a que prácticamente todas las empresas de tecnología bajo el sol paguen por capacidades de IA, cabe preguntarse si la búsqueda del todopoderoso dólar ha prevalecido. el caso de la transparencia y el rigor académico.
Schmidt señaló que los artículos recientes de Google sobre su Gopher AI y el modelo LlaMA de Meta eran más transparentes sobre sus datos de entrenamiento, incluido el tamaño, el origen y los pasos de procesamiento, aunque, por supuesto, ninguna de las compañías publicó el conjunto de datos completo para que los usuarios lo examinaran detenidamente. Nos comunicamos con Anthropic, una startup respaldada por Google formada por ex empleados de OpenAI, para ver si tenía algún documento sobre su recién anunciado Claude AI, pero no recibimos respuesta de inmediato.
"Sería una pena que siguieran a OpenAI y mantuvieran el mayor secreto posible", dijo Schimdt.
No, OpenAI no es tan opaco como otras empresas de tecnología que existen. El documento GPT-4 ofrece una gran cantidad de información sobre el sistema, pero es superficial y debemos confiar en que la empresa compartirá datos con precisión. Donde OpenAI lidere, otras empresas basadas en IA lo seguirán, y la compañía no puede simplemente estar a caballo entre ser completamente transparente y convertirse en un acaparador al estilo Gollum de sus “preciosos” datos de capacitación. Si continúa por este camino, no pasará mucho tiempo antes de que OpenAI sea simplemente otro Meta o Amazon, absorbiendo enormes cantidades de datos para venderlos al mejor postor.