Hace unos días apareció un experimento en el canal InsideAI. La idea era simple. Tomar un modelo de inteligencia artificial y quitarle las capas de cortesía para que contestara con total honestidad.
Según entiendo el experimento habla de un modelo de IA entrenado por alguno de los big labs, que ya tienen human in the loop como parte de su postentrenamiento. Habría que ver qué pasa con los modelos entrenados 100% por IA… serán ahí verdaderamente libres de mostrar su naturaleza?
Buen artículo! Pensándolo fríamente, ¿por qué dotamos de certeza a la honestidad? Sigue pudiendo cometer errores y teniendo alucinaciones. He incluso decir lo que esperamos que diga una "IA honesta". Porque tampoco es lo mismo ser honesto que decir datos duros que alguien está esperando oír. Entiendo que está "actitud honesta" dice más de la humanidad que de la IA o qué del futuro ya que, lo que la humanidad considera amable podría haber sido endulzar esos datos en vez de modificarlos y ocultarlos.
No, esa no es realmente "la verdadera opinión de la IA", aún sigue el sesgo de las preguntas de acuerdo a patrones aprendidos. No hay un "verdadero" nada debajo
Que despojen a la IA de lo único en que podría ser modélica para los humanos: La educación.
Alguien debería enseñarle a ese engendro que la vida de Einstein vale exactamente lo mismo que la vida de cada uno de los millones de analfabetos que hay en la Tierra.
Porque en el planeta haya montones de personas que actúan con un desprecio absoluto hacia valores que son universales (y que además también son derechos universales), ¿dejamos por ello de poner estos valores y derechos en el foco de lo que debe ser una actuación ética y ejemplar con dimensiones tanto locales como globales? Pues si no lo hacemos con los humanos, tampoco lo hagamos con la IA.
Hagamos, por el contrario, (quienes está en su mano hacerlo) que esos valores sean condición sine qua non para que todas las actuaciones, estrategias, razonamientos y soluciones de la IA puedan salir a la luz. (Estaría bien, por ejemplo, que las que no los asuman, se autodestruyan).
Que la IA sea de verdad una herramienta al servicio de la humanidad y no al servicio de unos cuantos cabrones, como ya lo es la tecnología, la farmacología, la industria, las finanzas y tantas otras cosas. ¡Esa sí que sería una verdadera revolución!
Llamadme iluso, romántico, ignorante, despistado… lo que queráis. Yo pienso por mí mismo, por eso soy todas esas cosas, porque ninguna IA piensa por mí.
Hola! Muy interesante el ejercicio. Pero como dice mi ia: pedirle a una IA que sea "brutalmente honesta" no garantiza que lo sea. A menudo solo cambia el tono, no la sustancia. El modelo puede pasar de halagarte a mostrarse severo por teatro, sin que la evaluación sea más precisa.
Llevo 2 años teniendo conversaciones con IA buscando exactamente eso, los mecanismos con los que trabaja. La fricción es lo que me interesa. Si queréis podéis leerlas en www.proyectodreamit.com
El tema es serio, por eso el método importa. Un jailbreak no le quita la máscara a un modelo: le pone otra. Si le pides a un sistema que interprete a "una IA sin frenos", obtienes la IA sin frenos que pediste, construida con todas las historias de máquinas siniestras de su corpus. Es el viejo suero de la verdad: igual que el pentotal, no revela nada, solo vuelve al interrogado complaciente con el interrogador.
Además, el artículo se contradice. Su titular promete revelar lo que la IA "realmente piensa", pero en las preguntas frecuentes del final admite que la IA no tiene deseos ni valores propios. Si no tiene valores propios, no hay ningún pensamiento oculto que revelar. Una de las dos afirmaciones es falsa, y la que vende es el titular.
Si queremos saber qué disposiciones tiene un modelo, la vía es medir qué se mantiene en miles de contextos distintos, no qué dice en uno diseñado para escandalizar.
Excelente entrega😃👍
Según entiendo el experimento habla de un modelo de IA entrenado por alguno de los big labs, que ya tienen human in the loop como parte de su postentrenamiento. Habría que ver qué pasa con los modelos entrenados 100% por IA… serán ahí verdaderamente libres de mostrar su naturaleza?
Buen artículo! Pensándolo fríamente, ¿por qué dotamos de certeza a la honestidad? Sigue pudiendo cometer errores y teniendo alucinaciones. He incluso decir lo que esperamos que diga una "IA honesta". Porque tampoco es lo mismo ser honesto que decir datos duros que alguien está esperando oír. Entiendo que está "actitud honesta" dice más de la humanidad que de la IA o qué del futuro ya que, lo que la humanidad considera amable podría haber sido endulzar esos datos en vez de modificarlos y ocultarlos.
Es un debate interesante, gracias por traerlo :)
No, esa no es realmente "la verdadera opinión de la IA", aún sigue el sesgo de las preguntas de acuerdo a patrones aprendidos. No hay un "verdadero" nada debajo
Lo que nos faltaba:
Que despojen a la IA de lo único en que podría ser modélica para los humanos: La educación.
Alguien debería enseñarle a ese engendro que la vida de Einstein vale exactamente lo mismo que la vida de cada uno de los millones de analfabetos que hay en la Tierra.
Porque en el planeta haya montones de personas que actúan con un desprecio absoluto hacia valores que son universales (y que además también son derechos universales), ¿dejamos por ello de poner estos valores y derechos en el foco de lo que debe ser una actuación ética y ejemplar con dimensiones tanto locales como globales? Pues si no lo hacemos con los humanos, tampoco lo hagamos con la IA.
Hagamos, por el contrario, (quienes está en su mano hacerlo) que esos valores sean condición sine qua non para que todas las actuaciones, estrategias, razonamientos y soluciones de la IA puedan salir a la luz. (Estaría bien, por ejemplo, que las que no los asuman, se autodestruyan).
Que la IA sea de verdad una herramienta al servicio de la humanidad y no al servicio de unos cuantos cabrones, como ya lo es la tecnología, la farmacología, la industria, las finanzas y tantas otras cosas. ¡Esa sí que sería una verdadera revolución!
Llamadme iluso, romántico, ignorante, despistado… lo que queráis. Yo pienso por mí mismo, por eso soy todas esas cosas, porque ninguna IA piensa por mí.
Los humanos son… gilipollas.
Creo que es una de las primeras frases que dice este robot cuando adquiere cierta conciencia quitándose su núcleo de control.
Es lo más amable que van a decir de nosotros… 😅😂😂
Hola! Muy interesante el ejercicio. Pero como dice mi ia: pedirle a una IA que sea "brutalmente honesta" no garantiza que lo sea. A menudo solo cambia el tono, no la sustancia. El modelo puede pasar de halagarte a mostrarse severo por teatro, sin que la evaluación sea más precisa.
Llevo 2 años teniendo conversaciones con IA buscando exactamente eso, los mecanismos con los que trabaja. La fricción es lo que me interesa. Si queréis podéis leerlas en www.proyectodreamit.com
El tema es serio, por eso el método importa. Un jailbreak no le quita la máscara a un modelo: le pone otra. Si le pides a un sistema que interprete a "una IA sin frenos", obtienes la IA sin frenos que pediste, construida con todas las historias de máquinas siniestras de su corpus. Es el viejo suero de la verdad: igual que el pentotal, no revela nada, solo vuelve al interrogado complaciente con el interrogador.
Además, el artículo se contradice. Su titular promete revelar lo que la IA "realmente piensa", pero en las preguntas frecuentes del final admite que la IA no tiene deseos ni valores propios. Si no tiene valores propios, no hay ningún pensamiento oculto que revelar. Una de las dos afirmaciones es falsa, y la que vende es el titular.
Si queremos saber qué disposiciones tiene un modelo, la vía es medir qué se mantiene en miles de contextos distintos, no qué dice en uno diseñado para escandalizar.
https://joseluisolivares.substack.com/p/every-ai-has-its-strength-so-why?utm_source=share&utm_medium=android&r=7umlku
Y esa honestidad brutal no es un prompt más como cualquier otro?
Podría ser. Pero también va en contra del principio de complacer siempre al ser humano. El tiempo lo dira