الريــم
10-05-2023, 04:45 PM
"Si entrenas un modelo de LLM con datos de tu empresa y te roban los tokens, se llevan todos tus datos. Es como si robaran el coraz?n de tu compa??a as? que cuidado". Para quien desconozca lo que es un token, se trata de activos de inversi?n, fichas para votaci?n, arte digital o monedas de utilidad para una plataforma, mientras que LLM son grandes modelos de lenguaje, redes neuronales capaces de leer, traducir y resumir textos, pudiendo as? crear frases y predecir palabras pareciendo que escribe o habla un humano. De este peligro habl? ayer en el II F?rum Europeo de Inteligencia Artificial uno de los expertos m?s destacados en ciberseguridad a nivel mundial, Chema Alonso, quien ofreci? otra de las conferencias magistrales de la jornada, una disertaci?n de media hora sobre los diez principales problemas que los especialistas en IA han detectado en los modelos de lenguaje LLM como respuesta a las preguntas del presidente de Encuentros Now, Manuel Bonilla.
Es el caso del descubrimiento e informaci?n sensible, con el uso de datos médicos o jur?dicos para entrenar esta inteligencia. "He venido a hablaros de las cosas que no son tan buenas del GenAI (la inteligencia artificial generativa). La IA se ha metido en nuestras vidas y es fenomenal. Hay cosas fant?sticas pero también algunos retos que debemos superar", dijo el también CDO (Chief Digital Officer) de Telef?nica.
As?, cont? que en 2015 empez? una carrera brutal para desarrollar la IA de interfaces humanos para la tecnolog?a, reconocimiento de im?genes, reconocimiento de textos... "Una carrera para los investigadores a la hora de poner la banderita en vencer la paridad humana que dice que cuando una inteligencia artificial tiene menos tasa de error que los seres humanos se ha vencido la paridad humana".
El experto abund? en que en 2020 encontramos ya patentes cuyo propietario es una IA. «Hoy en d?a esto le empieza a generar a la gente un poco de repel?s, como el l?o en Hollywood por el doblaje, los guiones y los extras que se crean con modelos de IA». As?, describi? que los extras de algunas pel?culas son ya humanos sintéticos generados por inteligencia artificial; que para los doblajes también se utiliza la tecnolog?a; y que las voces no son de los actores sino generadas por IA, que también crea ya guiones, "ese es el mundo en el que nos estamos metiendo".
Alonso, conocido como "el hacker bueno" desde que apareci? hace a?os en un popular programa de televisi?n, expuso los principales problemas de seguridad que han identificado quienes se dedican a la ciencia de datos en las aplicaciones que utilizan los modelos de lenguaje LLM. As?, se refiri? al "promp injection". "Le damos los datos al algoritmo y luego le decimos lo que no puede decir y esto lleva a que hackear un sistema sea tan f?cil como charlar con él. Es decir, todos los datos que le hayas dado al sistema van a acabar saliendo porque no existe ning?n sistema de seguridad interno que filtre esos datos".
También habl? del denominado "training data poisoning". "Si tu entrenas a tu algoritmo con todo lo que hay en internet te puede salir nazi o con sesgo de género. Si estos modelos han sido entrenados con c?digos para programar son muy ?tiles pero los c?digos que te van a sacar estar?n llenos de bugs (errores de software), es como tener un programador pero de los malos".
"Otro problema es que te bases en modelos preentrenados de otros y todos los errores que tengan los vas a heredar, como los ‘prompts injections’ universales".
El experto se?al? asimismo que, por defecto, en los modelos de lenguaje LLM que han sido entrenados con datos personales como n?minas o informes, "es muy posible que esos datos acaben saliendo a la luz. Y si tomas como bueno lo que hacen algoritmos de IA como ChatGPT y le permites tomar decisiones vas a tener un problema bastante serio".
Estos modelos de lenguaje digital "también conllevan problemas si tienen excesivos permisos o funcionalidades, porque pueden tener consecuencias imprevisibles", afirm?. Como ejemplo, record? que Google hizo una demostraci?n de su LLM "y Bard tuvo alucinaciones, algo que suele ocurrir con estos modelos. Le hicieron preguntas sobre proyectos de la NASA, se equivoc?, y las acciones de Google cayeron en 100 billones". Bard es un bot conversacional de inteligencia artificial desarrollado por Google.
Alonso habl? también sobre los sesgos de género y profesiones que tienen tanto Google Translate como Microsoft Bing. ?l mismo ha promovido una campa?a de recogida de firmas en la plataforma de internet Change.Org en la que lleva ya unas 35.000, para que se modifiquen estos sesgos.
En resumen, el experto en ciberseguridad en la red se?ala que este mundo de la inteligencia artificial es "fant?stico porque permite resolver problemas en cosas que afectan a la vida de las personas pero hay que seguir trabajando y tom?rselo muy en serio. Si lo empezamos a utilizar sin saber c?mo funciona vamos a tener un serio problema".
أكثر... (https://www.sport.es/es/noticias/sociedad/chema-alonso-empresa-le-roban-92969101)
Es el caso del descubrimiento e informaci?n sensible, con el uso de datos médicos o jur?dicos para entrenar esta inteligencia. "He venido a hablaros de las cosas que no son tan buenas del GenAI (la inteligencia artificial generativa). La IA se ha metido en nuestras vidas y es fenomenal. Hay cosas fant?sticas pero también algunos retos que debemos superar", dijo el también CDO (Chief Digital Officer) de Telef?nica.
As?, cont? que en 2015 empez? una carrera brutal para desarrollar la IA de interfaces humanos para la tecnolog?a, reconocimiento de im?genes, reconocimiento de textos... "Una carrera para los investigadores a la hora de poner la banderita en vencer la paridad humana que dice que cuando una inteligencia artificial tiene menos tasa de error que los seres humanos se ha vencido la paridad humana".
El experto abund? en que en 2020 encontramos ya patentes cuyo propietario es una IA. «Hoy en d?a esto le empieza a generar a la gente un poco de repel?s, como el l?o en Hollywood por el doblaje, los guiones y los extras que se crean con modelos de IA». As?, describi? que los extras de algunas pel?culas son ya humanos sintéticos generados por inteligencia artificial; que para los doblajes también se utiliza la tecnolog?a; y que las voces no son de los actores sino generadas por IA, que también crea ya guiones, "ese es el mundo en el que nos estamos metiendo".
Alonso, conocido como "el hacker bueno" desde que apareci? hace a?os en un popular programa de televisi?n, expuso los principales problemas de seguridad que han identificado quienes se dedican a la ciencia de datos en las aplicaciones que utilizan los modelos de lenguaje LLM. As?, se refiri? al "promp injection". "Le damos los datos al algoritmo y luego le decimos lo que no puede decir y esto lleva a que hackear un sistema sea tan f?cil como charlar con él. Es decir, todos los datos que le hayas dado al sistema van a acabar saliendo porque no existe ning?n sistema de seguridad interno que filtre esos datos".
También habl? del denominado "training data poisoning". "Si tu entrenas a tu algoritmo con todo lo que hay en internet te puede salir nazi o con sesgo de género. Si estos modelos han sido entrenados con c?digos para programar son muy ?tiles pero los c?digos que te van a sacar estar?n llenos de bugs (errores de software), es como tener un programador pero de los malos".
"Otro problema es que te bases en modelos preentrenados de otros y todos los errores que tengan los vas a heredar, como los ‘prompts injections’ universales".
El experto se?al? asimismo que, por defecto, en los modelos de lenguaje LLM que han sido entrenados con datos personales como n?minas o informes, "es muy posible que esos datos acaben saliendo a la luz. Y si tomas como bueno lo que hacen algoritmos de IA como ChatGPT y le permites tomar decisiones vas a tener un problema bastante serio".
Estos modelos de lenguaje digital "también conllevan problemas si tienen excesivos permisos o funcionalidades, porque pueden tener consecuencias imprevisibles", afirm?. Como ejemplo, record? que Google hizo una demostraci?n de su LLM "y Bard tuvo alucinaciones, algo que suele ocurrir con estos modelos. Le hicieron preguntas sobre proyectos de la NASA, se equivoc?, y las acciones de Google cayeron en 100 billones". Bard es un bot conversacional de inteligencia artificial desarrollado por Google.
Alonso habl? también sobre los sesgos de género y profesiones que tienen tanto Google Translate como Microsoft Bing. ?l mismo ha promovido una campa?a de recogida de firmas en la plataforma de internet Change.Org en la que lleva ya unas 35.000, para que se modifiquen estos sesgos.
En resumen, el experto en ciberseguridad en la red se?ala que este mundo de la inteligencia artificial es "fant?stico porque permite resolver problemas en cosas que afectan a la vida de las personas pero hay que seguir trabajando y tom?rselo muy en serio. Si lo empezamos a utilizar sin saber c?mo funciona vamos a tener un serio problema".
أكثر... (https://www.sport.es/es/noticias/sociedad/chema-alonso-empresa-le-roban-92969101)