Hackeando redes neuronales

Ulmo #1 Oct '19 Moderador

Muy interesante artículo publicado por la revista Nature donde discute el uso de redes neuronales y los riesgos que estas suponen, máxime cuando lo usamos en cosas tan delicadas como coches autónomos y otros herramientas con vidas humanas en juego.

Why deep-learning AIs are so easy to fool

A lo largo del artículo discute sobre este asunto poniendo numerosos ejemplos de estudios y otras publicaciones que han conseguido "manipular" el comportamiento de una red neuronal introduciendo pequeñísimos cambios en la imagen que estos procesan. Por ejemplo, añadiendo 2 simples líneas con cinta aislante, puede confundir a un coche autónomo de interpretar un STOP como una señal de límite de velocidad 45, con el evidente riesgo para la circulación que esto representa:

El artículo pone de manifiesto el riesgo que supone la creciente euforia en el uso de las CNN que nos puede llevar a precipitarnos en su implementación en el día a día y particularmente en poner nuestras vidas o intereses a su servicio.

Nadie discute que las redes neuronales formarán parte muy relevante en nuestras vidas futuras, pero también hay que ser conscientes de que son técnicas nuevas que están aun bajo desarrollo y de las que a veces no conocemos tanto como creemos sobre su funcionamiento.

Me ha parecido muy interesante.

14

elfito #2 Oct '19

Es un tema bastante importante y complejo.

En cuanto al mundo de la conducción autónoma es un dato más que relevante. Si a esto le sumamos las imperfeciones, fallos, limitaciones, rangos, saturaciones, etc... en los transductores electrónicos, pues simplemente queda lo que mucha gente de la industria dice: que queda aún mucho que perfeccionar. Ya no solo a nivel de NN, si no también a nivel de tecnología en la sensorización.

Desde luego es un tema que tiene para unos años. Aunque por lo visto lleva buen ritmo.

P.D: me hace mucha gracia el resultado de la simulación del portero. Tiene cojones que comportamientos no esperados del un "halt" en el comportamiento a realizar xD

Frave #3 Oct '19 Montedamus

Muy interesante!! sabia sobre estos temas de "ataques" a redes pero joder que se pueda hacer poniendo cinta aislante en una foto real....entre que no sabemos porque cojones toman sus decisiones y estas cosas en algunos campos como la medicina va a estar chusco de usarse por muy bien que funcionen. Imaginad que hackean una base de datos de pacientes en un hospital y le enchufan a todas las resonancias un ruido para que salte un diagnostico de algo....puta locura tetes.
O en plan terrorismo para coches autónomos te dedicas a "retocar" señales que provoquen accidentes graves....

Al final lo bueno de esto es que espero que los equipos de investigación vayan por delante y puedan reentrenar las redes para que sean inmunes a estos ataques, como se hace con el software vamos que se parchean agujeros de seguridad.

1 respuesta

toyakens #4 Oct '19

Creo que para los coches autónomos llegará un momento en el que, si la flota en las calles supera en mucho a la de coches manuales, las señales de tráfico carezcan de sentido, y los coches sean capaces de acordar quiennva delante, atrás, a los lados, quien deja pasar a quien, etc...

Por otra parte, el estudio tiene ya más de un año...habría que ver como ha evolucionado el machine learning y esas historias desde entonces.

R

rotulador12 #5 Oct '19

Y yo 1ue le pregunte sobre este tipo de cosas a h3xan hace como 1 semana y se rio de mi. Ahora podría ser rico

Fyn4r #6 Oct '19 Inocente

Se lleva hablando de esto mogollón de tiempo, petando redes como si fuesen jauja (que al final lo es xD) pero siempre siempre siempre se ignora y se tira palante. A la gente le da igual, lo que importa es publicar o ser el más guay del barrio

Ridote #7 Oct '19

Hostia lo del stop, te puede venir un trol y causar un accidente mortal haciendo el tonto o incluso alguien que pegue un sticker con su nick xD

HeXaN #8 Oct '19

Me parece un estudio bastante pobre para estar en Nature. Por ejemplo, en la segunda imagen de #1, lo de rotar y deformar imágenes es completamente falso. Es más, es una técnica (recibe el nombre de data augmentation) para hacer el entrenamiento más robusto y que se lleva usando años (está integrada en todos los frameworks de NN).

3 respuestas

Ulmo #9 Oct '19 Moderador

Lo que más asusta es la señal de tráfico realmente, que con 2 cachos de cinta aislante puedas montar semejante error es preocupante. Pero también es cierto que es es posiblemente el resultado de mucho trasteo con la CNN (no me he leído el artículo concreto de la señal).

No se como de plausible es impedir el acceso a la CNN para que no se puedan hacer miles, sino millones, de simulaciones con ellas para encontrar estos fallos. De igual forma que los planos de determinados edificios pueden ser confidenciales, quizás deberíamos empezar a pensar en mecanismos que protejan a las CNN de usos indebidos.

Aunque no tengo ni idea de como se podría lograr, ya que nada de impide hacer uso de la que ya tiene instalad tu vehículo, por ejemplo.

Frave #10 Oct '19 Montedamus

#8 justo eso solo es un ejemplo de la poca capacidad de las redes de generalizar por si solas, y claro lo que se hace es mucho data augmentation tanto artificial como real para que funcionen mejor. El tema este de los ataques a redes es conocido de hace tiempo y bueno es una linea de estudio. Muy necesaria por lo demás.

1 respuesta

HeXaN #11 Oct '19

#10 Si a mí lo que me rechina es que lo cataloguen como "latest tricks". No sé, cualquiera diría que es un artículo de Nature para conseguir visitas con el "mira qué fácil es engañar a una red neuronal".

2 respuestas

Frave #12 Oct '19 Montedamus

#11 ya bueno eso de "latest trick" igual no es muy acertado pero yo he entendido que es para dar a conocer como funcionan las redes para gente que solo tenga una intuición de ellas. Al final nature lo lee mucha gente y las redes ya se aplican en muchos campos.

Ulmo #13 Oct '19 Moderador

#11 Decir que no es exactamente un artículo, es una especie de letter. El artículo no hace ninguna investigación ni prueba, solo linka resultados de otros estudios. Esto se suele hacer con temas que están de moda y para sintetizar un poco lo que se sabe hasta el momento o para traer a escena algún tipo de reflexión.

No son artículos que los investigadores envíen, son peticiones que le hace Nature a algún experto en la materia para que reflexione sobre un punto concreto que a la revista le interesa.

Zerokkk #14 Oct '19

#8 Aparte de que hay algoritmos superiores a las CNN hoy en día. Por ejemplo, ¿no serían inútiles este tipo de ataques contra algoritmos CapsNet?

2 respuestas

ArThoiD #15 Oct '19 The Abysswalker

Pero si esto lleva más años que el sol haciéndose XDD

Yo he estado en conferencias hablando de esto hace 2 o 3 años.

2 1 respuesta

Frave #16 Oct '19 Montedamus

#14 hay cosas mejores a las CNN hoy en día?? en todo cosas evoluciones de las CNNs no? De las CapsNet puede ser aunque creo que el hype sobre ellas se ha deshinchado un poco últimamente.

Ulmo #17 Oct '19 Moderador

#15 Nadie habla que sea una novedad, de hecho el artículo recoge los estudios que se han hecho sobre este tema, pero es innegable que con el auge de coches autónomos y todo tipo de maquinaria industrial que usan CNN, como también los asistentes personales, es importante resaltar que estos todavía están lejos de ser robustamente fiables.

#14 ¿CapsNet no deja de ser CNN sobre CNN no? En biología se usa bastante, creo que es a lo que te refieres, en donde una CNN simplemente delimita los espacios de interés (células en una muestra) para que luego otra CNN analice de forma independiente cada uno de estos espacios (tipo de célula en cada caso).

No veo porqué deberían ser inmunes a este hecho, aunque sí más robustos si por ejemplo en el caso de la señal las diferentes letras se analizaran por separado y luego se juntara el texto, difícilmente llegaría al resultado erróneo con tan poca manipulación.

2 1 respuesta

ArThoiD #18 Oct '19 The Abysswalker

#17Ulmo:
es importante resaltar que estos todavía están lejos de ser robustamente fiables.

BUeno claro, yo eso ya lo sé porque trabajo relativamente cerca de esto.

Tened claro que la conducción autónoma 100%, si llega algún día, será en mínimo 25-30 años.

1 respuesta

Frave #19 Oct '19 Montedamus

#18

será en mínimo 25-30 años

Opino igual la gente de fuera del mundillo tiene un hype que no veas con esto....

A

Akiles_X #20 Oct '19 Manitas de cerdo

Aqui un ejemplo con Pytorch

https://pytorch.org/tutorials/beginner/fgsm_tutorial.html

Kimura #21 Oct '19 Magnetohidrodinámico

#8 Que esperas en Nature precisamente? Factor de impacto y ya está. Es lo único que les importa al final. Que sea mas o menos veraz, mas o menos adecuado a la realidad? Bueeeeenoooo.

Memoria del agua y fusión fría, nevah forget.

1 respuesta

N

neoriders #22 Oct '19

Es interesante, pero lo que entiendo que es peligroso es cómo se usan y no las RNA en sí, que vienen a ser un programa como otro cualquiera.
Lo que me resulta chocante es que una revista como Nature, que es la de mayor impacto en el mundo científico, publique un artículo mas de divulgación que otra cosa.

1 respuesta

madfrog #23 Oct '19

No sé cómo será Nature, pero el NEJM (New England Journal of Medicine, una de las revistas históricamente con más impacto en medicina, si no la que más) cada vez se está volviendo más sensacionalista, puede que sea una línea a seguir entre las grandes revistas científicas para mantenerse a flote.

1 respuesta

Kike_Knoxvil #24 Oct '19

#21 El agua tiene memoria, si no explicame tú como es que la hija de puta cae del cielo cada vez que voy a lavar el coche. Tiene que acordarse que me jode y por eso lo hace

3

Ulmo #25 Oct '19 Moderador

#23 #22 Es una tendencia general, mezclan artículos científicos enviados por investigadores con artículos de opinión y reviews.

B

[Borrado] #26 Oct '19

Yo siempre he dicho que es deber de responsabilidad civil meter en los perfiles de redes sociales y demás medios de snooping toda la información falsa posible que joda el minado de datos salvaje.

jbtwist92 #27 Oct '19

probablemente las rrnn que han petado así no estén bien entrenadas y sea un articulo extremadamente sesgado

1 respuesta

Fyn4r #28 Oct '19 Inocente

#27 mirate articulos de ataques de caja negra. Se pueden petar, es lo que hay xd

m4d4f4k4 #29 Oct '19

#3 La ultima pelicula de Gerald Butler sobre su trilogia de guarda espaldas del presidente de EE.UU va muy en esa linea. "Objetivo Washington DC" en una parte concreta hackean los servicios de un hospital con no muy buenas intenciones.

Hoy dia dependemos mil de la tecnologia, algo bueno pero peligroso.

Hackeando redes neuronales

Usuarios habituales

Tags