Microagregación en BB.DD. y en Encuestas

Vamos allá #4, no sé si te miraste el artículo que te pasé...

Siguiendo sobre el k-anonimato, no sé si quedó claro pero cuando haces los paquetes los haces multidimensionales. Es decir, lo que hice yo con las edades, si además añadiésemos alturas no haríamos paquetes en plan "22-25 años y 1.70-1.80" sino "círculo alrededor de los 23 años y 1.75", así que habría gente que con 22 años midiendo 1.70 no entraría en ese paquete (a partir de ahora celda) y gente que sí entraría con 23 años midiendo 1.70. Para esto te tienes que definir una distancia, obviamente. El algoritmo MDAV funciona más o menos así:

El resultado final suponiendo que los datos están repartidos uniformemente en x = [0,1] e y = [0,1] sería algo así. (perdón por el descuadre, entre que estoy en un ordenador en alemán y uso paint...)

Veis aquí el problema? La celda 7 contiene todos los elementos con y alrededor de 0.5. Imaginad que estamos clasificando abajo por edades y arriba por alturas, esto podría traducirse a: Todos los que midan entre 1.70 - 1.75 tengan la edad que tengan diremos que tienen 50 años y miden 1.73. Pierdes MUCHA información aquí, supongo que se ve claro. El algoritmo PCL lo resuelve pero es complicado y no voy a entrar en detalles, baste decir que hace todas las celdas a la vez y quedan como hexágonos muy cucos.

Vayamos a la l-diversidad: Como ya comenté, tener 1000 individuos agregados en una celda puede no servir de nada si todos ellos tienen SIDA, por ejemplo. Así que necesitamos este concepto para evitar "ataques de homogeneidad". Necesitamos que en el grupo haya personas distintas en el apartado de "información importante" y hay varias maneras de hacerlo. Como una de ellas nos lleva al t-parecido, voy a hablar primero de esto.

t-parecido incluso aunque aseguremos l-diversidad, podemos recibir ataques con éxito si, por ejemplo un atacante compara las estadísticas globales de un dato con las estadísticas de nuestra celda. Pongamos que un 30% de la población tiene una ETS, y justo en la celda de la víctima resulta que hay un 80% de los individuos de ahí con ETS. El atacante puede usar esto para su beneficio como explica el paper del link (por cierto, si os interesa algo en concreto me puedo leer los papers y explicarlos, pero es que no los he leído xD y los detalles técnicos no los conozco) e identificar con cierta probabilidad a la víctima.

Maneras de solucionar estos problemas (también se pueden aplicar a k-anonimato):

• Haciendo celdas más grandes, o generalizando más los datos importantes (no siempre es posible sin perder mucha información).
• Eliminando información, es decir por ejemplo sustituir si alguien tiene 23 años por ****. Se hace mucho eh xD, es rudimentario pero bueno.
• Añadiendo información aleatoria, o cambiando aleatoriamente datos (relevantes e irrelevantes) para que cuadre con la distribución de la población.

Una cosa está clara como podéis ver. Hay un compromiso entre anonimato e información extraíble. No podemos tener ambos en el momento en que tenemos una B.DD. de acceso público.

Detalles a tener en cuenta: Hay gente que se dedica más a macroagregación y otros a microagregación. Pese a que los problemas son los mismos, en microagregación hay que tener más cuidado con las celdas que se hacen porque un pequeño error puede suponer la pérdida total de privacidad o de información.
De cara al próximo post, que será sobre encuestas, otro detalle importante es: No se recomienda usar ninguno de los algoritmos para hacer celdas de los que he comentado arriba, ¿alguien me dice por qué? (xD más que nada para fomentar la participación).

#9 está muy bien el documento que has colgado, explica muy claramente el MDAV (a mí me habían explicado el MD, vaya...) mejor que yo xD, que sin poder meter formulitas me lío.

Por desgracia hasta donde yo sé , no hay algoritmo mágico

En todo lo que has dicho tienes razón, de hecho la señora Latanya Sweeney está en el Data Privacy Lab donde se investiga a nivel tanto tecnológico como legal la mejor manera de garantizar privacidad a los usuarios.

Antes de entrar en las encuestas comento una aplicación de estos conceptos un poco alejada del k-anonimato y la microagregación:

Como sabéis, los buscadores tipo Google o Amazon, etc. recopilan datos de vuestras búsquedas. Estos datos, diréis, solo preocupan a un paranoico, pero no es cierto. Como personas físicas sí que importa relativamente poco que busques A o B en google, pero imaginad que sois trabajadores de una empresa como IBM y empezáis a investigar en un proyecto y a buscar el estado del arte de ciertas tecnologías. Esa información es MUY poderosa, ya sea para especuladores o competidores, y no tan difícil de conseguir.

Ahora bien, si nosotros sabemos qué tipo de datos recopila el buscador y cómo los agrega, podemos jugar esto a nuestro favor. ¿cómo? Desinformando con falsas búsquedas que nos acerquen al promedio de las búsquedas de todo el mundo.
No sé el nombre ni nada, pero me suena que estaba en desarrollo un pluguin que realizaba el cálculo automático de qué búsquedas realizar en Filmaffinity y cuántas para acercarte mucho al promedio de "cliente" y no "destacar".

Interesante eh .

Sobre las encuestas, doy una pista: Tiene que ver con la forma de las celdas.

#11 hay que pensar un poco en plan social, tienes personas que tienen que responder esas encuestas y tienen que fiarse de que serán anónimos. No es lo mismo que tener un estudio donde ya están todos los datos rellenados y tú los agrupas, sino que personas (probablemente no todos con una educación universitaria) tienen que rellenarlos.

Lo de k-Means la verdad es que no lo sé porque no lo conozco mucho, pero viendo la wikipedia parece que aunque sí que haces k-grupos, no puedes garantizar que cada grupo tenga un número mínimo de elementos no? Quiero decir, tú quieres hacer celdas de 1000 elementos en una población de 10000, es decir quieres hacer 10 grupos, tendrías 10-Means... Pero a lo mejor la solución óptima según 10-Means haría que en una de esas celdas tengas 500 elementos tal como está formulado el problema en wikipedia! Quizás es por eso.

#13 has dado en el clavo, en encuestas tienes que anonimizar a priori y además no puedes asegurar que todo el mundo responda! La idea es que tú pedirás que te den los datos correspondientes a los cuasiidentificadores por un lado (edad, sexo, estado civil, lo que sea vaya) y luego las respuestas interesantes (qué opinas de tu jefe, cuánto duras en una relación sexual, yo que sé). Y no le puedes decir que te dé todos los datos que tú ya lo harás anónimo luego, porque quizás no se fía, no sé si me explico. Si hubiera confianza total pues no habría problema, el problema está en que él cuando tenga la encuesta tiene que tener una cierta garantía de que cuando la envíe no le podrás identificar ni siquiera tú.

Sobre lo de k-Means, si puedes mezclarlo y tal quizás haya alguna solución "combinada", la verdad es que no conozco si se ha usado o no pero podría ser una vía de pruebas!
Sí, tanto con circulitos como con el PCL que usa un método similar a la codificación de vídeo es reproducible.

Y sí, por tanto puedes saber con cierta probabilidad quién es y sobretodo los atributos "principales" de un individuo cruzando datos, pero la idea al anonimizar (sobretodo con T-closeness) es que esa probabilidad sea prácticamente la misma que la de que un desconocido cualquiera, es decir que el hecho de saber en qué celda está no te aporte información. Ese es el anonimato más "fuerte", digamos, y por ende el más complicado de conseguir sin distorsionar mucho los datos claro.

edito: Más que denso creo que me he liado explicando alguna cosa y lo he complicado yo solo, acostumbrado a usar simbolitos para todo me cuesta explicarlo con palabras xD.