Segunda competición de Machine Learning; Futurama

Frave

Bueno ya he conseguido bajar de 0.1 así que me quedo satisfecho, en unos dias segun como avance el challenge optimizare o probare alguna otra cosa.

#30 lo mejor que me ha funcionado es una resnet152 preentrenada con imagenet, he probado con transformers mas nuevos pero no termino de pillarles el punto y me dan resultados algo peores, estoy utilizando pytorch.

1
Frave

Dejé probando algunos hiper parámetros ayer y al mirar los errores en mi validación incorpore algunas cosas al data augmentation que podían tener sentido y algo ha mejorado el resultado.

Frave

Perdón por el triple posteo, he subido a github los scripts que he usado, para que bueno al final creo que alguien habrá que quiera ver como he enfocado el challenge, los hiperparametros los he cambiado para que el que quiera practique y busque los óptimos, hay tanto un script para entrenar y crear el sub como para buscar el modelo optimo iterando sobre hiperparametros, si alguien lo usa y no entiende algo que me diga.

https://github.com/Fjaviervera/Futurama_pytorch

Necesitareis pytorch, PIL, numpy y pandas.

5
R

Llevaba tiempo que no pasaba por aqui... llego justo de tiempo, pero bueno fastai lo pone facil. Por ahora algo mas de 0.15 y 0.12 en los dos primeros envios. Si saco tiiempo intentare mejorar esto, tocara tirar de alguna transformacion mas para las imagenes.

2
R

Va, 0.11. Algo ha mejorado el resultado aumentando datos

Phil_Rich

Alguien ha calculado la metrica antes de hacer submit? La metrica es MSE o RMSE?

Me da sobre 0.09 en val y parecido en test pero al hacer submit se me dispara en torno a 0.3, algo estoy liando :(

1 respuesta
gonya707

#36 Es RMSE. A mi curiosamente me pasa al reves, en evaluacion me queda mas alto que el submit

1
Frave

Yo la verdad he preferido calcular accuracy se me hace raro mirar rmse en un problema de clasificación, yo tenia sobre un 96-97% de acc en mi validación por ejemplo para bajar de 0,1 .

1
Phil_Rich

Esta el leaderboard calentito eh jajaj

Yo por desgracia me largo unos dias de vacas asi que hasta aqui he llegado, siendo un poco noob en Deep Learning me ha venido genial para repasar conceptos y aprender cositas. Muchas gracias por la iniciativa @gonya707

Estare atento al resto por si sacais nuevos notebooks!

Frave

Esta emocionante yo estoy intentando bajar algo mas el resultado pero esta difícil.

1 respuesta
xhito

#40 Vas loooco tiooo jajjaj estaba a nada y vuelta a las 0.002 xd!

1 1 respuesta
Frave

#41 También hay una pizca de suerte que al final +-0.002 no es nada y cada train baila entre esa desviación típica o mas.

1
gonya707

Tened en cuenta que un porcentaje de las entradas son privadas y no se haran publicas hasta que termine la competi, asi que las calificaciones reales van a bailar, probablemente mas de un ±0.002, el primer puesto esta en empate tecnico

Yo me quede en el 0.20xx, no recuerdo, me hubiese gustado echarle algo mas de tiempo pero he estado con mil cosas, trabajando, estudiando y sacando una app para android, lo ultimo que me apetecia era estar mas tiempo en el pc xD

Ya tenemos competi de tabular data y de image processing, la siguiente tendar que ser texto o time series por variar

4 1 respuesta
Frave

Mi ultima técnica secreta esta siendo no usar nada de data augmentation xD

1 respuesta
xhito

#44 +1 a esto!

Phil_Rich

#43 Algo de NLP con posts de MV please xd

3
Frave

Boom 0.067 :D

Tengo alguna idea mas para probar pero me voy ya de viaje el finde con unos amigos así que seguramente este sea mi última mejora salvo que el domingo me de tiempo a algo.

1 1 respuesta
Khesnar

Alguno me recomienda algún video o algo para empezar a trastear con cosillas de este tipo? Sé un poquillo / estoy aprendiendo python

1 respuesta
gonya707

#48 creo que hagas lo que hagas va a ser algo más complicado que ver un video. En el hilo general tienes todos los recursos que necesitas y más, buena suerte

https://www.mediavida.com/foro/dev/comunidad-machine-learning-deep-learning-685637

3 1 respuesta
xhito

Fuck! no me pillo el mejor private score (0.09149) !

GG A TODOS!! nos vemos en la siguiente! Gracias a #49 , #47 y Jaime, he aprendido mogollón!

1 respuesta
R

Me ha jugado a favor el 21% del private score xD
Eso si, en todos los envios tengo peor resultado en el privado que en el publico.

#50 como que no te saca el mejor resultado, lo has mandado después o algo?

2 respuestas
xhito

#51

NSFW

No tengo ni idea la verdad xd, es el primer kaggle que hago, pero vamos no rallarse que sobretodo lo hago por ir haciendo portfolio y aprender nuevas cosillas,

Enhorabuena!!!

1 respuesta
Frave

#52 #51 El privado te pilla los dos submission mejores del público (o los dos que tu selecciones) y los usa para calcularte el resultado en el privado.

Al final ha estado muy igualado todo en el privado, enhorabuena @RsTTa crack, esta bien que recordemos que el overfitting no solo lo hacen los modelos si no también cuando tuneamos en exceso los hiperparametros de un modelo, que me da la sensación al ver mis resultados privados que por ahí han ido los tiros.

Muy buen challenge, a ver si poco a poco se va animando mas gente a los siguientes. En unos días espero sacar tiempo para terminar el notebook con la explicación de mi solución que contiene un poco cosas fundamentales de redes neuronales y como usar pytorch con los modelos que te dan hechos para adaptarlos a tu problema, que les será útil a los mas nuevos.

Para los siguientes challenge creo que estaría guay proponer algo diferente, al menos si usamos imagen, en plan en lugar de que sea lo típico de ale imagenes a una red neuronal y a correr, quizás molaría restringir a que no se puede usar gpu por ejemplo o que tenemos que hacerlo usando opencv o técnicas mas artesanas de procesado de imagen.

3 1 respuesta
xhito

#53 Ok! entiendo, no lo sabia, creía que pillaba los dos mejores del 100%, no del public score

gonya707

Enhorabuena a los ganadores y gracias a todos por participar, estoy de vacaciones esta semana pero en cuanto vuelva actualizo con las puntuaciones y el ranking, nos vemos en la siguiente

4
R

Ah ya veo, hay un checkbox para elegir con que resultado quieres ir al privado

1
gonya707

Ahora si que si, perdón por el retraso, aquí están los resultados finales, con el cambio a los resultados privados RasTTa ha hecho la remontada de su vida y se ha colocado primero, enhorabuena a los ganadores y nos vemos en la siguiente competición (en cuanto se me ocurra qué hacer)

PuestoParticipantePuntuación
1RasTTa0.10711
2Fco.JavierVeraOlmos0.11295
3jparedesDS0.11865
4Phil_Rich0.13067
5Jaime Arboleda0.15569
6Gonya0.20586
7ATM0.22877
8Shake0.29116
9Carlos0.39858

Pondré ahora en el hilo general el leaderboard, estoy usando vuestros nombres de Kaggle, si quereis otro nombre mandadme MP

Os animo a mirar la sección de códigos de la competición porque esta vez ha sido muy surtida, y así aprender algo de como los participantes han hecho sus tejemanejes https://www.kaggle.com/competitions/comp-mediavida-2-futurama/code

5
Ardi

Lastima que quede tan quemado de mis tutores de la carrera que llevo 2 años sin tocar el tema pero he visto la resnet y me han vuelto esos feels :S

3 meses después
fofisano

Hay alguna manera de entender como funciona todo esto para alguien que no tiene NADA de idea?
Es decir, dentro de kaggle se explica algo o es solo para gestionar las submissions?

1 respuesta
gonya707

#59 kaggle tiene su propia sección de aprendizaje https://www.kaggle.com/learn

Para mas documentación tienes el hilo general de ML

1