gracias por la información esque me había parecido raro que te pidan algo así.
Y ya que estoy aprovecho para preguntar algo, como está de difícil tema teletrabajo para un junior? Una de las cosas que me llaman la atención de este mundo en cuanto a lo laboral es poder trabajar en remoto la verdad, estoy cerca de terminar y la mayoria de trabajos q encuentro son en teletrabajo, pero del sector del q vengo saque la conclusión de que de los juniors "no se fian"
#147 Jajaja pues sobre lo que comentas yo creo que puede ser o no ser normal que las entrevistas sean peculiares (me refiero, puede haber dudas de si es normal o no). Pero lo que está claro, y no hay ninguna duda de ello, es que normal no es que el entrevistador te hable así.
Como si es el mercado laboral con una tasa de paro del 95%, ante todo, respeto por que lo que tienes delante es una persona.
Hola, ¿alguna opinión del libro Machine Learning with PyTorch and Scikit-Learn? Estoy tentado en pillarlo e iniciarme en esto. Soy programador, pero en ML nivel 0.
Alguien se ha trasteado con LLMs de hugging face como llama2 o Falcon para tareas específicas? Cómo funciona exactamente el proceso, te descargas el modelo con los pesos con los que fue entrenado y después lo entrenas unos steps más con tu propio dataset?
#154 Yo no lo he hecho directamente pero si he estado hablando con alguien que lo hizo hace un par de semanas. Bajas el modelo (en su caso lo hizo en google collab) Y no hay que hacer mas entrenamiento. En el primer prompt lo "configuras" le puedes decir el formato de la respuesta, si necesitas un json con formato especifico y ya
#155 No lo he dejado muy claro, me refería a usar los modelos con data sets propios para tareas que de otra forma sería imposible con el modelo vanilla
Revivo un poco el hilo con una pregunta, porque está algo muertecillo. Por circunstancias tengo que aprender NLP. La cosa es que de NLP tengo bastante claros los conceptos, a nivel teórico, pero no me he puesto nunca a programar mis propias cosas para NLP. Ante esta disyuntiva, una de las opciones que he pensado es hacer un curso que me permita consolidar aún más los conocimientos teóricos, unido a conseguir esos conocimientos prácticos gracias a los ejercicios que se suelen proponer en los cursos. Los cursos que he meditado son:
En realidad he buscado algunos más, pero ahora no los tengo a mano.
La cosa es que nunca he sido muy fan de realizar cursos, he aprendido más leyendo y replicando papers, pero ahora necesito aprender algo relativamente "rápido" y creo que hacer un curso así allana el camino.
Que me recomendáis? Alguno de los cursos? Algún libro? Como aprendisteis vosotros?
#157 Supongo que a modo introductorio estos cursos van bien. Yo me acabo de terminar el primero de todos de Deep Learning de Santiago Hernandez, la verdad que me ha encantado aunque lo que yo buscaba puede ser algo mas concreto. En mi caso he aprendiendo a montar una neurona desde 0 (y lo estoy haciendo en C, por probar cositas) hasta utilizar keras, tensorflow, etc.
Bueno, chavales, como muchos ya sabréis, hace 5 días Meta liberó Llama 3 en 8B y 70B de parámetros, y en istruct y normal. Estoy bajando ahora mismo una versión cuantizada 8 (Q8) instruct, con muchas ganas de probarla. Son unos 80 Gb, montaré los 48 en las gráficas y el resto en la ram, a ver qué tal va.
Para quien le interese, el modelo 70B sin cuantizar son unos 130 Gb. Quizás me lance a probarlo, pero meter solo el 35% en VRAM y el resto en RAM igual hace que vaya a pedos.
A saber cuánto ocupará el de 400B cuando lo terminen de entrenar. Muy prometedor.
Tristemente va un poco lento.
Update: Es inoperable, va demasiado lento, como a 3 t/s, frente al mucho mejor modelo de 8B que va a unos 60t/s. El 8B lo cargo sin lobotomizar (fp16), son unos 8gb en VRAM. Si os entra os insto a que lo probéis, va muy fino. Estoy a la espera de que la peña aumente la ventana de contexto, que ahora mismo solo es de 8k tokens. También es posible que hagan un mixture of experts con instancias de 8B reentrenadas, específicas, y eso estaría chulo probarlo.
PD: El LM Studio es crema de la buena. Ollama también <3
#160 Usas los llms para alguna aplicacion o solo para poder consultar localmente? A mi lo que me gusta de ollama o LM Studio es que viene con bastantes optimizaciones para inferencia y suele ser bastante mas rapido que ejecutar pytorch en eager mode.
Y ya para flipar con velocidad esta groq https://console.groq.com/playground?model=llama2-70b-4096. Sale increiblemente barato si alguien necesita inferencia para alguna aplicacion.
Si quieres meterte a trastear, he visto que cambiando la configuracion del rope the llama3 se puede ampliar la ventana de contexto bastante mas.
#160 https://huggingface.co/microsoft/Phi-3-mini-4k-instruct Mirate este haber que te parece, aún suelta humo del horno jajaja
#161 Pues ahora monto el ollama al arrancar para ir contra mi obsidian (antes tiraba de api$ de gpt). Y llm para trastear modelos y colsultar localmente. Pero la idea próxima es instanciar un docker de ollama para mi homelab. Tengo algunos flujos iftt que tirarían de la api de wishper y luego de la de ollama (ahora mismo trasncripción y análisis los tengo contra openAI). El problema es que en el servidor solo tengo una 3080 así que ando corto de VRAM.
Respecto a llama2 70b, las métricas indican que llama3 8b lo iguala o mejora. Es la leche. Y respecto a las ventanas de contexto, he de meterme con ello porque son muy pequeñas. ¿Tienes más información?
#162 coño, qué guapa, recién salida. En las métricas veo que supera en algunos puntos a llama3 8b ¡la probaré! Así voy teniendo los motores preparados.
A ver si salen algunas finetuning para code completion. Tengo unas ganas locas de que por fin integren esto en spyder 5.
#163 Lo he visto en Twitter y es posible que venga acompanado de una perdida de rendimiento... Con la locura que es twitter que cada dia ves 3.000 mejoras, si es realmente novedoso lo volvere a ver.
Otro en la misma linea https://twitter.com/UnslothAI/status/1783200234669236532
Creo que ya ronda por LM Studio alguna versión de Llama 3 de 48k de contexto (yo de momento solo veo de 32k)
Microsoft Research ha presentado VASA-1 para la generación de vídeo a partir de una imagen. Esto da miedito.
#169 Es buenísimo lo vi ayer o antes de ayer, y es un peligro sino se puede saber, si ya la gente se cree cualquier mierda de paco el de Facebook imagínate con herramientas asi la de desinformación que se va a propagar, nos vamos a la puta con estas cosas
alguna idea o servicio para procesar partidos de padel de forma automatica? necesitaria tracking ball, tracking de personas, diferenciar los golpes
estamos planteando implementar un chatbot haciendo finetuning con una cantidad basta de pdfs con información técnica
estamos aun planteando cosas, pero en principio mixtral/llama3
tenéis experiencia en esto?
#174 lo que mas me preocupa es tiempos/equipos
y como "darle" la info, al final son manuales de equipos que de leerlos sin contexto no tienen nada que ver unos con otros, por lo que además hace falta el contexto de la relación entre ellos en base a esquemas nuestros
#175 Fine tuning deberia ser la ultima opcion, es tecnicamente la mas compleja y la que mas dinero cuesta. Un sistema RAG quiza pueda cumplir los requisitos que tengais, ademas existe bastante tooling ya desarrollado. La respuesta es que tendreis que probar y ver a una escala mas pequena las ventajas y limitaciones de cada una. Luego hay formas avanzadas de mejorar y combinar cada enfoque.
#176 es posible hacerlo con una cantidad grande de texto? estoy hablando de unas 300k páginas en pdf, para que te hagas una idea
tendremos que hacer pruebas claro, pero es por saber por donde tirar
#177 Si claro, ambas opciones son posibles. Con esa cantidad de documentos, te vas a ir facil a "cientos de millones de tokens", hacer fine-tuning de esa cantidad de training data es imposible a menos que tengas un cluster con varias GPUs (H100 o A100), y tener batch-sizes importantes. No se que presupuesto manejais, pero planteado asi, es una tarea de ingenieria ya un tanto importante.
Si hicierais RAG (todo partiendo de un modelo mas bien sencillo), solo tendriais que convertir los textos a embeddings y guardarlos. Aqui solo hay inferencia y no hay training lo cual es mucho mas barato y rapido. Luego, hacer la generacion de texto, pero este paso es compartido.
Antes de nada, me sentaria a analizar bien los requisitos que tengais. Cual es el nivel de precision que pedis, cuales son las expectativas de velocidad de generacion de texto, la calidad del front-end para el chatbot, numero de usuarios, numero de solicitides simultaneas, coste-beneficio.
Yo sin duda tiraria antes por hacer un MVP con una seccion de documentos infima y ver si mas o menos se ajusta a lo esperado.
#178 he estado viendo, y tenía entendido que RAG era mas tipo dar unas pequeñas órdenes de respuesta pero no como para dar un contexto taan grande
me ha servido mucho vuestra info porque si bien conozco otras bases, en como actuar con llm estoy mas perdido
#179 Justo la ventaja de RAG es que tienes todo el contexto disponible a la hora de dar la respuesta, otra cosa es que el "retrieval" se haga bien. Al contrario que un modelo tuneado que va a depender de pesos aprendidos y sea más propenso a alucinar. Que por cierto, puedes combinar las dos cosas... Esto tiene más de arte que de ciencia
