#65 El 'motor de inferencia' es hacer step by step por detrás (el paper creo que era Chain of thought, pero ya hubo experimentos como Langchain que salieron con GPT3). Es decir, lo que hace el modelo es lo que podías hacer tú haciendo que se preguntara a sí mismo por medio de volver a hacerle prompt con sus propias respuestas para que refine o tenga más tokens para llegar a la respuesta. Lo único que han hecho novedoso es optimizar el modelo para que haga ese proceso.
No ha habido una mejora general como con otros saltos de modelo, solo han conseguido que mejore en lógica con algo que ya se sabía que lo mejoraba.
Y no solo eso, han multiplicado otra vez el coste una barbaridad (x100), por lo que sigue sin ser comercialmente viable.
Que es una mejora, sí, pero tampoco es un gran salto. Eso se verá, si lo hay, cuando apliquen esto al siguiente modelo más grande.
Eso, o a ver como lo integran con lo que prometieron del razonamiento en vivo con Chat GPT-o voice y robótica (están metidos en varios proyectos). Posiblemente una vez mejoren la velocidad/coste de nuevo. Según la propia gente de OpenAI, esto no ha sido un salto mayúsculo a nivel comercial: