#8 Ya he recordado, pase por dos fases para llegar a solucionarlo
Añadiendo unas lineas de extras en el código que se encargaba de reproducir el video consegui que funcionará en todos los videos de la escena menos en el primero (que nose porque ese siendo igual que los demas no funcionaba)
El codigo que añadi es este:
spoiler //video es el GameObject que lleva el VideoPlayer y demas por si no queda claro
videoPlayer = video.GetComponent<VideoPlayer>();
audioSource = video.GetComponent<AudioSource>();
videoPlayer.EnableAudioTrack(0, true);
videoPlayer.SetTargetAudioSource(0, audioSource);
videoPlayer.controlledAudioTrackCount = 1;
videoPlayer.Prepare();
videoPlayer.Play();
audioSource.Play();
Para que funcionara el primer video lo único que se me ocurrio fue dejarlo cargado desde el editor en vez por código como todos los demás como parche funciona pero tendré que meterme con ello no me parece correcto dejarlo así.
Como añadido y por si alguien más trabaja con HoloLens al conseguir arreglar el audio de los videos me di cuenta de que se escuchaba de pena (entrecortado y demas), estuve investigando un poco y por lo visto era culpa de la resolución de los videos que para reproducirlos en las HoloLens había que bajarla a 640x360
Aqui el enlace de donde lo saque