Solucionado, si a alguien más le pasa lo mismo, hay que especificar un puerto de lanzamiento distinto:
Para especificar un puerto de cliente, por favor, sigue los siguientes pasos en cada equipo de la red local
Dirígete al menú Biblioteca en Steam
Haz clic con el botón derecho en el juego al que quieras jugar
Haz clic en Propiedades
Desde la pestaña General, haz clic en el botón Establecer opciones de lanzamiento
Especifica un puerto diferente en cada equipo entre el 27005 y el 27032 de la siguiente forma:
+clientport 270XX
Nota: No utilices el 27020
Haz clic en OK
NOTA: Esta solución sólo funciona si lanzas el juego desde el menú Biblioteca.
Si ya habías establecido otras opciones de lanzamiento, deja un espacio entre el último carácter de tu opción anterior y el símbolo + de los ajustes del puerto del cliente.
(https://support.steampowered.com/kb_article.php?ref=6370-QPHJ-3567&l=spanish)