Paralelizacion con multiples equipos

Ulmo

Buenas, tengo una duda de una cosa q queria hacer y como no se ni por donde empezar, suelto aqui la pregunta a ver si alguien me puede guiar para empazar a tirar del hilo.

La cuestion es q tengo varios equipos q me gustaria aprovechar para tirar tareas en paralelo, habria digamos un equipo principal q tendria un programa en escucha q recibiria peticiones ( hasta aqui sabria hacerlo sin problemas ).

Lo q necesitaria basicamente es q ese equipo cojiera la tarea y la distribuyera entre diferentes ordenadores disponibles, algo asi como un ssh pero no para iniciar una sesion sino para ejecutar simplemente un comando.

Vamos un sistema simple de trabajo distribuido. La secuencia de sucesos seria algo asi:

  • Ordenador principal recibe peticion.
  • Selecciona X ordenadores disponibles
  • Lanza diferentes peticiones a los diferentes ordenadores.
  • Espera a q las tareas hayan finalizado.

De hecho todos los ordenadores tienen montada una unidad de discos duros en común, asi q de hecho no necesitarian ni tan siquiera retornar la respuesta al ordenador principal, tan solo la señal de finalizacion.

Desconozco si con un "ssh" o similares se puede hacer el ejecutar simplemente una comanda a distancia y quedar bloqueado hasta q esta finalice.

Iluminarme q estoy muy verde en estos temas, no necesito una gran explicacion, solo un direccionamiento. El tema treads, forks, y demas no hay problem xDD

NeB1

Yo cuando hice algo similar lo hice mediante la librería MPI con paso de mensajes.

1 respuesta
Ulmo

#2 Sí, me ha comentado un chaval de por aqui q con la libreria mpi se puede paralelizar todo, pero creo q necesito tener instalado en las maquinas un gestor "slurm".

Thx, empezaré a tirar un poco del hilo a ver q sale.

Usuarios habituales

  • Ulmo
  • NeB1