Lo que tu llamas Linux es esto: http://www.kernel.org/
Es un kernel, que es la parte fundamental de un sistema operativo. Es el software responsable de facilitar a los distintos programas acceso seguro al hardware del pc.
Ahora lo que tu te quieres referir se llama GNU/Linux y esta dividido en distribuciones (conocidas como distros), se pueden bajar de www.isolinux.org . Las distros más fáciles son mandrake, suse y fedora, todas basadas en GNU/Red Hat Linux.
Linux no es mejor en todo, tiene un soporte de hardware actualmente limitado (ati aún no ha sacado drivers para linux en x86_64, etc). Para que vaya realmente rápido el sistema debe estar optimizado, y para ello hay que saber compilar (y saber manejar la consola, el funcionamiento de la distro, etc). Un mandrake pelao es sólo un poco más rápido que Windows y sólo en algunas tareas.