Sí, vale la pena elegir únicamente lo que necesitas:
Todo lo que le pidas de más a la base de datos lo vas a necesitar cargar en la memoria del servidor, tanto al hacer la búsqueda como al procesar los datos que te devuelve. La memoria de los servidores suele estar compartida con más sitios web, la tuya irá más lenta... y ya no únicamente en experiencia del usuario, en el posicionamiento web también influye.
Si tu servidor de base de datos está separado de tu servidor web, al problema de memoria le sumas que vas a transferir datos de un servidor a otro que no vas a utilizar. En definitiva, hay más razones para limitar tu búsqueda que no limitarla.
El único punto de vista más o menos válido para hacer que algo que programes no sea 100% óptimo es que consideres que, tu tiempo, vale mucho más que un incremento de hardware. Y no me refiero a hacerlo mal, ilegible o sin documentación, simplemente que no sea eso, 100% óptimo.