A ver si puedo aclarar algunas cosas que creo que se están mezclando.
El granito* (sensu estricto) esta compuesto de cuarzo, feldespato y mica. De estos minerales, el más duro es el cuarzo, con una dureza de 7 en la escala de Mohs
Escala de dureza de Mohs
Dureza Mineral
10 Diamante
9 Corindón
8 Topacio
7 Cuarzo
6 Ortoclasa (feldespato)
5 Apatita
4 Fluorita
3 Calcita
2 Yeso
1 Talco
Teniendo en cuenta esto, hay muchas rocas (por no hablar de minerales) más duras que el granito: Basalto, dolerita, diorita... E, incluso, habría que ver la composición exacta del granito porque los hay más o menos "duros", dependiendo de su composición (no están compuestos, exclusivamente, por cuarzo, feldespato y mica) y estructura (algunos veteados los hace más endebles). El cuarzo y el pedernal están compuestos de lo mismo, SiO2, pero con pedernal puedes tallar cuarzo.
También hay que diferenciar entre dolerita o diabasa (roca filoniana) de diorita (roca plutónica). Las dos son ígneas pero se forman a diferentes profundidades, presiones, temperaturas y con diferente textura y composición.
Dejo el diagrama de streckeisen para ilustrar:
*Sin tener en cuenta que en marmoleria se llama granito a casi todo. Que parece que solo hay granito, mármol y travertino...
PD: Agradecer el debate que se ha generado y que no he visto muchos de los vídeos que cuando tenga tiempo los ojeare.