Realmente poniendo todo en una balanza has hecho lo correcto, por una gilipollez como un castillo te puedes buscar muchos problemas.
Existe la posibilidad y, diría que hasta alta, de que realmente si les dejas las cosas claras desde un principio y no te achantas el tío agache un poco las orejas.
Pero también está la posibilidad de que siga echándole cojones, y acabéis a ostias, y aquí lo más probable es que o recibas, o que des un mal golpe (o te lo den) y te busques un follón. Las cosas se pueden complicar mucho. Entiendo perfectamente como te sientes, como que por no tener un follón, el otro descerebrado haya pensado que es Terminator y que le tienes miedo. Se te pasará con los días.
Me paso algo parecido en una discusión de tráfico (no voy a explicarla pero os digo que llevaba razón yo y el otro era el típico que se cree que la carretera es suya). El chaval se bajó del coche en un semáforo y se vino para mi coche, yo con toda la calma del mundo le pregunte si tenía algún problema y le expliqué lo que había hecho. Pues bueno el chaval seguía hecho una fiera pegándome voces (yo no podía irme tampoco porque el tío tenía su coche delante) pero vaya, era un pinpin al que le sacaría 10 años y 2 cabezas, por lo que ya le dije que o se piraba o si quería que bajase. Me dijo que bajase que me iba a matar (literal, el chaval estaba fuera de sí) por lo que no me quedaron más cojones que bajar (la otra opción era subir la ventanilla y llamar a la poli, porque a saber con qué clase de loco estaba tratando, pero en ese momento no se me pasaba por la cabeza algo parecido). El chaval cuando me vio bajar y vio que había posibilidad de liarse a ostias (y objetivamente recibir el más que yo) ya bajó de la parra y se dejó llevar de vuelta a su coche por su novia. Pues te digo que estuve varios días con una mala ostia inmensa pensando que le tenía que haber soltado al menos un guantazo, porque vaya puta vergüenza quién me viese en el coche antes de bajarme mientras el anormal me daba voces. Con el tiempo me he dado cuenta que en realidad fue lo mejor, ya que a pesar de sentirme unos días con el orgullo herido, mi vida no ha cambiado para nada, cosa que si lo podía haber hecho si en ese momento hubiese llegado a las manos con ese individuo.