¿Es intolerancia odiar a los fanáticos en lugar de la intolerancia que albergan?

No.

Es intolerante tomar una característica, usarla para definir un grupo y hacer suposiciones sobre otras características sobre ese grupo.

La intolerancia no siempre es odio, incluso puede ser una creencia positiva sin dejar de ser intolerancia.

Por ejemplo, si una persona blanca piensa que todos los negros son más tontos que los blancos, eso es intolerancia. Si esa misma persona blanca piensa que todos los asiáticos son más inteligentes que los blancos, TODAVÍA es fanatismo.

Si no te gustan los fanáticos por su intolerancia, eso no es intolerancia.

Sería fanático si crees que todas las personas intolerantes comparten otras características, como una predisposición a la violencia.

En cuanto al uso de palabras de odio hacia un individuo intolerante, eso se llama ser humano. Si alguien dice algo repulsivo, es humano ser rechazado por ellos y reaccionar en consecuencia.