Kurze Antwort auf die Titelfrage: ja.
Lange Antwort:
Ich stelle als Antwort mal eine Gegenfrage: darf ich mich keinen Autofan nennen, wenn ich Ferrari nicht leiden kann?
So in etwa ist diese Frage hier aufgebaut. Klar kannst du Anime-Fan sein, ohne den Mainstream-Kram zu gucken. Was hat die Beliebtheit eines Animes damit zu tun, dass mir das Genre an sich gefällt? Vor allem ist diese Frage auch zeitgebunden. Die letzte Generation von Fans würde dich z.B. mit dieser Logik jetzt auch nur als Heuchler abstempeln, weil du vermutlich die Klassiker von damals nicht kennst. Also kurz und knapp: ja, man kann Anime-Fan sein, wenn man keine Mainstream-Animes schaut.
Interessanter Standpunkt
Aber mal eine Gegen - Gegenfrage :
Könntest du dich als Fußball Fan bezeichnen ohne zu wissen wer oder was FC Bayern München oder Real Madrid sind und wenn der Begriff Messi und Ronaldo für dich wie chinesisch klingt? :/