Zusätzlich kannst du noch einen SRV-Record setzen, dann muss man keinen Port angeben.
Edit: Gerade erst verstanden, was du wirklich willst.
Du kannst natürlich den Teamspeak auf einen anderen Port legen und diesen mit einem SRV-Record "verschleiern". Dann kann man NUR über die IP nicht verbinden, da man den Port nicht kennt.
Eine Unterscheidung, ob die Verbindung per direkter IP oder per aufgelöster Domain kommt, ist nicht möglich.