Если уйти от работодателя, который бизнес-визу делал, её вообще не аннулируют?

Аннулируют.

Зависит от того, как расходились. Могут и не аннулировать, но по обыкновению аннулируют.