Вы боитесь, что на вас кричать будет бывший муж. Но алименты - это ведь не для вас деньги, а для ваших детей. Почему же вы позволяете обделять детей?
Подавайте на алименты. Придёт бывший и будет орать - не пускайте в дом, вызывайте участкового, если будет ломится. Не ругайтесь с ним, просто игноририуйте.