Любая измена (а она 100% имеется, раз скрывает переписку и так нервничает из за нее) - это предательство, которое рано или поздно приведет к разводу.
Так лучше уж рано. Продолжать жить с таким мужчиной - это не уважать себя и свои чувства. Задайте себе вопрос - как бы он поступил на вашем месте? Уж точно не молчал бы и не проглатывал обиду. Ваши дети имеют права видеть адекватную и счастливую мать, а жизнь с таким человеком приведет только к психозу, возможно к таблеткам. Тем более про развод он сам сказал, просто пытается снять с себя всю ответственность за него и свалить всю вину за разрыв на ваши плечи. Одним словом - трус.