Думаю, в этой ситуации у вас были разные ожидания от ваших отношений - он ожидал, что вы будете только с ним и верны ему, а у вас были другие представления об этих отношениях. Чтобы избежать таких недопониманий можно обсуждать это «на берегу», обговаривая, что для каждого из вас отношения и как вы видите их со своей точки зрения, ну и конечно договариваться.
Ультиматумами точно не решается ничего.
Кто прав - уже не важно