Ну это ты сама должна чувствовать, есть ли у него что-то на стороне. Само по себе то, что ты описываешь, не означает измену.
Поверь, мужчины такие же люди. Секса они тоже хотят не 24 на 7 (если не психические какие-нибудь), тоже испытывают усталость и др.
Для длительных отношений нормально утихание страсти и приход ей на смену более спокойным, но прочным чувствам.