Как понять поведение женатого мужчины

Помогите разобраться,пожалуйста. Работаю в магазине,был у меня коллега-мужчина,уволился несколько месяцев назад. Отношения были дружескими,он очень тактичный,доверял мне много и я ему. Из всего коллектива общалась откровенно по поводу работы только с ним,он тоже ближе,чем со мной,с кем либо не общался. У него семья,женат,двое детей,у меня также,замужем. Отношения у него с женой не прям-таки,идиллия,у меня тоже. Но говорит,что жену любит.И вот он уволился,живёт рядом с моей работой. Когда я работаю,приходит только в мою смену,может провести там час,типа,поболтать. Иногда 2 раза в день заходит,спросить как дела. Если приходит не в мою смену,то быстро уходит. Пишет мне,но каких-то прям от него знаков внимания нет. Практически не было ни дня,чтоб не приходил,когда я работаю. Так вот случилось так,что я начинаю привыкать к нему,скучать. Он говорит,что скучает тоже по всем)) Я не понимаю такое поведение,видно,что скучает,но как понять,по мне ли скучает или как?В глаза неудобно спросить. Помогите разобраться.