А ты не думал, что он видит, как ты к нему относишься и не хочет навязываться тебе, доставлять негативные эмоции?
Вопрос может некорректный, но... у него есть ещё дети кроме тебя?