А перед кем оправдываться? И зачем?
Вряд ли каких-нибудь знакомых или не очень людей заинтересуют ваши глубокие душевные переживания и тому подобное. А вот посплетничать, кто с кем переспал, они наверняка будут не прочь, поэтому именно отсутствие секса и подразумевается зачастую.

Нет, серьёзно, а о чём ещё так говорить? Мы с ним/ней не понимали друг друга с полувзгляда? Мы не держались нежно за ручки? Мы не гуляли под одним зонтом вдоль осенних фонарей? Всем плевать. Такое может быть уместно говорить только "текущему" избраннику/избраннице (о других людях). Если его волнует в вас не только секс.