Давайте так:
причины могут быть как в Вас, так и в нём, я уже уяснил, что Вы отрицаете возможность того что причины в Вас, но тем не менее, это возможно.
Понимаете какая штука, это может означать как то что ему некомфортно рядом с Вами конкретно, так и то, что ему некомфортно рядом со всеми женщинами, в первом случае причина может быть как в Вас, так и в нём (может Вы ему не нравитесь, а может он увствует перед Вами вину, что задушил Вашего кричащего кота), во втором - причина в нём. Какая... да опять полно вариантов. Например в детстве девочки его обижали и он теперь не поднимает глаза, чтобы скрыть свой полный ненависти взгляд
причин тоже может быть много, и они разные, от застенчивости до маниакально-депрессивных состояний, или, к примеру, не стандарная сексуальная ориентация.
Но проблема в том, что оные дамы выбирают самый интересный для себя вариант и если кто-то не смотрит на них - клеят ему ярлык, который не имеет под собой ничего реального.
Самый простой пример: у Вас на лбу выскочил огромный прыщ, молодой человек избегает смотреть вам в лицо чтобы не смущать Вас, чтобы у вас не создалось впечатления что он его рассматривает, то есть из лучших побуждений, так сказать
а Вы приклеите ему ярлык "гомик", или "застенчивый", а когда глянете в зеркало даже не вспомните, что он на вас не смотрел, возможно, по этой приине, ведь он всё равно уже "гомик"