и вдруг у главного героя оказываются усы (с)

Иногда мне кажется, что если взять моих персонажей-людей, побрить и раздеть, то они ничем не будут друг от друга отличаться, кроме пола, роста и возраста. Я могу детально описать интерьер или пейзаж, погоду и музыку, чтобы погрузить в атмосферу, неведомую тварь или неизвестный науке разумный вид. Но почему-то при описании внешности людей возникают проблемы. Если нет какой-нибудь характерной черты (веснушки, шрам, слишком большой нос, слишком пухлые губы и так далее) мне попросту не за что зацепиться, чтобы составить словесный портрет. Притом у себя  в голове я могу представлять персонажа достаточно детально и даже нарисовать его смогу при желании.
И не пойму никак, стоит ли с этим заморачиваться - давать детали внешности по мере приближения к персонажу, через других персонажей, что может  привести к злополучным усам в середине книги, давать описание внешности каждой новой фигуры (понятное дело, это относится к ключевым фигурам), рискуя перегрузить текст, или забить на это и довольствоваться привычным принципом "чёрная толстовка, цветное гнездо на голове", а всякие мелкие детали оставлять на откуп читателям, в конце концов, всё равно каждый представляет героя по-своему, даже есть иллюстрации.
Интересно узнать, кто как поступает в подобном случае ^_^