Почему нейронки плохо рисуют руки?
Автор: Сергей СаенкоМеня давно интересует вопрос, почему нейронки не могут справится с руками и пальцами. Сложные красивые лица, но руки и пальцы как на первой плейстешн из нашего детства)
Исходник - "https://pikabu.ru/story/pochemu_neyroseti_plokho_risuyut_ruki_obyasnyayut_sozdateli_stable_diffusion_9933523"
На фото в датасетах руки встречаются не так уж часто.
Нейросети-генераторы неплохо научились рисовать лица, одежду, тела и пейзажи, но если в кадр попадает рука, то работу ИИ почти наверняка удастся отличить от работы художника — руки у нейросетей получаются очень плохо. В BuzzFeed попытались выяснить, в чем тут дело.
Разработчики Midjourney и DALL-E 2 не стали общаться с журналистами, зато поговорить о руках согласились в компании Stability AI, занимающейся разработкой нейросети Stable Diffusion. Оказалось, дело в том, что нейросеть просто не очень хорошо знакома с руками.
Для обучения ИИ используются огромные датасеты, состоящие из десятков миллионов изображений. Чем больше в этих датасетах четко показанных частей человеческого тела, тем лучше ИИ будет рисовать эти части. Проблема в том, что руки не очень-то часто появляются на фотографиях или рисуются художниками.
.....
tability AI (создатели Stable Diffusion)
Похожее объяснение дает Амелия Вингер-Берскин, ассоциированный профессор Университета Флориды, занимающаяся искусственным интеллектом и искусством. По словам Вингер-Берскин, ИИ не особо представляет, что такое рука.
[ИИ] ориентируется на то, как руки выглядят [на изображениях из датасета], но там есть множество нюансов. Обычно руки что-нибудь держат, иногда — держатся за кого-нибудь.
На изображениях руки редко бывают такими [профессор показывает растопыренную пятерню — прим. ред.]. Если бы они были такими на всех изображениях, то ИИ идеально бы их воспроизводил.
Амелия Вингер-Берскин (ассоциированный профессор Университета Флориды.)