Почему нейронки плохо рисуют руки?

Автор: Сергей Саенко

Меня давно интересует вопрос, почему нейронки не могут справится с руками и пальцами. Сложные красивые лица, но руки и пальцы как на первой плейстешн из нашего детства) 

Исходник - "https://pikabu.ru/story/pochemu_neyroseti_plokho_risuyut_ruki_obyasnyayut_sozdateli_stable_diffusion_9933523"

На фото в датасетах руки встречаются не так уж часто.

Нейросети-генераторы неплохо научились рисовать лица, одежду, тела и пейзажи, но если в кадр попадает рука, то работу ИИ почти наверняка удастся отличить от работы художника — руки у нейросетей получаются очень плохо. В BuzzFeed попытались выяснить, в чем тут дело.

Разработчики Midjourney и DALL-E 2 не стали общаться с журналистами, зато поговорить о руках согласились в компании Stability AI, занимающейся разработкой нейросети Stable Diffusion. Оказалось, дело в том, что нейросеть просто не очень хорошо знакома с руками.

Для обучения ИИ используются огромные датасеты, состоящие из десятков миллионов изображений. Чем больше в этих датасетах четко показанных частей человеческого тела, тем лучше ИИ будет рисовать эти части. Проблема в том, что руки не очень-то часто появляются на фотографиях или рисуются художниками.

.....

tability AI (создатели Stable Diffusion)


Похожее объяснение дает Амелия Вингер-Берскин, ассоциированный профессор Университета Флориды, занимающаяся искусственным интеллектом и искусством. По словам Вингер-Берскин, ИИ не особо представляет, что такое рука.

[ИИ] ориентируется на то, как руки выглядят [на изображениях из датасета], но там есть множество нюансов. Обычно руки что-нибудь держат, иногда — держатся за кого-нибудь.

На изображениях руки редко бывают такими [профессор показывает растопыренную пятерню — прим. ред.]. Если бы они были такими на всех изображениях, то ИИ идеально бы их воспроизводил.

Амелия Вингер-Берскин (ассоциированный профессор Университета Флориды.)

+92
1 386

0 комментариев, по

97 7 708
Наверх Вниз