проекция тела человека по параметрам

3 визуализатора тела по указанным параметрам для мужчин и женщин

Вы когда-нибудь задумывались о том, как будете выглядеть с добавлением пары килограммов мышц? Или если бы вы были более подтянутой или более толстой версией себя? У Bodywhat имеется визуализатор тела, названный Bodywhat Morphing. Вам обязательно следует его попробовать.

А потом посмотрите на себя со стороны и подумайте: хватит ли у вас мотивации, чтобы достичь таких результатов. С помощью приложения Model My Diet для iPhone, которое недавно получило обновление, можно визуализировать этот непростой путь к здоровому телу путём добавления всего одного фото. Они останутся приватными, а вы сможете сравнить, с чего начинали и как изменились.

Body Visualizer

Абсолютно бесплатный сервис Body Visualizer разработан Институтом вычислительных систем Макса Планка в Германии. Он был создан для того, чтобы каждый желающий мог оценить свою физическую форму. Большинство параметров анализатор вычисляет на основе статистических данных, достаточно лишь ввести два ключевых показателя: рост и вес. После этого показывается трёхмерная модель с указанными параметрами, причём конституция тела определяется довольно точно.

Передвигая в нижней части страницы ползунок Exercise, можно увидеть, как преобразится тело после регулярных тренировок в тренажёрном зале: чем больше часов нагрузки, тем более худым и мускулистым оно станет. Эти изменения тоже появятся на макете, расположенном в левой части экрана.

Сервис устроен очень просто, достаточно выставить свои параметры с помощью нескольких ползунков:

Inseam — шаговый шов брюк. Измерьте свой внутренний шов от промежности до пола. Ваша промежность — это самая верхняя внутренняя точка ноги. Exercise — интенсивность нагрузок, который измеряется в часах в неделю. По умолчанию стоит значение 2, его можно уменьшить или увеличить.

Важно! Когда будете снимать мерки, расслабьтесь: мышцы не должны быть напряжены. Замеряя талию, максимально выдохните. Измеряя объём бёдер, делайте это в самом широком их месте.

По умолчанию все величины приводятся в дюймах, но можно переключиться на более привычную метрическую систему (в сантиметрах), нажав кнопку Switch Units в нижней части экрана. Регуляторы имеют английские названия, есть возможность переключиться на немецкий язык. Хотя русский язык не поддерживается, можно перевести страницу с помощью встроенной функции в браузер Google Chrome. Для этого кликните правой кнопкой мыши и выберите в контекстном меню пункт «Перевести страницу».

Поскольку телосложение у мужчин и женщин разное, для них есть два отдельных модулятора. Переключение между ними происходит с помощью кнопки Switch to female (с мужчины на женщину и наоборот).

Обнуляется модулятор кнопкой RESET ALL MEASUREMENTS: она сбросит все ранее выставленные значения, и можно начинать процесс заново.

Modelmydiet.com

Узнайте, как может измениться ваш облик! Для этого введите свой рост, вес и выберите форму тела (груша, яблоко, песочные часы). Виртуальная модель появится на экране с указанными габаритами. Ее можно сделать более похожей на оригинал: придав нужный цвет или оттенок коже и волосам, сформировав причёску, форму носа, глаз и рта, вы получите мини-версию самих себя!

Для этого задействуйте кнопку More Options: 12 стилей причёсок с 6 разными оттенками цвета волос станут доступны после покупки лицензии. Эти волосы даже будут расти так же, как настоящие. Персонализируйте свою модель, экспериментируйте с разными опциями, чтобы она выглядела максимально похожей на вас.

У сервиса имеется собственное мобильное приложение, которое показывает ваши персональные тенденции в похудении. Функция графика позволяет прогнозировать, что вас ждёт с таким темпом в будущем и каких целей вы можете добиться в ближайшее время.

Bodywhat.com

Сервис Bodywhat помогает отслеживать состояние тела и достигать поставленных целей. Перед тем как начать, нужно сделать всего одно фото.

Bodywhat начинался как эксперимент в рамках технологии компьютерного зрения, целью которого было узнать, сколько информации о здоровье человека можно получить из одной фотографии. Это детище Чарльза Лэброя, 25-летнего учёного в области больших данных родом из Франции, и Максима Лонна, 23-летнего бизнесмена и фитнес-энтузиаста. Bodywhat собирает информацию, сортирует её и использует технологии, такие как компьютерное зрение и байесовская статистика.

Хотите узнать, как ваше тело выглядит по сравнению с телом чемпиона мира по бодибилдингу? Благодаря искусственному интеллекту Bodywhat может рассказать массу любопытных вещей о вас, сравнивая с тысячами других тел, например:

Сравнивайте себя с другими и отслеживайте свой прогресс. А захотите проверить свои параметры до и после изменений, Bodywhat сделает и это!

Источник

Основы дизайна персонажей, часть 2: пропорции тела человека

Продолжаем говорить о базе создания персонажей, на этот раз — о схемах рисования тела и особенностях телосложения. Первая часть серии здесь.

Статья — пересказ этих видео от художницы Sauer.

Одним из важнейших факторов в рисовании человеческой фигуры являются пропорции. Вы когда-нибудь видели, как дети рисуют людей? Зачастую рисунок выглядит «по-детски» не из-за отсутствия деталей или правильных теней, а из-за того, что ноги короче рук или кисти больше ступней.

Все тела разные, и ни одно тело не является идеальным. Не путайте правильные пропорции тела с идеальными. Даже если вы не самый великий в мире художник, пока пропорции в рисунке вашей фигуры точны, реализм и целостность сохранятся.

Мы постоянно видим тела, поэтому в глаза так бросается, когда пропорции не соблюдаются. Человеческое тело — одна из самых сложных форм на планете. Пропорции — это первое, чему нужно научиться при рисовании тел, потому что они учат вас быть анатомически правильными. Этого можно достичь, составив схему тела и определив, как суставы соотносятся друг с другом.

Фигура с правильными пропорциями, независимо от пола и прочего, определяется расположением суставов, которое неизменно. Если расположение суставов меняется, мы сразу замечаем подвох, фигура выглядит для нас странной. Это наша основа для пропорций.

Нарисуйте свою собственную схему. Она здорово поможет в изучении материала.

Начните с рисования овала в верхней части листа, заостренным концом вниз. Это будет голова. И отметьте вниз восемь отрезков того же размера, что и голова, последний из которых будет землей. Пронумеруйте их от одного до восьми.

В эпоху Возрождения был установлен «идеальный» рост для мужчины в восемь голов. Совершенно очевидно, что немногие люди на самом деле имеют такой рост. Даже северные европейцы, послужившие основой для этой модели. Они были ближе к семи головам в высоту, но это по-прежнему лучшая модель для начала, так как по ней легче понять соотношения.

Следом добавьте тазовую кость — самую важную часть тела. Это наш центр тяжести и устойчивости.

Упрощенно изобразите ее как плоский круг между отметками три и четыре, тазобедренные суставы будут на четвертой отметке — это маленькие круги, которые вы видите по бокам. Ширина таза составляет примерно от полутора до двух голов. Теперь можете нарисовать позвоночник, соединяющий голову с тазом.

Предположим, наша фигура стоит, ступни вертикально на уровне тазобедренных суставов:

Коленные суставы находятся на шестой отметке, эта линия проходит прямиком под коленные чашечками. Когда нога выпрямлена, коленный сустав располагается на прямой линии с бедром и лодыжкой, как показано на левой фигуре на картинке. Но эта прямая условна. Чтобы завершить ногу, соедините тазобедренный сустав с внутренней стороной коленной чашечки, а затем внешнюю сторону колена с внутренней стороной лодыжки, как у фигуры справа.

Это очень упрощенное, но точное представление реальной костной структуры, и это помогает нарисовать человеческую ногу естественной. Она будет расширяться от бедра и сужаться к колену, затем снова расширяться. Это также поможет разместить мышцы на более позднем этапе вашего рисунка.

Грудная клетка и легкие — третья по важности форма тела после головы и таза:

В упрощенном виде это овал, который начинается ровно между единицей и двойкой и заканчивается на третьей отметке. Но лучше всего отрезать нижнюю часть овала, как показано на изображении выше, чтобы имитировать настоящую грудную клетку.

Пустая часть между грудной клеткой и тазом очень важна. Она мягкая и может быть разной: толстый живот, мягкий или плоский живот. И это также место, где позвоночник наиболее подвижен. Следует помнить об этом и не соединять туловище с тазом вместе, как два больших блока, так как это лишит вашу фигуру пластичности. Ширина овала для грудной клетки пока примерно такая же, как у таза.

Еще пара деталей. Соски расположены на отметке «два». Чтобы определить, на каком расстоянии располагать их друг от друга, проведите две параллельные линии от боков головы вниз, немного заходя внутрь контура головы. А пупок попадает на третью отметку. Обратите внимание на синие точки справа на изображении.

Линия плеч находится примерно посередине между первой и второй отметкой, а ширина плеч составляет две-три ширины головы:

Но их визуальное положение может сильно различаться. Начнем с того, что линия плеч немного изогнута вниз, но при напряжении плеч изгиб может подниматься вверх и казаться выше. Кроме того, трапециевидная мышца, которая в анфас визуально соединяет плечо с шеей, очень разнится от человека к человеку.

Если фигура очень мускулистая или на ней много жира, линия плеч может казаться настолько высокой, что не будет видно шеи. И наоборот, недоразвитая трапециевидная мышца, часто наблюдаемая у очень молодых женщин, создает впечатление длинной шеи. Важно, чтобы не было путаницы между фактическим положением плечевой линии и ее видимым положением на изображенном теле.

Запястья находятся на четвертой отметке чуть ниже тазобедренных суставов. Пальцы заканчиваются примерно на середине бедра, что соответствует пятой отметке.

Локтевые суставы немного сложные, но это мы подробно рассмотрим позже. Пока отметим их как вытянутые овалы, расположенные на третьей отметке.

Снова начните с рисования головы — та же форма яйца, но с зауженным концом, направленным по диагонали вниз. И опустите вертикальную линию от макушки до земли.

Когда фигура стоит прямо, вы можете изобразить тазовую кость практически как голову: форма будет такая же, но более узкая. Плечо и колено примерно на этой же вертикальной линии. Они на том же уровне, что и раньше.

Сбоку позвоночник имеет форму сплюснутой буквы S:

От основания черепа линия проходит вниз и назад, пока не достигнет самой дальней точки на уровне плеч. Учтите, что плечевые суставы выступают вперед позвоночника. Это потому, что линия плеч на самом деле является дугой, как показано на картинке при виде сверху (в голубом круге).

Затем позвоночник снова выступает вперед и выпирает немного выше таза. Это происходит на уровне поясницы, и глубина изгиба может различаться, из-за чего может выглядеть так, будто у персонажа изогнутая спина. Наконец, он снова меняет направление и заканчивается на копчике.

Грудная клетка плотно прилегает к позвоночнику, и в достаточно подтянутом теле, стоящем прямо, грудь естественным образом выдвигается вперед.

Тазобедренный сустав немного уходит вперед от нашей вертикальной оси, и это уравновешивается тем, что лодыжка находится немного позади нее. Поэтому линия, идущая от бедра к колену, а затем к лодыжке наклонена назад и имеет чередующиеся направления изгибов: от тазобедренного сустава к передней части коленного сустава, от задней части коленного сустава до голеностопного сустава.

Общий эффект этой позы — визуальная дуга от головы до груди (показана зеленым цветом справа на изображении). Когда эта дуга распрямляется или разворачивается в обратную сторону, мы ощущаем неуверенность или сутулость в позе.

Верхняя часть руки опускается довольно прямо от плеча, так что локоть может быть на одной линии с ним или слегка отклоняться назад.

Рука никогда полностью не выпрямляется в состоянии покоя, поэтому предплечье не будет располагаться вертикально. Рука чуть согнута, запястье опускается вперед прямо над бедренной костью. Когда рука расслаблена, пальцы немного согнуты, как показано здесь.

На этом с основными человеческими пропорциями мы разобрались. А эта схема поможет объединить все, о чем говорилось ранее:

Мужские и женские пропорции настолько сильно отличаются друг от друга, что даже по скелету или отдельным его частям можно опознать пол. Однако имейте в виду, что по вертикальной оси значительной разницы нет. Пол не влияет на положение суставов, они не сдвинутся вверх или вниз. Но пол играет немалую роль в ширине определенных частей тела, создавая вариации фигуры.

Как можно сделать основную фигуру более феминной или маскулинной?

На структурном уровне есть только одна большая деталь, которую нужно освоить, а все остальное — лишь полезные мелочи.

Основное различие между мужскими и женскими пропорциями заключается в соотношении ширины плеч и бедер:

У женщин тазовая кость намного шире, чем у мужчин, поскольку они должны быть способны выносить и родить ребенка. Это ключевая деталь, влияющая на строение всего остального тела.

У женщин бедра являются самой широкой частью тела, а узкая талия контрастирует с ними, тогда как у мужчин самая широкая часть тела — это плечи, а талия почти не отличается от бедер. Таким образом, общий женский силуэт представляет собой песочные часы, а мужской имеет более трапециевидную форму.

У женщин талия находится на уровне пупка, а у мужчин — немного ниже. Это делает туловище мужчины визуально длиннее.

Важно помнить, что локти у мужчин не должны быть расположены на одной линии с их более низкой талией. Ориентиром для локтевого сустава остается пупок. В отличие от женской фигуры, если талия мужчины визуально там, где начинаются брюки, локти будут находиться выше.

Полезно делать зарисовки женщин с более округлыми формами и мужчин с более угловатыми формами, поскольку это отражает общее впечатление от каждого типа телосложения.

Женское тело состоит из мягких округлых форм. Если оно не натренировано, не спортивное, то накапливает больше жира под кожей. Мужские тела более угловаты. Если они мускулистые, то имеют более резкие линии. Разумеется, это не всегда так: можно использовать угловые формы, например, для худощавой женщины и мягкие для полного мужчины.

Тем не менее, обратите внимание, что у достаточно стройного женского тела живот слегка изогнут, а ягодицы округлены, а у мужчин живот и ягодицы, как правило, более плоские.

Маленькая, но важная деталь — тазобедренные суставы:

Рисуйте тазобедренные суставы женщины за пределами тазовой кости. Они немного более заметно выступают на теле, и это помогает уловить эту особенность женского пола. И наоборот, тазобедренные суставы мужчины изображайте внутри тазовой кости.

У обоих полов ладонь и подошва стопы примерно в два раза уже ширины лица. Но у мужчин они длиннее по отношению к лицу, чем у женщин. Женский позвоночник чаще более гибкий и заметно более изогнутый, чем мужской, и, наконец, в среднем мужчины обычно выше женщин.

Насколько все это важно, зачем нам нужна эта информация? Посмотрим наглядно: на изображении ниже показано, что происходит, когда мужчина рисуется с женскими пропорциями, и наоборот:

Даже с добавлением гендерных стереотипов в отношении волос и тому подобного, из-за соотношения плеч и бедер тела выглядят совсем не так, как обычно. Поэтому очень важно помнить о пропорциях при создании персонажа.

Взгляните на эти четыре фигуры:

Пропорции первых двух фигур здесь соответствуют их размеру. Третья фигура демонстрирует, что вы получите, если нарисуете ребенка с пропорциями взрослого. Это работает, если вы рисуете фею или Человека-муравья, но это определенно не похоже на ребенка.

Это работает и в обратную сторону. Четвертый рисунок показывает взрослого мужчину, нарисованного с детскими пропорциями, и взрослый с такой формой выглядит странно, он больше похож на гигантского ребенка.

Давайте применим некоторые из этих теорий на практике. Во-первых, нужно быть наблюдательными, смотреть на людей вокруг нас. Обращайте внимание на то, что в их строении отличает их друг от друга. Приглядитесь к детям и людям разных национальностей, чтобы увидеть, насколько они различаются по своему строению.

Во-вторых, можно откопать несколько ваших детских фотографий на разных этапах и сделать наброски основной фигуры. Посмотрите, как изменились ваши пропорции со временем.

Наконец, нарисуйте толпу людей с разными пропорциями, не пользуясь референсами. Если кто-нибудь из нарисованных вами людей выглядит непропорционально, то постарайтесь определить, что не так с фигурой. Эти упражнения помогут вам отработать пропорции и наметать глаз.

Перевод сделан Лилией Васильевой, автором в Smirnov School. Мы готовим концепт-художников, левел-артистов и 3D-моделеров для игр и анимации. Если придёте к нам на курс, не забудьте спросить о скидке для читателей с DTF.

Источник

Детектирование частей тела с помощью глубоких нейронных сетей

Сегодня я расскажу вам про один из методов решения задачи pose estimation. Задача состоит в детектировании частей тела на фотографиях, а метод называется DeepPose. Этот алгоритм был предложен ребятами из гугла еще в 2014 году. Казалось бы, не так давно, но не для области глубокого обучения. С тех пор появилось много новых и более продвинутых решений, но для полного понимания необходимо знакомство с истоками.

Обзор задачи

Давайте сначала вкратце про постановку задачи. У вас есть фотографии, на которых присутствует человек (один или несколько), и хочется на этих фото разметить части тела. То есть сказать, где находятся руки, ноги, голова и так далее.

Где бы такая разметка могла пригодиться? Первое же, что приходит на ум, это видеоигры. Можно играть в свою любимую RPG, размахивая виртуальным мечом, а не кликая мышкой. Для этого достаточно уметь лишь распознавать движения ваших рук.

Конечно, есть и куда более практичные применения. Например, отслеживание того, как покупатели в магазине кладут товары себе в корзину, а иногда ставят обратно на полочку. Тогда можно автоматически отслеживать, что купил посетитель, и необходимость в кассах исчезнет. Amazon уже реализовал эту идею в своих магазинах AmazonGo.

Думаю, приведенные примеры использования уже достаточно интересны, чтобы взяться за решение задачи. Однако, если у вас есть оригинальные идеи того, где еще можно применить рассмотренные концепты, смело пишите их в комментариях.

Обзор классики

Как решать эту задачу без нейронных сетей? Можно представить скелет человека в виде графа, где вершинами будут суставы, а ребрами — кости. А дальше придумать какую-нибудь математическую модель, которая будет описывать вероятность появления того или иного сустава в конкретном месте изображения, а также будет учитывать, насколько реалистично эти суставы расположены по отношению друг к другу. Например, чтобы ваша левая пятка не находилась на вашем же правом плече. Хотя, не исключаю того, что есть способные на это люди.

Один из вариантов такой мат. модели реализован во фреймворке pictorial structures model еще в 1973 году.

Но можно подойти к решению задачи и менее хитрым способом. Когда нам дают новую картинку, давайте просто искать в нашем исходном наборе размеченных картинок похожую и выдавать ее разметку. Если у нас изначально будет не очень много различных поз людей, то этот метод вряд ли взлетит, но, согласитесь, реализовать его не представляет труда. Для поиска похожих картинок тут обычно используют классические методы извлечения фич из области обработки изображений: HOG, дескриптор Фурье, SIFT и другие.

Есть и другие классические подходы, но здесь я не буду на них останавливаться и перейду к основной части поста.

Новый подход

Общая идея

Как вы уже могли догадаться, авторы статьи DeepPose (Alexander Toshev, Christian Szegedy) предложили своё решение с использованием глубоких нейронных сетей. Они решили рассмотреть эту задачу как задачу регрессии. То есть, для каждого сустава на фотографии нужно определить его координаты.

Предобработка данных

Далее я продолжу описание модели на более формальном языке. Но для этого необходимо ввести некоторые обозначения. Для удобства буду придерживаться нотаций авторов.

Обозначим входное изображение как , а вектор позы как , где содержит координаты -го сустава. То есть мы сейчас представляем скелет человека графом из вершин. Тогда размеченное изображение будет обозначаться как , где — наш тренировочный датасет.

Обозначим bounding box с центром в точке , шириной и высотой тройкой чисел .
Тогда нормализованный вектор позы относительно области можно записать так

То есть мы вычли из всех координат центр нужной области, а затем поделили -координату на ширину прямоугольника, а -координату на высоту. Теперь все координаты стали лежать в интервале от до включительно.

Наконец, за обозначим обрезание исходной картинки ограничивающей областью . Тривиальный бокс, который равен исходной картинке, обозначим за .

Если мы теперь возьмем функцию ( — входное изображение, — параметры модели, — количество определяемых суставов), которая по выдает нормализованный вектор позы, то вектор позы в исходных координатах .

В качестве функции у нас выступает нейронная сеть, веса которой описываются . То есть мы подаем на вход трехканальное изображение фиксированного размера, а получаем на выходе пар координат суставов:

Казалось бы, уже на данном этапе мы можем взять какую-нибудь глубокую нейронную сеть (например, AlexNet, которая отлично себя показала на задаче классификации изображений, выиграв соревнование ImageNet в 2012 году), и обучить ее регрессии. Найдем такие параметры модели, чтобы минимизировать сумму квадратов отклонений предсказанных координат от истинных. То есть идеальные параметры . Таким образом, мы пытаемся восстановить исходные координаты суставов независимо друг от друга.

Каскад сетей

Однако, поскольку на вход нейронная сеть принимает картинку фиксированного размера (а именно, пикселей), часть информации теряется, если картинка изначально была в лучшем разрешении. Поэтому у модели нет возможности проанализировать все мелкие детали изображения. Модель “видит” всё в крупном масштабе и может попытаться восстановить позу лишь приблизительно.

Можно было бы просто увеличить размер входа, однако вместе с этим пришлось бы увеличить и без того немаленькое число параметров внутри сетки. Напомню, что классическая архитектура AlexNet содержит более 60 миллионов параметров! Версия модели, описанная в этой статье, — более 40 миллионов.

Компромиссом в желании подавать на вход картинку в хорошем разрешении и в необходимости сохранить адекватное число параметров стало использование каскада нейронных сетей. Что это значит? Сначала по исходной картинке, сжатой до пикселей, предсказываются приблизительные координаты суставов, а каждая последующая нейронная сеть уточняет эти координаты уже по новой картинке. Эта новая картинка — не что иное, как некоторая нужная часть предыдущей (та самая ограничивающая область вокруг предсказаний с предыдущего этапа), тоже приведенная к размеру .

Благодаря такому способу, последовательность моделей с каждым шагом наблюдает картинки все более высокого разрешения, что позволяет модели сосредоточиться на мелких деталях и поднять качество предсказаний.

Авторы используют одну и ту же архитектуру сети на каждом этапе (всего этапов ), однако обучают их отдельно. Давайте обозначим параметры сети на этапе за , а саму модель, предсказывающую координаты суставов, за .

На начальном этапе () мы используем ограничивающую область (исходную картинку полностью) для предсказания приблизительных координат суставов:

Далее, на каждой новой итерации () и для каждого сустава мы уточняем его координаты с помощью модели :

Генерация данных

И уже теперь мы могли бы приступить к обучению такой модели, если бы не одно но. Обучение сложной нейронной сети, а тем более каскада сетей, требует большого количества сэмплов (размеченных изображений, в нашем случае). Например, AlexNet обучали на ImageNet-е, который состоит из 15 миллионов размеченных картинок размером . Но даже такой датасет Алекс и его команда увеличивали более чем в 2048 раз, путем выбора случайных подызображений меньшего размера и их зеркальных отображений.

Чтобы в рассматриваемой задаче небольшой размер датасета не стал серьезной проблемой, важно было придумать хороший способ аугментирования данных, который бы подошел для каскада сетей.

Однако и тут авторы нашли довольно изящное решение. Вместо того, чтобы использовать предсказания координат суставов только с предыдущего этапа, они предложили генерировать эти координаты самостоятельно. Это можно сделать, сместив координаты -го сустава на вектор, сгенерированный из двумерного нормального распределения со средним и дисперсией, равными среднему значению и дисперсии наблюдаемых отклонений от по всем примерам из тренировочной выборки.

Таким образом, мы моделируем работу предыдущих слоев на якобы новых картинках. Классная особенность этого метода заключается в том, что мы не ограничены сверху каким-то фиксированным количеством изображений, которые мы можем сгенерировать. Однако же, если их будет очень много, то они будут сильно похожи друг на друга, а следовательно, это перестанет приносить пользу.

Датасеты

Для задачи pose estimation существуют два известных открытых датасета, которые исследователи часто используют в своих научных работах:

Frames Labeled In Cinema (FLIC)

Название этого датасета говорит само за себя. Он представляет собой 5000 аннотированных кадров из различных фильмов. Для каждой картинки нужно предсказать координаты 10 суставов.

Leeds Sports Pose Dataset (LSP)

Этот датасет состоит из фотографий людей, занимающихся спортом. Однако, не по всем фотографиям у вас сложится о нем правильное представление:

Но это скорее исключения, а типичные примеры с разметкой выглядят так:

Этот датасет содержит уже 12000 изображений. От FLIC он отличается тем, что здесь нужно предсказывать координаты 14 точек вместо 10.

Метрики

Последнее, с чем нам осталось разобраться, это понять, как оценивать качество полученной разметки. Авторы статьи в своей работе использовали сразу две метрики.

Percentage of Correct Parts (PCP)

Это процент корректно распознанных частей тела. Под частью тела подразумевается пара суставов, которые соединены между собой. Мы считаем, что корректно распознали часть тела, если расстояние между предсказанными и реальными координатами двух суставов не превышает половину ее длины. Как следствие, при одной и той же ошибке результат детекции будет зависеть от расстояния между суставами. Но, несмотря на этот недостаток, метрика является довольно популярной.

Percent of Detected Joints (PDJ)

Для компенсации минусов первой метрики, авторы приняли решение использовать еще одну. Вместо того, чтобы считать количество правильно распознанных частей тела, было решено смотреть на количество корректно предсказанных суставов. Это избавляет нас от зависимости от размеров частей тела. Сустав считается корректно распознанным, если расстояние между предсказанными и реальными координатами не превышает значения, зависящего от размера тела на картинке.

Эксперимент

Напомню, что вышеописанная модель состоит из этапов. Однако, мы пока так и не уточнили, как выбирается эта константа. Чтобы подобрать хорошие значения для этого и других гиперпараметров, в статье было взято 50 картинок из обоих датасетов в качестве валидационной выборки. Так авторы остановились на трех этапах (). То есть по начальному изображению мы получаем первое приближение позы, а затем дважды делаем уточнение координат.

Начиная со второго этапа, было сгенерировано по 40 изображений для каждого сустава из реального примера. Например, таким образом для LCP датасета (где предсказываем 14 различных суставов), с учетом зеркальных отображений, получается миллионов примеров! Еще стоит отметить, что для FLIC в качестве исходного bounding box использовались ограничительные прямоугольники, полученные детектирующим человека алгоритмом. Это позволяло заранее отсекать ненужные части изображения.

Первая нейросеть в каскаде обучалась приблизительно на 100 машинах в течение 3 дней. Однако утверждается, что точность, достаточно близкая к максимальной, была достигнута уже за первые 12 часов. Каждая из моделей на следующих этапах обучалась уже по 7 дней, поскольку работала с датасетом, который в 40 раз превосходил по размеру оригинальный.

Результаты

Далее на графиках можно увидеть точность распознавания кистей и локтей на разных этапах модели. По оси — значение трешхолда в метрике PDJ (если разность предсказанных и настоящих координат меньше трешхолда, считаем, что сустав определен верно). Из графиков видно, что дополнительные этапы дают существенное улучшение точности.

Интересно также посмотреть, как уточняет координаты каждая последующая нейронная сеть. На изображениях ниже зеленым цветом нарисована истинная поза, а красным — поза, предсказанная моделью.

Еще приведу сравнения результатов данной модели с другими пятью state-of-the-art алгоритмами того времени.

Выводы

На мой взгляд, из интересного в этой работе можно выделить способ построения модели, где путем последовательного соединения нескольких нейронных сетей одинаковой архитектуры получилось неплохо увеличить точность. А также метод генерации дополнительных примеров с целью расширения тренировочного датасета. Считаю, что задумываться над вторым стоит всегда, когда вы работаете с ограниченным набором данных. И чем больше способов аугментации вы знаете, тем проще придете к нужному именно вам.

Источник