24 Jul

почему рекомендации Youtube такие странные

Хорошая рекомендация видео на Youtube – это, скорее, исключение, чем правило. Часто люди искренне недоумевают, глядя на то, что им предлагается посмотреть. Явно бросающиеся в глаза недочеты пользователи многократно обсуждали на Reddit и других ресурсах – например, 1, 2, 3, а на тему содержимого секции Trending video на Youtube существует множество издевательских мемов. Раздражение от навязчиво появляющихся видео, которые пользователям не интересны, вылилось в улучшения, анонсированные Google 26 июня 2019, но в целом доверие алгоритмам удивляет. 

Проблемы рекомендаций

Пользователи Youtube жалуются на следующие вещи:

  • постоянный повтор уже просмотренного, генерация плейлистов из того, что уже многократно рекомендовалось, т.е. вечный “день сурка”;
  • cлабое влияние подписок;
  • показ популярных, но неинтересных пользователю видео;
  • показ национального топа по факту используемого языка, даже если выбрана другая локация;
  • обратная связь в духе “Больше не показывать” или “Мне неинтересно” почти не оказывает влияния на рекомендации;
  • периодически появляющийся “желтый” контент;
  • необходимость чистить историю, чтобы видео про падающего гопника от коллеги не спровоцировало мусорные рекомендации.

В основе всех этих жалоб лежит уверенность, что алгоритмы рекомендаций должны открывать пользователю что-то интересное и быть на его стороне. К сожалению, это ошибка.

В задачу систем рекомендации не входит постоянное удовольствие пользователя, ее основная цель – продлить сессию и количество просмотренных видео любой ценой, а также выработать привычку использовать сервис. Учитывая, что многие заходят на Youtube, чтобы занять время, подходят любые объекты, привлекающие внимание – неважно, негативное или позитивное. То есть пользователь, недовольно перебирающий “плохие” рекомендации и просматривающий рекламу, Youtube подходит отлично. 

“Сама идея использовать искусственный интеллект на Youtube, чтобы рекомендовать подходящие вам видео, не так уж плоха, ведь если настроить AI, вы можете получить, что хотите. Это было бы здорово. Но проблема в том, что AI настроен не для того, чтобы помогать вам найти то, что вы хотите, – его задача подсадить вас на Youtube. Рекомендации были созданы, чтобы вы просаживали свое время” (отсюда)

Как работает система рекомендаций 

Подбор подходящих видео –  весьма сложная задача как из-за масштабов (на Youtube сотни миллионов или более видео, а человек может посмотреть несколько десятков), так и из-за невозможности численно учесть мотивы пользователя. Скажем, один человек смотрит клип потому, что там горячие женщины, а другой – потому, что там звучит флейта. Алгоритм не может этого знать, он полагается на контекст контента, описанный набором параметров, и на предыдущее поведение пользователя. 

Верхнеуровневое описание работы алгоритма рекомендаций Youtube от 2016 года доступно в статье Google “Deep neural networks for Youtube recommendations”  Если упрощать, то алгоритмы предсказывают будущее (что вам может понравиться) на базе данных о том, что вы смотрели раньше (история) и что смотрели условно “похожие” на вас люди (обогащение). Учитывается ряд описательных и жанровых характеристик видео, делается обрезка выборки на основе пола, страны, а заодно добавляется популярный контент, промоутируемый контент и длинные подборки на тему, чтобы увеличить общую длительность пребывания на Youtube. Анализируется и поведение при просмотре видео (когда пользователь бросил, посмотрел ли он видео до конца и т.д).

Если человек не ведет себя предсказуемо и однообразно на протяжение длительного времени, результат рекомендаций будет для него бесполезен. Для ряда профессий – например, для журналистов, ищущих материал на разные, часто противоречащие друг другу темы, рекомендации также не помогут. Влияет на точность рекомендаций и общее количество просмотренного – чем больше вы смотрите, тем лучше ваше поведение “понятно” нейросетям. 

Но это в ситуации, если алгоритм настроен, чтобы максимально угождать пользователю, т.е. в идеальном случае. Для компаний наше благополучие далеко не самый важный приоритет. 

Неприятные сюрпризы

Pew Research Center публиковал выводы своего эксперимента, в котором выделил следующие тенденции в работе рекомендационной системы Youtube:

Сильная тенденция рекомендовать не максимально релевантные, а популярные видео

Лишь 5% рекомендованных видео в опыте Pew Research Center имели менее 50 000 просмотров. То есть, если вы надеетесь обнаружить скрытую и малопопулярную жемчужину на основании ваших вкусов, то нет. Система сдвигается к более популярному контенту независимо от того, с чего вы начали, поэтому если вы ткнули на малоизвестную, нишевую поп-звезду, вскоре вам предложат видео с Арианой Гранде и Майли Сайрус.

Хороший, подходящий контент для алгоритма – популярный контент. Из-за этого пользователям часто предлагаются достаточно радикальные вирусные видео, хотя они напрямую не интересовались ничем подобным или имели несчастье несколько раз ткнуть на находящийся в тренде ролик.

 Рекомендации видео сходных по поведению пользователей

В описании системы указано, что рекомендации обогащаются с помощью того, что смотрят пользователи со сходным поведением. Это классическая схема для систем рекомендаций. Говоря проще, алгоритм считает, что если вам понравилась песня А группы Х, то вам понравится и песня Б группы Х, также алгоритм ищет юзера, который имеет похожую историю просмотров – и кидает что-то из его любимых видео. В теории это звучит логично, но в реальности люди значительно более разнообразны. Если пользователь не замкнут внутри нескольких жанров или тем, результат ведет к разочарованиям и нерелевантным рекомендациям. 

Алгоритм может оценивать предыдущее поведение пользователя и контекст его видео, но не его настроения, чаяния или мотивы. Эту информацию банально невозможно передать, т.к. она избыточна и численно не описывается, лежит вне данных систем. Одному пользователю нравится клип Х потому, что там ругают феминизм, а другому – потому что это подходит для его диссертации, но видеть что-то подобное в ленте постоянно он не жаждет. Совместный обмен видео из их плейлистов никого не обрадует.

  1. Не учитывается или с недостаточным весом учитывается фидбек

Youtube давно давал возможность исключать видео из рекомендаций, но пользователи довольно быстро покрыли этот механизм проклятьями, потому что эти действия слабо влияли на выдачу. Многократно вручную удалять видео ради дрессировки системы неудобно. В итоге кнопка “Не интересует” стала заменой “Спасибо, ваше мнение очень важно для нас” (нет), но на рекомендации влияла несильно. 

Субъективные ощущения пользователей подтверждаются описанием алгоритма. Обработка фидбека трудозатратна и не всегда эффективна, поэтому хотя пользователям дана такая возможность, разработчики искали способ избежать его анализа и заменить его внутренним механизмом, оценивающим реакцию пользователя не по тому, что он явно сообщает системе (“не хочу видеть этот мусор”), а по тому, что он делает. Общая идея описана в работе “Implicit Feedback for Recommender Systems”.  Если Youtube сумел соблазнить вас просмотром нежеланного видео, ваше действие (вы посмотрели) имеет больший вес, чем выраженное нежелание это смотреть на словах.

  1. Система считает, что вам нравится смотреть одно и то же много раз

В приведенном Pew Research Center исследовании 28% видео рекомендовались снова и снова.  Если вы думаете, что у вас все плохо, посмотрите в данные эксперимента – некоторые видео рекомендовались от 11 до 100 раз.  В рекомендациях часто появляется одно и то же. В случае с музыкой это может иметь смысл, ведь люди любят “заслушивать” песню до дыр, но когда речь идет о видео, которые появляются снова и снова, возникают вопросы.

Разгадка может таиться в большом количестве детской аудитории. В исследовании сказано, что в Америке 80% процентов родителей оставляют детей наедине с Youtube, чтобы те развлекали себя сами, и их поведение не может не повлиять на действие алгоритма. 

  1. Каждое последующее рекомендованное видео длиннее предыдущего

Задача рекомендаций – удержать пользователя на Youtube. Pew Research Center обратили внимание, что система имеет тенденцию рекомендовать все более и более длинные видео в каждом новом круге рекомендаций. Это легко заметить на примере музыки – сначала система рекомендует треки, затем идут подборки и альбомы по часу и более. В исследовании каждое последующее видео было в среднем длиннее на 4 минуты. 

Системы рекомендаций – следствие компромисса между желанием собирать информацию о пользователях и продавать им вещи и идеи, показывая рекламу или промо-видео и необходимостью создавать иллюзию клиентоориентированности. То есть рекомендации – это не лучший сервис из возможных, это минимально приемлемый продукт для того, чтобы увеличивать привязанность пользователя к Youtube.

Leave a Reply