Видео доклад с конференции Highload 2008.

Название: Хранение и обработка больших массивов данных в рекомендательном движке сайта Имхонет
Год: 2008
Докладчик: Дмитрий Исайкин
Компания: Imhonet
Язык доклада: Русский
Описание: екомендательный движок — аналитическая система, пытающаяся предсказать, какие произведения и в какой степени будут интересны пользователю. Рекомендательные системы являются удобной альтернативой поисковым алгоритмам, позволяя обнаружить объекты, которые не могут быть найдены последними. Необходимость таких систем с ростом количества товаров и услуг неуклонно растет — встает проблема выбора наиболее подходящего объекта в огромном множестве похожих предложений.
Для построения качественных рекомендаций необходимо учитывать всю предысторию пользовательского потребления товаров и услуг, которая выражается в виде оценок на уже знакомые пользователю объекты. Чем больше в системе пользовательских оценок, тем более точно можно построить прогноз. Поэтому перед рекомендательными системами встает проблема хранения и обработки больших объемов данных.
В докладе рассказывается об организации хранения пользовательских оценок, используемой в рекомендательном движке Imhonet.
Предложенная реализация позволяет движку хранить десятки миллионов оценок в гигабайте оперативной памяти, обслуживать тысячи запросов данных в секунду, является практически безблокировочным контейнером, что позволяет почти линейно масштабировать нагрузку на хранилище данных за счет увеличения количества потоков исполнения, обрабатывающих данные.

Внимание! В целях экономии дискового пространства на данной странице представлена ссылка на видеофайл находящийся на внешнем источнике. Если Вы не можете просмотреть видео – скорее всего ссылка умерла. Но это не повод отчаиваться, у меня есть локально сохраненная копия данного видео. Если вы обнаружите, что ссылка умерла – оставьте комментарий к данной записи с описанием проблемы и я обязательно выложу сохраненную копию, если ссылка действительно мертвая.



Дополнительные записи: