Видео доклад с конференции Highload 2007.

Название: Тюнинг операционных систем
Год: 2007
Докладчик: Дмитрий Лоханский
Компания: Z-Support
Язык доклада: Русский
Описание:
* Обзор схемы и выявление узких мест в работе web-сервера, на примере Linux и FreеBSD;
* Память, системные кэши, пейджинг и свопинг;
* Диски, балланс ввода-вывода, блокировки, длительные операции;
* Сетевые интерфейсы, очереди, буферы.

Подробнее »

Видео доклад с конференции Highload 2007.

Название: Использование nginx как сервера-сборщика
Год: 2007
Докладчик: Андрей Баранов
Компания: mail.ru
Язык доклада: Русский
Описание: На многих современных сайтах, особенно борющихся за высокое звание портала, страница состоит из блоков взятых из разных частей проекта, с разных хостов, с других проектов, а так же различающихся временем жизни, способом кеширования и стратегией обновления. Яркий пример – mail.ru. В этих условиях обычный способ “страница целиком создаётся одним скриптом” работает плохо и требует множества подпорок.
Естественным решением видится создание сервера, умеющего собирать страницу из “кусочков”, поступающих из разных источников. Как назвать подобный сервер не совсем понятно, видимо ближе всего aplication server или integration server, мне нравится название “сервер-сборщик”.
К сожалению, open sourse реализаций мне неизвестно. Из пропиетарных в эту концепцию укладываются яндексовский XScript и мейлрушный BarterTown.
XScript нам недоступен (и не надо), в BarterTown на мой взгляд неудобно задаются источники. Стали искать альтернативу.
Первая стадия: nginx с модулем ngx_http_ssi_module
У модуля ngx_http_ssi_module есть возможность делать include с удалённого хоста. Отсутствие в nginx кеширования обошли использованием кешируещего прокси между фронтендом и бекендом, невозможность в ssi разобрать параметры запроса и куки – запросом к бекенду с возращением им ssi-ных команд.
Получился простой, лёгкий, бесплатный и open source сервер-сборщик. Работает замечательно, но есть серьёзное ограничение: ssi поддерживает только строковые переменные и не поддерживает циклов.
Вторая стадия: nginx с самописным модулем.
Написали модуль понимающий HTML::Template-подобный язык шаблонов и поддерживающий получение по HTTP сложно структурированных данных (в формате JSON). Теперь тривиально скажем получить с бекенда массив хешей статей и в цикле вывести их. Как бонус – шаблоны на бекенде становятся не нужны. Модуль пока в экспериментальной стадии, в будущем планируется добавить кеширование (как шаблонов, так и полученных данных) и поддержку других форматов (XML, CSV).

Подробнее »

Видео доклад с конференции Highload 2008.

Название: Amazon Web Services: инструменты обеспечения масштабируемости и отказоустойчивости
Год: 2008
Докладчик: Дмитрий Тупицын
Компания: nevesomo.com
Язык доклада: Русский
Описание: Цель доклада – ознакомить слушателей со службами Amazon (Amazon Web Services – ASW). Обозначить типичные проблемы разработчиков впервые использующих AWS и указать на пути их решения.
Компания Amazon дополняет «облака» службами, способными упростить задачу создания высокопроизводительных систем.
Служба Simple Storage Service (S3) представляет собой распределенное хранилище. В облаках Amazon нет механизма хранения состояния серверов, но S3 может использоваться в качестве такого механизма.
SimpleDB (SDB) способна хранить структурированные данные и выполнять запросы в реальном времени. SDB не обладает богатством возможностей реляционных баз данных и возникает проблема разделения данных между надежной SDB и обычной базой данных.
Служба Simple Queue Service (SQS) представляет отказоустойчивый механизм создания очередей сообщений. Основная проблема SQS — ограниченный объем данных, передаваемых в каждом сообщении.

Подробнее »

Видео доклад с конференции Highload 2008.

Название: Web, кэширование и memcached
Год: 2008
Докладчик: Андрей Смирнов
Компания: NetStream
Язык доклада: Русский
Описание: Цель доклада – рассказать о проблемах кэширования в распределенных высоконагруженных проектах и о возможных путях решения этой проблемы. Предполагаемый уровень подготовки аудитории – начинающий++.
Современный высоконагруженный проект может использовать десятки гигабайт распределенной памяти, используемой под кэш, организованной в виде кластера memcached-серверов. Зачем нужен memcached? Как работать с таким хранилищем, как распределить ключи по элементам кластера? Как назвать ключ, соответствующий кэшу? Как обеспечить атомарность операций, “блокировки”?
Как эффективно использовать такое хранилище? Как исключить возможность одновременного построения “тяжелых” кэшей разными мордами? Как сбросить одновременно группу кэшей? Как отлаживать (собирать статистику) о кэшировании? Как работает slab-аллокатор? Для чего еще может быть полезен memcached в веб-проекте?

Подробнее »

Видео доклад с конференции Highload 2008.

Название: Архитектурные приемы: онлайн-игры
Год: 2008
Докладчик: Павел Кудинов
Компания: Точка Кипения
Язык доклада: Русский
Описание:
* Отказываемся от SQL и memcached.
* Отказываемся от Apache + mod_perl / FastCGI.
* Комбинируем prefork и multiplex.
* Некоторые проблемы realtime проекта.
* KISS: Keep It Simple, Stupid.
* Перфекционизм – это патология

Подробнее »