Портал ТВ2 разработан командой Bitworks с использованием CMS Drupal и свободного П.О. (Linux, Apache, MySQL, PHP). Для управления видео используется ПО FFmpeg и специализированные службы на языке Perl. В процессе разработки мы создали более 200 набросков дизайна, более 30 схем расположения контента, с целью обеспечить удобство и привлекательность этого проекта.

Однако, бывают задачи, в рамках которых такая «дешевая» оптимизация не работает и все таки приходится заниматься оптимизацией кода. Об одной такой задаче и пойдет речь далее.

В прошлом месяце мы создавали систему родительского контроля для нашего интернет провайдера Zing. Принцип системы заключается в том, что HTTP анализируется на лету и фильтруется в зависимости от установленных настроек пользователя. Технически, система реализована с использованием БД MySQL, прокси-сервера SQUID 3, сервера C-ICAP и расширения к нему. В MySQL мы храним данные о пользовательских настройках системы, в том числе черные и белые списки доменов, URL и т.п. Выбранное хранилище обеспечивает высокоскоростные проверки и доступ к данным, а так же позволяет изменять и дополнять их с использованием традиционных моделей разработки web-приложений. Первоначально, мы рассматривали BerkeleyDB чтобы добиться максимальной производительности, но отсутствие удобных и простых средств для обновления базы заставило нас отказаться от использования этого решения, хотя с точки производительности BerkeleyDB идеально подходила для нашей задачи.

Для проверки контента на лету мы реализовали модуль расширения для сервера C-ICAP. ICAP – специализированный протокол, позволяющий перехватывать сторонним приложениям трафик, который проходит через прокси-сервер. Модуль, как и сам C-ICAP был реализован с использованием языков программирования C и C++ в рамках инструментария GCC.

Реализованный модуль проверяет контент в несколько этапов, на каждом из которых может произойти запрет доступа к ресурсу:

1. проверка заголовков и служебной информации
2. проверка полностью полученного контента
3. замена контента (если необходимо)

Этап 2 подразумевает проверку контента на предмет содержания запрещенных слов, выражений. Мы решили выполнить эту проверку с использованием регулярных выражений. Поскольку инструментарий PCRE хорошо нам знаком, то мы интегрировали в модуль C-ICAP проверку с помощью библиотеки PCRE (стоит заметить, что библиотека PCRE не содержит функций для замены текста, поэтому их приходится реализовывать вручную (интересующихся отправляю к дереву кодов PHP)).

После реализации мы столкнулись с проблемой производительности. В реальных условиях PCRE работают очень медленно. Мы получали время проверки текста размером 1МБ порядка 0.2 секунды на нашем сервере Xeon 3.2 ГГц (стоит заметить, что regex-ы у нас были размером под 10-20 КБ). В общем, поглядев на это, мы поняли что такая производительность нас не устраивает и мы не сможем обслужить даже 100 параллельных запросов.

В то же время, мы провели аналогичные тесты с использованием утилиты UNIX grep и получили время обработки порядка 0.001-0.005, что заставило нас задуматься о высоком и вернуться к азам, так сказать. Теория конечных автоматов говорит нам что есть два вида (в общем случае) конечных автоматов – DFA (детерминированный) и NFA (недетерминированный), соответственно движки регулярных выражений (в зависимости от функционала) реализуются либо с использованием DFA, либо c NFA. Первые – быстрые, вторые – медленные. На наше горе – PCRE использует NFA, на наше счастье – нам эти функции в рамках задачи не нужны. Отталкиваясь от этого открытия, мы немного поискали библиотеки DFA регулярных выражений и нашли RE2, разработанную в Google.

Вообще, у нас было 2 опции. Первая, взять код Grep и интегрировать его в наш модуль. Эту возможность мы откинули после того, как посмотрели на код Grep. В силу назначения, в коде используются глобальные переменные и код, вообще, не потоко безопасный, а переделывать чужой код нам не хотелось. В то же время, библиотека RE2 обладает как поддержкой юникода (что нам было очень нужно), так и поточной безопасностью. Кроме того, она как раз и разрабатывалась для встраивания в приложения. К слову, RE2 появилась именно в силу тех же причин, которые возникли в нашей задаче.

В итоге, мы встроили RE2 в наш модуль и получили производительность кода даже несколько выше ожидаемой. В решенной задаче, простые методы оптимизации горизонтальным масштабированием не дают необходимого эффекта и в целом бесполезны (в силу того, что отставание фактического модуля составляло более чем порядок, по сравнению с рассчетными показателями), а оптимизация кода дала как раз те необходимые показатели, на которые мы рассчитывали.

Безусловно, нам бы хотелось чтобы Вы понимали не только свою область (скажем Java), но и смежные области, ведь сетевые приложения глубоко интегрируются не только с технологией программирования, но и с возможностями и особенностями операционных систем, а мы используем Linux. В том числе и для повседневной работы.

Работая в нашей команде вы не будете делать апплеты и пользовательские интерфейсы, вашей задачей будет писать код бэкэнда высокопроизводительного приложения, которое обслуживает миллионы транзакций, оперирует огромным объемом аналитической информации в режиме реального времени. Вы будете использовать передовые распределенные технологии, применяемые в eBay и подобных «больших» системах.

Если Вы тот самый человек. Ждем вас в нашей команде!

Подробнее о вакансии: http://www.bitworks-software.com/ru/article/3/#vac5

Программное обеспечение GNU/Linux, на основе которого создаются разнообразные информационные среды, решающие конкретные задачи из вышеперечисленных, чрезвычайно гибко, что позволяет системным администраторам решать одну и ту же задачу несколькими различными способами, причем выбор способа зависит от квалификации и предпочтений системного администратора.

В некоторых случаях, такая гибкость не является положительным качеством. Например, в случае организации маршрутизаторов и МСЭ. Производители телекоммуникационного оборудования уже давно осознали тот факт, что телекоммуникационное оборудование должно настраиваться единообразно, даже если это делают несколько человек, сменяя друг друга, более того человек, обладающий опытом настройки оборудования некоторого семейства должен быть способен настроить любое устройство из этого семейства.

К сожалению, в случае с маршрутизаторами на основе популярных дистрибутивов ОС GNU/Linux не существует единообразного способа конфигурирования сетевой подсистемы, учитывающего тонкие моменты настройки и объединяющего в единой консоли управление всеми телекоммуникационными службами маршрутизатора. К счастью, существует несколько специализированных дистрибутивов, предназначенных специально для маршрутизаторов и МСЭ. Один из них – Vyatta, специализированный дистрибутив на основе Debian, особенностями которого является:

1. нацеленность на маршрутизаторы (периметр, BRAS, шейпинг/полисинг);
2. единая ios-like консоль управления с поддержкой дополнения команд;
3. поддержка статической и динамической маршрутизации (BGP, OSPF, RIP и т.п.);
4. поддержка экспорта статистики NetFlow;
5. L3 VPN (IP-IP, PPtP, OpenVPN);
6. поддержка Debian APT
7. полноценная поддержка iptables, linux ip/tc;

Основное преимущество Vyatta – единообразие настроек. Это означает, что любой системный администратор настраивая некоторую функцию, сделает это только одним способом, причем другой системный администратор потом сможет понять как настроена система и внести изменения. Отдельным плюсом идет настройка по принципу транзакций, то есть настройки не применяются до выполнения команды подтверждения и могут быть откачены при необходимости. Кроме командной строки администратору доступен web-интерфейс управления.

Стоит отметить, что Vyatta распространяется бесплатно, а ее продолжительный жизненный цикл позволяет говорить о стабильности системы.