Запрос 100 тыс. страниц с сервера titan-r сайта http://nerusoft.com

Запрос 100 тыс. страниц с сервера titan-r сайта http://nerusoft.com:

root@titan-r:~# ab -c 5 -n 100000 http://nerusoft.com/
This is ApacheBench, Version 2.0.40-dev <$Revision: 1.146 $> apache-2.0
Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/
Copyright 2006 The Apache Software Foundation, http://www.apache.org/

Benchmarking nerusoft.com (be patient)
Completed 10000 requests
Completed 20000 requests
Completed 30000 requests
Completed 40000 requests
Completed 50000 requests
Completed 60000 requests
Completed 70000 requests
Completed 80000 requests
Completed 90000 requests
Finished 100000 requests


Server Software: nginx/0.4.13
Server Hostname: nerusoft.com
Server Port: 80

Document Path: /
Document Length: 94796 bytes

Concurrency Level: 5
Time taken for tests: 3192.320346 seconds
Complete requests: 100000
Failed requests: 0
Write errors: 0
Total transferred: 915365408 bytes
HTML transferred: 889665408 bytes
Requests per second: 31.33 [#/sec] (mean)
Time per request: 159.616 [ms] (mean)
Time per request: 31.923 [ms] (mean, across all concurrent requests)
Transfer rate: 280.02 [Kbytes/sec] received

Connection Times (ms)
min mean[+/-sd] median max
Connect: 0 0 0.0 0 0
Processing: 107 159 37.4 154 389
Waiting: 105 156 37.2 152 386
Total: 107 159 37.4 154 389

Percentage of the requests served within a certain time (ms)
50% 154
66% 173
75% 185
80% 192
90% 208
95% 225
98% 248
99% 264
100% 389 (longest request)

Проведение нагрузочного тестирования нашего сервера titan-r

С целью проверки устойчивости нашего сервера к пиковым нагрузкам было проведено ряд тестов. Ниже, мы приводим результаты данных тестов:

Тестирование проводилось на сайте, построенном на CMS-системе php-Nuke торговой марки RS™ http://nerusoft.com.

===== Тестирование с помощью Apache Benchmark =====
# Измерение памяти (ps aux: VSZ "virtual set size" и RSS "resident set size").
# Тестирование ApacheBenchmark (2 раза подряд)

root@titan-r:~# ab -c 5 -n 1000 http://nerusoft.com/
This is ApacheBench, Version 2.0.40-dev <$Revision: 1.146 $> apache-2.0
Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/
Copyright 2006 The Apache Software Foundation, http://www.apache.org/

Benchmarking nerusoft.com (be patient)
Completed 100 requests
Completed 200 requests
Completed 300 requests
Completed 400 requests
Completed 500 requests
Completed 600 requests
Completed 700 requests
Completed 800 requests
Completed 900 requests
Finished 1000 requests


Server Software: nginx/0.4.13
Server Hostname: nerusoft.com
Server Port: 80

Document Path: /
Document Length: 94796 bytes

Concurrency Level: 5
Time taken for tests: 31.881701 seconds
Complete requests: 1000
Failed requests: 0
Write errors: 0
Total transferred: 95053000 bytes
HTML transferred: 94796000 bytes
Requests per second: 31.37 [#/sec] (mean)
Time per request: 159.409 [ms] (mean)
Time per request: 31.882 [ms] (mean, across all concurrent requests)
Transfer rate: 2911.54 [Kbytes/sec] received

Connection Times (ms)
min mean[+/-sd] median max
Connect: 0 0 0.0 0 0
Processing: 109 158 37.3 153 313
Waiting: 107 156 37.1 150 310
Total: 109 158 37.3 153 313

Percentage of the requests served within a certain time (ms)
50% 153
66% 172
75% 185
80% 191
90% 208
95% 224
98% 249
99% 267
100% 313 (longest request)


=================================================
# Измерение памяти и израсходованного процессорного времени (ps aux: VSZ, RSS, %CPU, %MEM)
# Перезапуск фреймворка
# Тестирование ApacheBenchmark (2 раза подряд)
ab -c 100 -n 10000 http://nerusoft.com/

root@titan-r:~# ab -c 100 -n 10000 http://nerusoft.com/
This is ApacheBench, Version 2.0.40-dev <$Revision: 1.146 $> apache-2.0
Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/
Copyright 2006 The Apache Software Foundation, http://www.apache.org/

Benchmarking nerusoft.com (be patient)
Completed 1000 requests
Completed 2000 requests
Completed 3000 requests
Completed 4000 requests
Completed 5000 requests
Completed 6000 requests
Completed 7000 requests
Completed 8000 requests
Completed 9000 requests
Finished 10000 requests


Server Software: nginx/0.4.13
Server Hostname: nerusoft.com
Server Port: 80

Document Path: /
Document Length: 94796 bytes

Concurrency Level: 100
Time taken for tests: 258.190002 seconds
Complete requests: 10000
Failed requests: 0
Write errors: 0
Total transferred: 950530000 bytes
HTML transferred: 947960000 bytes
Requests per second: 38.73 [#/sec] (mean)
Time per request: 2581.900 [ms] (mean)
Time per request: 25.819 [ms] (mean, across all concurrent requests)
Transfer rate: 3595.22 [Kbytes/sec] received

Connection Times (ms)
min mean[+/-sd] median max
Connect: 0 0 0.3 0 4
Processing: 199 2572 1352.8 2296 38015
Waiting: 196 2564 1350.7 2290 38012
Total: 203 2572 1352.8 2296 38015

Percentage of the requests served within a certain time (ms)
50% 2296
66% 2584
75% 2809
80% 2979
90% 3481
95% 3974
98% 4784
99% 6141
100% 38015 (longest request)




======= Тестирование с помощью http_load ===========
# Измерение памяти и израсходованного процессорного времени.
# Перезапуск фреймворка
# Измерение http_load

http_load -rate 10 -seconds 5 nerusoft.com


======== Тестирование с помощью siege ===========
# Измерение памяти и израсходованного процессорного времени.
# Перезапуск фреймворка
# Тест Siege c 50 одновременными пользователями в течении одной минуты.
siege -d1 -t1M -c50 nerusoft.com

root@titan-r:~# siege -d1 -t1M -c50 nerusoft.com
** siege 2.65b1
** Preparing 50 concurrent users for battle.
The server is now under siege...
Lifting the server siege... done.
Transactions: 2312 hits
Availability: 100.00 %
Elapsed time: 60.57 secs
Data transferred: 209.03 MB
Response time: 0.79 secs
Transaction rate: 38.17 trans/sec
Throughput: 3.45 MB/sec
Concurrency: 30.30
Successful transactions: 2312
Failed transactions: 0
Longest transaction: 8.86
Shortest transaction: 0.20

================================================
# Тест Siege c 100 одновременными пользователями в течении одной минуты.
siege -d1 -t1M -c100 nerusoft.com

root@titan-r:/etc/apache2# siege -d1 -t1M -c100 nerusoft.com
** siege 2.65b1
** Preparing 100 concurrent users for battle.
The server is now under siege...
Lifting the server siege... done.
Transactions: 2318 hits
Availability: 100.00 %
Elapsed time: 60.48 secs
Data transferred: 209.56 MB
Response time: 2.02 secs
Transaction rate: 38.33 trans/sec
Throughput: 3.46 MB/sec
Concurrency: 77.44
Successful transactions: 2318
Failed transactions: 0
Longest transaction: 23.29
Shortest transaction: 0.25

======================================================
# Тест Siege c 150 одновременными пользователями в течении одной минуты.
siege -d1 -t1M -c150 nerusoft.com

root@titan-r:/etc/apache2# siege -d1 -t1M -c150 nerusoft.com
** siege 2.65b1
** Preparing 150 concurrent users for battle.
The server is now under siege...
Lifting the server siege.. done.
Transactions: 2337 hits
|Availability: 100.00 %
Elapsed time: 60.47 secs
Data transferred: 211.28 MB
Response time: 3.24 secs
Transaction rate: 38.65 trans/sec
Throughput: 3.49 MB/sec
Concurrency: 125.19
Successful transactions: 2337
Failed transactions: 0
Longest transaction: 25.83
Shortest transaction: 0.26


======================================================
# Тест Siege c 200 одновременными пользователями в течении одной минуты.

siege -d1 -t1M -c200 nerusoft.com

root@titan-r:/etc/nginx# siege -d1 -t1M -c200 nerusoft.com
** siege 2.65b1
** Preparing 200 concurrent users for battle.
The server is now under siege...
Lifting the server siege... done.
Transactions: 2317 hits
Availability: 100.00 %
Elapsed time: 59.80 secs
Data transferred: 209.47 MB
Response time: 4.41 secs
Transaction rate: 38.75 trans/sec
Throughput: 3.50 MB/sec
Concurrency: 170.79
Successful transactions: 2317
Failed transactions: 0
Longest transaction: 25.17
Shortest transaction: 0.32

Победа над вредным вирусом-спамером

У нас на сервере завёлся вирус-спамер. В результате, массово стали рассылаться сообщения о рекламе какого-то банка. Попробывали отключить на сервер SMTP, как ни странно, письма всё равно шли. Тогда мы полностью удалили Postfix и всё связанное с почтой, а отправку почты делаем авторизированным путём через Google, Mail.ru и т.п.
Кроме того, установили антивирусную защиту и всё хорошенько проверили антивирусом. В результате, рассылка спама прекратилась. Т.е. вируса победили.
Только плохо, что за это время уже успел наш домен nerusoft.com попасть в чёрный список антиспамерских систем... Теперь, предстоит долгий путь "отбеливания адресов"...

Joostina - русский вариант системы Joomla

Вот установил CMS-систему Joostina - это русский вариант системы Joomla. В данном варианте включены некоторые модули, которые всегда приходится ставить, а так же прекрасно всё переведено на русский язык. Работать стало гораздо приятнее, чем в англо-язычной Joomla. Интерфейс красивый и понятный. В целом, впечатление не плохое. Думаю, данную систему буду использовать для основного сайта. Над которым сейчас и идет работа. Сам процесс можно увидеть по адресу: http://i2.kiev.ua
Когда создастся дизайн сайта для нашей торговой марки RS™, тогда разместим данный сайт на основном домене: http://nerusoft.com

Впечатление от Energine

Совместно с разработчиками Energine удалось победить проблему вывода панели администрирования. В результате, мне удалось поработать в данной системе. В целом, впечатление положительное. Редактирование страницы в IE происходит прямо на экране. Редактирование пунктов меню, тоже просто. Однако при редактировании чувствуются значительные "тормоза". Медленно обновляется дерево меню.
С контентом, сейчас в Energine можно работать. Однако, пока других модулей не включено в стандартную поставку, т.к. они ещё разрабатываются и отлаживаются.
Данную систему я и дальше буду тестировать по адресу: http://i1.kiev.ua

CMS-система Energine

Недавно заметил информацию о новой CMS-системе под названием Energine. Которая распространяется по лицензии LGPL, а это значит, что можно бесплатно создавать свои порталы на базе этой системы. Кроме того, разрабатывает данную систему компания Colocall.

Решил её проверить в действии. Зашел на http://energine.org, закачал оттуда дистрибутив. И начал установку. Нужно отметить, что установка несколько запутана, т.к. всё нужно делать вручную самому. Но, несколько повозившись, всё таки удалось установить. Всё прекрасно заработало. Только вот вошел в админку, а панели администратора не появилось...

К счастью, разработчики отзываются на все вопросы и мы сейчас работаем над устранением данного недочёта. Надеюсь, победим :)

Скажу честно, система интересная.
Прежде всего, она впечатляет своей простотой и хорошей документированностью. Весь Api есть в документации, а код лаконичен и эффективен, без излишеств.
Кроме того, в качестве базы данных используется MySQL в варианте InnoDB. Что очень важно для работы при больших нагрузках. В качестве сервера используется nginx (хотя, можно и Apache), но нужно признать, что nginx гораздо легче, значительно быстрей работает и гораздо устойчивей к огромным нагрузкам. Таким образом, данная система позволяет выдержать самые большие пиковые нагрузки на сравнительно слабом оборудовании. Работать с системой просто. Для этого, хватит всего лишь войти в админку, а информацию можно менять прямо на экране (если IE).

Если тестирование пройдет успешно, тогда думаю, что мы будеи использовать данный продукт на нашем сайте: http://nerusoft.com
И во многих программных решениях, торговой марки RS™.

Смена бренда Нерусофт на бренд RS™

Мы сменили наш бренд. Теперь будем называться не Нерусофт, а торговая марка RS™.
Фирменные цвета тоже изменились. Теперь наши цвета: Белый, зелёный и оранжевый. В скором времени, наш сайт http://nerusoft.com изменит свой дизайн. Старый вариант сайта переедет на второстепенный домен.

Торговая марка RS™ - это повышенное качество программной продукции и передовые технологии. В ближайшее время, на нашем сайте будет выложено большое портфолио наших работ, а так же информация о том, кто воспользовался нашей продукцией.

CMS-система Drupal

Давно думал создать сайт на системах Drupal и Joomla.
На Joomla - делал для заказчиков.
А на Drupal создал за свой счёт - информационно-коммерческий сайт http://kiev2000.kiev.ua
Этот сайт будет ориентироваться на сбор новостей и соответственно, поиск информации среди него. Нужно признать, для этих целей Drupal - превосходное средство.

В чём сложность порезки дизайна для интернет страниц

Часто говорят: "порезать дизайн - это просто! Эта работа не требует больших трудозатрат".

На практике же скажу, это чаще всего не так просто. Конечно, это может быть просто, если делаете примитивный дизайн, не задумываясь о разных нюансах.

Поэтому, выложу свои соображения по основным сложностям дизайна:
1. Сложность совпадения с макетом-оригиналом художника.
Если Вы режете дизайн по чужому рисунку, то может оказаться, что художник при создании дизайна не очень то и вникал в особенности HTML. А рисовал так, как ему больше нравится.
Конечно, нарисовать в графическом редакторе можно всё что угодно, ведь инструменты для этого разные есть. Да и рисовать можно в любом месте, в любой точке.
С HTML дело обстоит сложней. Ведь, программисту нужно весь кривой дизайн вписать в множество квадратных областей. Получается, дизайн часто разбивается на огромное количество микро-квадратных областей, которые нужно правильно слепить в единую картину, причём всё это делается вручную, хоть и используется несколько редакторов.
Но, слепив картинку нужно ещё учитывать то, что страница должна быстро грузиться. Поэтому, часто вместо графического изображения, например, градиента нужно заменять возможностью повторения простейшего маленького изображения. Чем больше будет графики заменено таким образом, тем быстрей будет грузиться страница.
Дизайн, который делает художник - статичен. Но, когда Вы режете дизайн, нужно учитывать растягиваемость интернет-браузера и изменение информации внутри в соответствии с размером окна. Сочетание всех этих характеристик может быть довольно сложным и потребляющим большое количество человеческих ресурсов.

2. Сложность одинаковой работы во всех основных браузерах.
К сожалению, все браузеры интерпретируют HTML по разному. Поэтому, отлаживать дизайн приходится в нескольких браузерах, например: Intenet Explorer, Opera, FireFox. Причем, желательно ещё отлаживать на разных версиях данных браузеров, т.к. от версии к версии браузеры изменяются, но люди ведь пользуются всеми из них...
Часто, требования различных браузеров может противоречить другим браузерам. Приходится выбирать компромисс, жертвую чем-либо.
Порой, не моло усилий нужно приложить для одинаковой работы шаблона во всех браузерах.

3. Читабельность для поисковых систем.
Само просто, сделать изображение во Flash. Делая такой сайт всегда знаешь что-где будет. Но, такой сайт не понимают поисковые системы!!
Поэтому, все вещи делаются с применением HTML, CSS, JavaScript, а на Flash отводится только функции работы с flash-роликами. Это гораздо тяжелей, чем нарисовать во flash.

4. Сложность адаптации дизайна в CMS-систему.
Самые популярные сайты - это портальные системы. И делая дизайн, чаще всего делается дизайн для какой-то из портальных систем. Но, тут уж начинается самое интересное. Портальные системы или CMS-системы - это мощные и сложные программные комплексы. Вписывать дизайн в них нужно придерживаясь огромного количества правил. И всё делается с помощью программирования, т.к. вся информация - динамична. Меню, контент, новости и т.п. - всё это в портальных системах динамическая информация. Т.е. берется из базы данных, формируется в момент показа интернет-страницы. Для изменения данной информации нужно программировать, переделывать логику компонент, модулей и т.п.
Чаще всего, вписать дизайн в портальную систему - это большая часть работы и одна из самых сложных. От того, впишите Вы удачно дизайн и корректно ли он будет работать зависит будет ли работать данный портал или нет... А вписать, соблюдая при этом всё, что было написано выше - это ой как не легко... Это ведь не статика...

Настройка работы с почтой Google в Outlook или других клиентах.

Оказывается, Google не только предоставляет бесплатные ящики на 2 Гб, но ещё и бесплатный доступ к данным ящикам с помощью различных почтовых клиентов (не только, через Веб-админку).

Для того, чтоб можно было подключаться через клиентское почтовое приложение, необходимо войти в почтовую админку, нажать настройки и в настройках разрешить работу через pop3. При этом, можно указать что нужно сохранять почту или нет при получении её почтовым клиентом.

Теперь зайдите в почтовый клиент, например, Outlook или The Bat и создайте новую учётную запись.
Укажите свой E-Mai.
pop3: pop.gmail.com
smtp: smtp.gmail.com

Отметьте галочку, что отправка почты с авторизацией.
Укажите в параметрах безопасности, что работаете через безопасное соединение SSL. Т.е. должны быть порта:
Исходящая почта (SMTP): 465
Входящая почта (POP3): 995

Имя пользователя вводите такое же, как Ваш E-Mail полностью.

После этого, почта через почтовый клиент должна заработать.

Анализ посещений сайта

Способов снимать статистику - очень много.
Многие CMS-системы ведут свою внутреннюю статистику. Так, например, phpNuke показывает общее количество полученных интернет-страниц. При этом, не разделяя поисковых роботов от людей. А Битрикс - ведёт подробную статистику с разделением на категории и с возможностью просмотра детальной информации.

На своём сайте http://nerusoft.com я использую, естественно, статистику самой CMS-системы, но кроме того, дополняю целым рядом других счётчиков различных производителей.

Счётчик от Bigmir.net - Мощный счётчик. С подробной статистикой и своим рейтингом. К сожалению,количество зеркальных сайтов, которые он может проанализировать - очень мало. Кроме того, многие посещения могут почему-то не защитываться.

Счётчик i.ua - чудо современных технологий. Активно используется технология Ajax из-за чего счётчик работает быстрее аналогов. Показывает подробную статистику в различных разрезах. Список анализируемых под-доменов больше, чем в Bigmir, но к сожалению, тоже маленький :)

Счётчик mail.ru. Счётчик со своим рейтингом. Довольно старенький. Сейчас выглядит несколько бедно по сравнению с аналогами, но, он анализирует все зеркальные домены.

Счётчик SpyLog. Тоже показывает все домены.Есть бесплатная версия счётчика и платная. Делает самые различные отчёты, но в бесплатной версии довольно мало их. Хорош тем, что показывает количество одновременно подключенных пользователей. Т.е. количество пользователей, которые находятся в OnLine.

Счётчик от Rambler. Простейший счётчик, показывающий количество посещений. Ито, проверить которое не возможно. Довольно скудный по возможностям.

Счётчик Google. Не показывается на сайте, но предоставляет довольно интересные графики и статистику, которые не предоставляют другие счётчики. При этом, анализируются все домены. Акцентируется внимание на основных показателях.

Так, например, я вижу, что большинство пользователей на нашем портале не задерживается больше минуты, а это значит, что информация их не заинтересовала или они искали другое. Т.е. как результат, необходимо привлечь внимание посетителей сайта.