Comments on: Многопоточность в PHP http://www.seoblog.com.ua/2007/03/20/multiplexing-in-php/ Твои первые шаги в мире оптимизации, маркетинга и блоговедения Wed, 07 Jan 2009 03:33:31 +0000 http://wordpress.org/?v=2.6.5 By: VolCh http://www.seoblog.com.ua/2007/03/20/multiplexing-in-php/#comment-18868 VolCh Wed, 16 Jul 2008 14:50:19 +0000 http://www.seoblog.com.ua/2007/03/02/multiplexing-in-php/#comment-18868 Как раз наоборот там написано <blockquote> Using a timeout value of 0 allows you to instantaneously poll the status of the streams, however, it is NOT a good idea to use a 0 timeout value in a loop as it will cause your script to consume too much CPU time. It is much better to specify a timeout value of a few seconds, although if you need to be checking and running other code concurrently, using a timeout value of at least 200000 microseconds will help reduce the CPU usage of your script. Remember that the timeout value is the maximum time that will elapse; stream_select() will return as soon as the requested streams are ready for use. </blockquote> А на практике (особенно при работе в сотни потоков и большой нагрузке по парсингу, например регулярками сложными) вообще часто рекомендуют ставить таймаут 0, а в цикле вызывать sleep() или usleep(), поскольку если данные готовятся быстрее, чем обрабатываются, то любой таймаут эквивалентен 0, ведь к моменту вызова уже есть хотя бы один сокет готовый в работе и возврат происходит сразу же. А sleep гарантирует, что часть ресурсов процессора будет отдана и другим процессам. На десктопе подбираю время задержки так, чтобы загрузка процессора была под 80% (если один основной фоновый процесс нужный) - 20% браузеру, редакторам и прочему "офисному" вполне хватает Как отправную я и использовал, просто удивился, что с копи-паста не заработало :) Как раз наоборот там написано

Using a timeout value of 0 allows you to instantaneously poll the status of the streams, however, it is NOT a good idea to use a 0 timeout value in a loop as it will cause your script to consume too much CPU time.

It is much better to specify a timeout value of a few seconds, although if you need to be checking and running other code concurrently, using a timeout value of at least 200000 microseconds will help reduce the CPU usage of your script.

Remember that the timeout value is the maximum time that will elapse; stream_select() will return as soon as the requested streams are ready for use.

А на практике (особенно при работе в сотни потоков и большой нагрузке по парсингу, например регулярками сложными) вообще часто рекомендуют ставить таймаут 0, а в цикле вызывать sleep() или usleep(), поскольку если данные готовятся быстрее, чем обрабатываются, то любой таймаут эквивалентен 0, ведь к моменту вызова уже есть хотя бы один сокет готовый в работе и возврат происходит сразу же. А sleep гарантирует, что часть ресурсов процессора будет отдана и другим процессам. На десктопе подбираю время задержки так, чтобы загрузка процессора была под 80% (если один основной фоновый процесс нужный) - 20% браузеру, редакторам и прочему “офисному” вполне хватает

Как отправную я и использовал, просто удивился, что с копи-паста не заработало :)

]]> By: Bambino http://www.seoblog.com.ua/2007/03/20/multiplexing-in-php/#comment-18867 Bambino Wed, 16 Jul 2008 09:11:01 +0000 http://www.seoblog.com.ua/2007/03/02/multiplexing-in-php/#comment-18867 Если почитать документацию по stream_select/socket_select, то насколько я помню, таймаут нужно выставлять в 0, иначе так можно подвесить систему. Данную статью можно использовать как отправную точку, хотя думаю, что должно работать. Так как я свой пример лабал на 4-м ПХП, то с socket_select все работает. Если почитать документацию по stream_select/socket_select, то насколько я помню, таймаут нужно выставлять в 0, иначе так можно подвесить систему. Данную статью можно использовать как отправную точку, хотя думаю, что должно работать. Так как я свой пример лабал на 4-м ПХП, то с socket_select все работает.

]]> By: VolCh http://www.seoblog.com.ua/2007/03/20/multiplexing-in-php/#comment-18866 VolCh Wed, 16 Jul 2008 07:43:24 +0000 http://www.seoblog.com.ua/2007/03/02/multiplexing-in-php/#comment-18866 Чего-то не хочет работать код :( stream_select возвращает всегда ноль (не false), причем без таймаута, хотя в массивы прописывает сокеты, пришлось использовать count($read)+count($write) в условии PHP Version => 5.2.4-2ubuntu5.2 Чего-то не хочет работать код :(
stream_select возвращает всегда ноль (не false), причем без таймаута, хотя в массивы прописывает сокеты, пришлось использовать count($read)+count($write) в условии

PHP Version => 5.2.4-2ubuntu5.2

]]> By: VolCh http://www.seoblog.com.ua/2007/03/20/multiplexing-in-php/#comment-18862 VolCh Tue, 15 Jul 2008 23:22:17 +0000 http://www.seoblog.com.ua/2007/03/02/multiplexing-in-php/#comment-18862 Вот спасибо, пошел затачивать напильником под свои нужды, думал завтра опять весь день придется ковыряться с socket_select (что-то я никак не мог EOF поймать, только по таймауту отваливались, оказывается просто - сокет готов к чтению, а данных нет :) ), чтобы с pcntl не заморачиваться, да и не далеко везде он есть 2 Alexk: У твоего варианта один очень большой недостаток - ему слишком много нужно для работы, кроме собственно PHP (про ОС и коннект не вспоминаем :) ):: - веб-сервер - браузер - JS в браузере Этот же скрипт можно запустить прямо из командной строки, даже в DOS'е (вроде бы :) ) Вот спасибо, пошел затачивать напильником под свои нужды, думал завтра опять весь день придется ковыряться с socket_select (что-то я никак не мог EOF поймать, только по таймауту отваливались, оказывается просто - сокет готов к чтению, а данных нет :) ), чтобы с pcntl не заморачиваться, да и не далеко везде он есть

2 Alexk: У твоего варианта один очень большой недостаток - ему слишком много нужно для работы, кроме собственно PHP (про ОС и коннект не вспоминаем :) )::
- веб-сервер
- браузер
- JS в браузере
Этот же скрипт можно запустить прямо из командной строки, даже в DOS’е (вроде бы :) )

]]> By: Bambino http://www.seoblog.com.ua/2007/03/20/multiplexing-in-php/#comment-18810 Bambino Sat, 05 Jul 2008 21:42:45 +0000 http://www.seoblog.com.ua/2007/03/02/multiplexing-in-php/#comment-18810 Ну только не нужно говорить таких громких слов. :) Ты пишешь, что многопоточности в PHP нет, но твой пост содержит в себе это выражение - ты противоречишь сам себе :)... И еще раз повторюсь многопоточность в PHP <strong>никак не может быть выполнена через ajax</strong>. Согласен? PHP - это серверный язык (ты это понимаешь), а ajax - это технология <strong>никак с PHP не связана</strong>. Возможно слово <strong>multiplexing</strong> и не переводится как многопоточность, но в применении к тесту этого поста (ты же его внимательно читал?), этот термин можно применить. Здесь под многопоточностью понимается <strong>асинхронная работа с несколькими неблокирующими сокетами</strong>. И <a href="http://php.net/socket_select" target="_blank" rel="nofollow">socket_select</a> отлично справляется со своей работой! И не нужно так категорично заявлять. Как говорят, вы просто не умеете их готовить. ;) Я сам лично создал скрипт, который обращался к нескольким серверам одновременно и все отлично работало. То, что сделал ты, другие люди делают с помощью fork'ов и согласись, что этот метод даже более действенен, чем твой. Кстати, PHPшный socket_select - это не более, чем обертка юниксовой функции select. Это не какой-то там AJAX, который тупо перестанет работать, когда пользователь запретить выполнение JavaScript. :P Понимаешь, можно и из пушки по воробьям стрелять. Каждый должен выполнять свои функции. PHP работать с сокетами, AJAX работать с содержанием страницы. Кстати функция file_get_contents блокирующая, а это потенциальная проблема, т.е. потенциально ты можешь повесить все свои AJAX-"потоки". А мы люди серьезные, не выдумываем странные идеи, а работаем с неблокирующими сокетами, для чего имеются все необходимые функции. ;) Функция socket_get_option сообщит тебе о статусе сокета и в socket_select попадут только рабочие сокеты! Никаких блокировок! P.S. PHP-шный парсер можно закинуть на отдельный сервер, запустить как процесс или несколько процессов(именно процессов!), можно заставить работать через прокси (любые). А что можно сделать с твоим? Разве, что для твоих нужд. Нет - это не наш метод. Телефон должен звонить, фотоаппарат фотографировать. Согласись, что фотокамеры в мобильниках отстой... ;) Ну только не нужно говорить таких громких слов. :) Ты пишешь, что многопоточности в PHP нет, но твой пост содержит в себе это выражение - ты противоречишь сам себе :)… И еще раз повторюсь многопоточность в PHP никак не может быть выполнена через ajax. Согласен? PHP - это серверный язык (ты это понимаешь), а ajax - это технология никак с PHP не связана.
Возможно слово multiplexing и не переводится как многопоточность, но в применении к тесту этого поста (ты же его внимательно читал?), этот термин можно применить. Здесь под многопоточностью понимается асинхронная работа с несколькими неблокирующими сокетами. И socket_select отлично справляется со своей работой! И не нужно так категорично заявлять. Как говорят, вы просто не умеете их готовить. ;) Я сам лично создал скрипт, который обращался к нескольким серверам одновременно и все отлично работало. То, что сделал ты, другие люди делают с помощью fork’ов и согласись, что этот метод даже более действенен, чем твой. Кстати, PHPшный socket_select - это не более, чем обертка юниксовой функции select. Это не какой-то там AJAX, который тупо перестанет работать, когда пользователь запретить выполнение JavaScript. :P Понимаешь, можно и из пушки по воробьям стрелять. Каждый должен выполнять свои функции. PHP работать с сокетами, AJAX работать с содержанием страницы. Кстати функция file_get_contents блокирующая, а это потенциальная проблема, т.е. потенциально ты можешь повесить все свои AJAX-”потоки”. А мы люди серьезные, не выдумываем странные идеи, а работаем с неблокирующими сокетами, для чего имеются все необходимые функции. ;) Функция socket_get_option сообщит тебе о статусе сокета и в socket_select попадут только рабочие сокеты! Никаких блокировок!

P.S. PHP-шный парсер можно закинуть на отдельный сервер, запустить как процесс или несколько процессов(именно процессов!), можно заставить работать через прокси (любые). А что можно сделать с твоим? Разве, что для твоих нужд. Нет - это не наш метод. Телефон должен звонить, фотоаппарат фотографировать. Согласись, что фотокамеры в мобильниках отстой… ;)

]]> By: Alexk http://www.seoblog.com.ua/2007/03/20/multiplexing-in-php/#comment-18808 Alexk Sat, 05 Jul 2008 14:49:26 +0000 http://www.seoblog.com.ua/2007/03/02/multiplexing-in-php/#comment-18808 Пойми, многопоточности в PHP нет!!! А та, что "есть" именно ведёт к проблеме дохлых сокетов. Если ты внимательно читал мой пост в блоге, то должен был понять, что каждый ответ от скрипта-парсера обрабатывается отдельно, а не пачкой, как например в curl. Насчёт применения AJAX - это выход, который я нашёл и пока доволен им на все 100% Пойми, многопоточности в PHP нет!!! А та, что “есть” именно ведёт к проблеме дохлых сокетов. Если ты внимательно читал мой пост в блоге, то должен был понять, что каждый ответ от скрипта-парсера обрабатывается отдельно, а не пачкой, как например в curl.

Насчёт применения AJAX - это выход, который я нашёл и пока доволен им на все 100%

]]> By: Bambino http://www.seoblog.com.ua/2007/03/20/multiplexing-in-php/#comment-18806 Bambino Sat, 05 Jul 2008 13:29:27 +0000 http://www.seoblog.com.ua/2007/03/02/multiplexing-in-php/#comment-18806 А что, ajax не подвержен воздействию медленных и дохлых страниц? :) Или соединения осуществляются без использования сокетов? И вообще, при чем тут ajax?!! Речь идет о <strong>многопоточности в PHP</strong>!! Да и название твоего поста "Многопоточность в PHP через AJAX" наводит на мысль о том, что кто-то не до конца понимает, что такое PHP, а что такое AJAX :) Многопоточности в PHP через AJAX просто не может быть лишь потому, что <a href="http://ru.wikipedia.org/wiki/AJAX" target="_blank" rel="nofollow">AJAX</a> - это не часть PHP и даже не его надстройка. Это технология, которая реализуется с помощью серверного скриптового языка, например, того же PHP. А что, ajax не подвержен воздействию медленных и дохлых страниц? :) Или соединения осуществляются без использования сокетов? И вообще, при чем тут ajax?!! Речь идет о многопоточности в PHP!!
Да и название твоего поста “Многопоточность в PHP через AJAX” наводит на мысль о том, что кто-то не до конца понимает, что такое PHP, а что такое AJAX :) Многопоточности в PHP через AJAX просто не может быть лишь потому, что AJAX - это не часть PHP и даже не его надстройка. Это технология, которая реализуется с помощью серверного скриптового языка, например, того же PHP.

]]> By: Alexk http://www.seoblog.com.ua/2007/03/20/multiplexing-in-php/#comment-18798 Alexk Sat, 05 Jul 2008 01:04:59 +0000 http://www.seoblog.com.ua/2007/03/02/multiplexing-in-php/#comment-18798 используя данный код можно нарваться на медленные или дохлые страницы и тогда весь процесс зависнет и вылетит по таймауту, что не желательно. Я использовал AJAX и асинхронные запросы - описание в моём блоге используя данный код можно нарваться на медленные или дохлые страницы и тогда весь процесс зависнет и вылетит по таймауту, что не желательно. Я использовал AJAX и асинхронные запросы - описание в моём блоге

]]> By: Bambino http://www.seoblog.com.ua/2007/03/20/multiplexing-in-php/#comment-17217 Bambino Fri, 16 May 2008 22:26:39 +0000 http://www.seoblog.com.ua/2007/03/02/multiplexing-in-php/#comment-17217 Spammers go home! :) Spammers go home! :)

]]> By: Organic Baby Bedding http://www.seoblog.com.ua/2007/03/20/multiplexing-in-php/#comment-17213 Organic Baby Bedding Fri, 16 May 2008 18:55:38 +0000 http://www.seoblog.com.ua/2007/03/02/multiplexing-in-php/#comment-17213 <strong>Organic Baby Bedding...</strong> I found your site on technorati and read a few of your other posts. Keep up the good work. I just added your RSS feed to my Google News Reader. Looking forward to reading more from you.... Organic Baby Bedding…

I found your site on technorati and read a few of your other posts. Keep up the good work. I just added your RSS feed to my Google News Reader. Looking forward to reading more from you….

]]>