Собственно задача скрипта: есть 100000 страниц некоего сайта, на страницах размещенны данные нас итересует сбор 3х числовых значений x,y,z с каждой страницы с последующим подщетом их по простой формуле (x-y)*z и сумированием, данные рандомно меняються, актуальность результат подщета теряет за 2-5 минут , собственно интересует возможно ли за 5 минут оббежать 100000 страниц и подщитать то что нужно. Возможно ли такое впринцыпе ? требования к системе на которой будет стоять софт ? Может не очень внятно сформулировал но суть понятна, заранее спасибо за ответ
теоритически, думаю, возможно. на практике - сервер не мгновенно может откликаться на запрос, для 100000страниц набежит солидное время. +время работы парсера, который будет искать x, y, z +время подсчёта +время отклика ВМ для этого скрипта
Лимитирующем фактором в данной задаче является пропускная способность каналов как сервера так и клиента. Если одна странична сайта "весит" в среднем 10 кб то 100000 *10 кб = 1 Гб трафика делим 5 мин и имеем примерно 200 Мб в мин. Я думаю у тебя нет таких каналов. Да и редкий сайт хостится на таких каналах. Я уже не говорю про то что сервак может подумать что началься DDOS и отключить в тихую твою подсетку ...
о_О Это вроде как бы и не сильный канал, если что. Всего лишь 27мбит, а сейчас уже гигабиты. Но если нагруженная динамика(например работа с БД), то сервак не справится с отдачей.
Ты не путай магистральные каналы и каналы на хостинге. + учитываем что кроме нашго друга с такой задачей будут еще и масса нормальных пользователей ... Т.е. каналом нельзя пользоваться мономольно.
ivand Думаю реально, если в твоем распоряжении порядка сотни машин с хорошим каналом. Обзавестись таким ботнетом более, чем реально.
