Подскажите, пожалуйста, какие файлы и заголовки должна уметь отдавать WebApplication, "смотрящая" в интернет по 80-му порту так, чтобы роботы поисковиков, типа Google, Yandex, Baidu - распознавали ее как обычный сайт, работающий по управлением Apache или lighttpd?
Код 200. Заголовки не важны, если сервер отдает хтмл, то отдавайте хтмл. Если картинку/файл, то отдавайте их все. Главное что-бы код 200 был и не было редиректов (301 и т.д.).
А с редиректам что не так? И попутно ... Если я отдам в ответе еще и эти поля: Server: nginx 1.4.1 X-Powered-By: PHP 5.2.17 Этого хватить чтобы "убедить" различные анализаторы уязвимостей, что они анализируют реальный сайт?
Они не индексируют редиректы, т.е. выбрасывают такие страницы. А просто переходят по редиректу, но только если 301. Вообще какой смысл парсить эти заголовки, там-же что угодно можно написать. По крайне мере в графах сервер и т.д.
Ну так сервера обозначают что "они это они". Я хочу свое web-приложение научить "мимикрировать" под простой сайт. Поэтому ищу инфу, как еще анализаторы могут определить на чем сайт работает (ОС, Веб-Сервер).
