восстановление утерянных тем форума из интернет-архивов

Думаю заняться, но нужен шустрый прокси за пределами России (потому что через доступные мне я буду выкачивать месяцами)
также не помешал бы ответ от администрации в каком виде удобнее предоставить информацию для слияния с текущим форумом

 

Там все непросто. В web.archive.org полностью сохранены только темы с первых трех страниц каждого раздела и последней (потому что ссылки на них выводятся сразу). То есть ограничения их глубины скачивания не позволят напрямую выкачать все.
Можно еще пытаться собирать из образов от разных дат (есть вероятность что когда-то все темы были на первых трех страницах).

 

nds, идея хорошая, но даже не знаю, и тебе геморно будет и нам потом импортировать. один тип брался, потом исчез кудато)
но вприныпе если спарсишь то куда мы денемся) удобней будет в json объекты. по датам смотри темы и посты собирай только от конца марта 2012. насчет прокси хз, у меня без них с архивом проблем нету (или там каптча есть?)

 

Это само собой разумеется
Проблема не в том чтобы найти и склеить а в том что е***ный роскомпозор позапрещал все архивы

 

xcode дело говорит. в архиве будет далеко не все и куча ньюансов. Возможно проще найти онлайн сервис с услугой выкачивания сайта из вебархива, а потом распарсить статику локально. но таких сервисов по пальцам пересчитать, и работают далеко не все идеально.

 

Просто у меня довольно большой опыт по парсингу сайтов с выдиранием нужного контента
не вижу смысла пользоваться теми сервисами

 

понятно. ну если сделаешь то все будем благодарны тебе

 

А не поделитесь знаниями?
Давно хочу изучить этот вопрос. Совсем в идеале - написать программу для выдирания форумов и гуглгрупс-обсуждений в оффлайновую базу (в частности интересует обсуждение предложений в стандарт https://isocpp.org/forums)
На чем лучше писать такое?

 

да нет там ничего особого
просматриваю структуру страниц и url а потом на основе неизменных частей разбираю на нужные данные.
по языку любой с нормальной поддержкой строк подойдет

зы скачано примерно 10% архива такчто скоро не ждите (

 

подойдет любой язык (асм в последнюю очередь), нужны HTTP методы + регулярные выражения

 

Я в основном имел в виду не столько язык, сколько уже готовые библиотеки, написанные на некотором языке специально для граббинга сайтов. И по поводу регулярных выражений - а есть такие которые работают не с текстом а с HTML DOM?

 

если что то в помощь по дому, то https://www.nuget.org/packages/HtmlAgilityPack както пользовался ей
на хабре есть небольшой обзор https://habrahabr.ru/post/273807/ и там же доп. либы для упращения работы с css-классами

 

А где жеж SSL ? HTTPS ? TLS ? : )

 

http://wasm.in/forum/threads/pravila-foruma-wasm-ru.2705/page-2#post-383572

 

Ну как там у вас идет процесс выкачивания?

 

идет процесс отходняка от нового года
страницы же докачались
как думать смогу разберу на сообщения

 

здесь всё пропитано олдскулом

Спойлер: клац

 

Почему Aquila или dimon не поделятся базой данных с оригинального форума? Кто нибудь их просил?

 

Прошло полгода с последнего сообщения Как там дела с выкачанными темами?