Web scraper / parser and crawler

Тема в разделе "WASM.ENGLISH", создана пользователем phakt, 21 апр 2018.

  1. phakt

    phakt Member

    Публикаций:
    0
    Регистрация:
    21 апр 2018
    Сообщения:
    56
    hello,

    what are the bests Web scrapers/parsers and crawlers?

    Thank you
     
  2. phakt

    phakt Member

    Публикаций:
    0
    Регистрация:
    21 апр 2018
    Сообщения:
    56
    bump!
     
  3. UbIvItS

    UbIvItS Well-Known Member

    Публикаций:
    0
    Регистрация:
    5 янв 2007
    Сообщения:
    6.074
    what exactly do u need 777
     
  4. phakt

    phakt Member

    Публикаций:
    0
    Регистрация:
    21 апр 2018
    Сообщения:
    56
    parse links from search engine and spider http websites..
     
  5. UbIvItS

    UbIvItS Well-Known Member

    Публикаций:
    0
    Регистрация:
    5 янв 2007
    Сообщения:
    6.074
    dig into github.com. 4 instance, https://github.com/celrenheit/spider
     
  6. phakt

    phakt Member

    Публикаций:
    0
    Регистрация:
    21 апр 2018
    Сообщения:
    56
    can you suggest other? for CLI
    maybe you can ask someone or search something on some forum?

    Thanks!
     
  7. UbIvItS

    UbIvItS Well-Known Member

    Публикаций:
    0
    Регистрация:
    5 янв 2007
    Сообщения:
    6.074
    phakt, hmmm.. not sure what's exactly u need. actually, it's quite possible to use lynx+grep to build any spider/scraper.
     
  8. phakt

    phakt Member

    Публикаций:
    0
    Регистрация:
    21 апр 2018
    Сообщения:
    56
    can you give any pratical examples?
    any software or bash script that does this?
     
  9. UbIvItS

    UbIvItS Well-Known Member

    Публикаций:
    0
    Регистрация:
    5 янв 2007
    Сообщения:
    6.074
  10. phakt

    phakt Member

    Публикаций:
    0
    Регистрация:
    21 апр 2018
    Сообщения:
    56