Краулеры современных веб-приложений и проект «Роботестер». Кацев Илья

846

Кацев Илья рассказывает о технических задачах, которые необходимо решить для построения такого краулера и об экспериментальном проекте под названием «Роботестер», который разрабатывается Яндексом.

  1. Вступление
  2. Идеальное будущее
  3. Краулеры
  4. Deep Web
  5. Очень сложные формы
  6. Crawljax
  7. Используем текст
  8. Веб для незрячих
  9. Признаки
  10. Стратегии краулинга
  11. AutoBlackTest
  12. Ходим на один шаг
  13. Общие принципы
  14. Анализ страницы
  15. WebDriver
  16. Город
  17. E-mail
  18. Анализ страницы
  19. Покрывающие наборы
  20. Реализация
  21. Пример
  22. Запрещенные слова
  23. Проверки
  24. Как пользоваться
  25. Добавили поле
  26. И наконец
  27. Менеджерское
  28. Будущее: обучение
  29. Еще