Современные методы и средства построения систем информационного поиска. Лекция 10. Особенности веб-поиска. Спайдер. Романенко Алексей

763

Романенко Алексей детально рассказывает о веб-поиске и говорит о спайдер.

  1. Популярность пользования поиска
  2. Веб без поисковых систем
  3. Немного истории
  4. Основы веб-поиска
  5. Потребности пользователей
  6. Как далеко заходят пользователи
  7. Эмпирическая оценка пользователем результатов
  8. Эмпирическая оценка пользователем ПС
  9. Коллекция веб-документов
  10. Какого размера веб
  11. Первое поколение поисковой рекламы: Goto (1996)
  12. Как ранжируется реклама
  13. Seach ads: есть и минусы
  14. Спайдер
  15. Основные задачи спайдера
  16. Спайдер, вид сверху
  17. Все ли так просто?
  18. Что любой спайдер должен делать?
  19. Явные и неявные правила вежливости
  20. Robot.txt
  21. Robot.txt пример
  22. Выполнение шагов при выкачки
  23. Основная архитектура спайдера
  24. DNS
  25. Парсинг
  26. Фильтры и Robot.txt
  27. Распределенный спайдер
  28. URL frontier: два основных соглашения
  29. URL frontier: схема Mercator
  30. Front queues
  31. Back queue heap
  32. Freshness
  33. Freshness vs. Age
  34. Deep Web
  35. Sitemaps, пример
  36. Хранение документов
  37. Удаление шума
  38. Поиск блока с контентом