Методы распределенной обработки больших объемов данных в Hadoop. Лекция №1. Введение в Big Data и MapReduce. Романенко Алексей

848

Романенко Алексей рассказывает о том, что такое большие данные и об истории возникновения этого явления. Объясняет, что такое Hadoop, и где он применяется, что такое «облачные вычисления», история возникновения и развития технологии. Приводит пример типичных задач Big Data.

  1. Data Explosion
  2. Wayback Machine
  3. Много данных – это сколько?
  4. Необходимые знания
  5. Как же стать гуру Hadoop?
  6. Этот курс не для вас, если…
  7.  Оценка результатов
  8. Использование Hadoop
  9. “Hadoop Дзен”
  10. Интерлюдия: Облачные вычисления
  11.  “Облака” – это верх технологий?
  12. Ребрендинг Web 2.0
  13. Utility computing
  14.  Технология: Виртуализация
  15. Everything as a Service
  16. Зачем все это нужно?
  17. Работаем с Big Data
  18. Divide and Conquer
  19. Вопросы параллелизма
  20. Общая проблема
  21. Управление множеством воркеров
  22. Текущие средства
  23. Момент истины
  24. Датацентр — это большой компьютер!
  25. Так в чем же основной вопрос?
  26. “Big Ideas”
  27. MapReduce
  28. Типичные задачи Big Data
  29. Примеры задач для MapReduce
  30. MapReduce
  31. mapmap map map
  32. MapReduce
  33. MapReduce “Runtime”
  34. “Hello World”: Word Count Map
  35. MapReduce можно понимать как…
  36. Как же воркеры получают данные?
  37. Distributed File System
  38. Предположения
  39. GFS: Концепция дизайна
  40. Обязанности Namenode
  41. Теперь соберем все вместе