Код и полный улет!
Регистрируйтесь на GeekWeek!

Мы используем файлы «cookie», чтобы вам было удобнее пользоваться сайтом.

Шифруемся как профессионалы:

двухдневный курс по технологии блокчейн
%d0%9a%d1%80%d0%b0%d1%83%d0%bb%d0%b8%d0%bd%d0%b3

Scrapy: создаём краулер/парсер на Python с нуля

Краулинг - процедура анализа веб-страниц, сбор информации и последующий вывод в структурированной форме.
Рано или поздно, решая коммерческие задачи, вы столкнётесь с необходимостью скраулить нужную информацию со сторонних источников, это может быть простое считывание котировок или полноценная конкурентная слежка.

Сейчас набирает популярность Scrapy Framework, который написан на языке Python. Этот простой фреймворк предоставит вам мощный инструмент, с которым вы быстро сможете краулить множество ресурсов. Прочитать документацию можно здесь.

На этом мастер-классе мы развернём виртуальное окружение с нуля, установим нужные библиотеки, настроим инструменты и создадим своего собственного паука для краулинга веб-ресурса.

Содержание вебинара:

  • установка и настройка Python3;

  • развертывание виртуального окружения;

  • установка необходимых библиотек в окружение;

  • развертывание Scrapy - приложения;

  • написание паука для краулинга веб-ресурса.

Зарегистрируйся и посмотри запись вебинара