Скачать с ютуб Парсинг сайтов Scrapy Python. (CrawlSpider) + Xpath + Сохранение в CSV. За 40 минут в хорошем качестве

Парсинг сайтов Scrapy Python. (CrawlSpider) + Xpath + Сохранение в CSV. За 40 минут

Друзья, данное видео посвящено замечательному решению для парсинга framework Scrapy. Постарался записать максимально простое и короткое видео в котором передал все основные моменты, чтобы вы могли использовать данный инструмент в своей работе. Освой парсинг за 1 ЧАС! Старт проекта ---------------------------------------------------------------------------------------- scrapy startproject название проекта cd /адрес до папки с пауком scrapy genspider название домен с названием scrapy crawl название паука ------------------------------------------------------------------------------------- Самый простой и понятный из пауков CrawlSpider Задается так: class ...........(CrawlSpider): ------------------------------------------------------------------------------------ rules = ( Rule(LinkExtractor(allow=('/profnastil/',), deny = ('index.php', 'search', 'tag', 'revblog_blog', 'jpg', 'png', 'page', 'uploads', 'autor', 'simpleregister', 'my_account',)),callback='parse',follow=True), ) Пример кода для обхода одной категории. С вырезанием из обхода лишних страниц. Настройки settings.py Для выгрузки в нужный формат полей после завершения парсинга FEED_EXPORT_ENCODING= "utf-8" FEED_EXPORT_FIELDS = ['product_url', 'Seria','title', 'model', 'meta_title', 'meta_description', 'main_h1','color', 'glass', 'vstavka', 'cromka', 'product_text', 'product_corb', 'product_coplect', 'images'] FEED_FORMAT="json" # формат файла для вывода данных(json, csv, xml) FEED_URI="data.json" # путь для сохранения файла #FEED_FORMAT="csv" # формат файла для вывода данных(json, csv, xml) #FEED_URI="data.csv" # путь для сохранения файла скачка картинок ITEM_PIPELINES = { 'scrapy.pipelines.images.ImagesPipeline':300 } IMAGES_STORE = 'images' Краткий мануал по XPATH XPATH // - везде / - внутри ./ - напрямую в элементе . - текущий тег .. - родительский тег @ - классы и параметры Предикаты [1] - выбираем первый элемент [last()] - выбираем последний элемент [last()-1] - выбираем предпоследний элемент Подписывайтесь на канал и нажмите на колокольчик, чтобы получать уведомления о новых видео ----------------------------------------------------------------------------------------------------------------- Мой телеграм: ▶ https://t.me/seo_option - сюда вы можете быстро задать вопрос или предложить тему для видео. Мой информационный сайт: ▶ https://bondap.ru Мой инстаграм: ▶   / mr.vorsch   Скайп для консультаций: ▶ zullbatol1 --------------------------------------------------------------------------------------------------------------------------- 🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥 Поддержать канал: https://donate.stream/ya410011711871815 Поддержать канал webmoney: 324321417557 🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥 #продвижениесайтов #онлайнбизнес #раскруткавинтернете #обучениеseo #оптимизациясайтов #заработокнасайтах #seoдлябизнеса #СергейБондаревSEO #каналыпродаждлясайта #оптимизацияконтента #наполнениесайтов #интернет_маркетинг_блог