[Packt] Learning Scrapy + Scrapy Documentation Release 1.1.0

Переводчик: AllAboutGraph Оригинальное название: Learning Scrapy Объем: 415 страниц Ссылка на оригинальную книгу Кратко о книге Эта книга посвящена долгожданной Scrapy 1.0, которая позволяет вам извлекать полезные данные практически из любого виртуального источника, прилагая совсем небольшие усилия. Она начинается с объяснения основ фреймворка Scrapy, после чего следует подробное описание того, как извлекать данные из любого источника, чистить их и форматировать их согласно вашему требованию с использованием Python и сторонних API. Далее вы познакомитесь с процессом сохранения собранной информации в базе данных, а также с поисковыми системами и выполнением анализа этих данных в режиме реального времени с помощью Spark Streaming. К концу этой книги вы с легкостью в совершенстве освоите искусство сбора данных. Прочитав книгу, Вы сможете: · понимать структуру HTML-страниц и писать XPath для извлечения нужных вам данных; · писать пауков Scrapy и выполнять краулинг; · работать с данными в любой системе баз данных, поисковой системе или аналитической системе; · сконфигурировать вашего паука для загрузки файлов, изображений и использовать прокси-серверов; · создавать эффективные конвейеры, которые передают данные в нужном вам формате; · использовать асинхронный API на базе фреймворка Twisted для одновременной обработки сотен элементов; · сделать вашего паука сверхбыстрым, узнав, как настроить производительность Scrapy; · выполнять масштабный распределенный краулинг с помощью scrapyd и scrapinghub. Об авторе За плечами Димитриоса Кузиса-Лукаса - пятнадцатилетний опыт работы в качестве высококлассного разработчика программного обеспечения. Кроме того, он использует свои приобретенные знания и опыт, чтобы научить широкую аудиторию писать качественное программное обеспечение, а также. Он является специалистом в нескольких дисциплинах, в том числе математике, физике и микроэлектронике. Глубокое понимание этих предметов позволило ему выйти за рамки "прагматических решений". Он знает, что настоящие решения должны быть точными, как законы физики, надежными, как ECC-память, и универсальными, как математика. В настоящий момент Димитриос занимается разработкой распределенных отказоустойчивых систем с низким временем отклика, используя новейшие технологии дата-центров. Он не привязан к какому-то конкретному языку, но отдает небольшое предпочтение Python, C ++ и Java. Твердо верит в открытое программное и аппаратное обеспечение и надеется, что его вклад принесет пользу определенным кругам специалистов, а также всему человечеству. Подробное содержание Оригинальное название: Scrapy Documentation Release 1.1.0 Объем: 246 страниц Ссылка на оригинальную книгу Подробное содержание