PHP парсеры

PHP парсеры ​ Дорогие друзья, предлагаю вашему вниманию полный курс по PHP-парсерам в записи! За два месяца мы разобрали множество полезных и увлекательных тем. Вот ключевые из них: CURL: основы и хитрые приёмы Куки, авторизация, антикапча Правильная организация стадий парсинга PHPJqueryDOM и нативный класс-парсер Ускорение работы строковых ключей в БД (целочисленная хеш-техника) JS-морда — динамическая статистика вместо зависшего надолго PHP-скрипта Парсинг картинок с bing по ключевикам Модуль уникализации скачанных изображений Урок 1 Умный CURL CURL — принципы работы Создание класса обёртки GET и POST запросы Работа с HTTPS Работа с куками Эмуляция всех заголовков браузера Фокусы keep alive Проксирование в теории Анализ заголовков Следование за редиректами Урок 2 Организация парсинга Конфигурационные файлы для CURL Нативный парсинг MoveTo ReadTo ReadFrom Другие полезные функции Работа с PHPJqueryDOM Объекты и их свойства Селекторы и функции Сохранение результатов Урок 3 Комбинированный парсинг Проблемы PHPJqueryDOM Доработка нативного класса Subtag Общая схема парсинга Разбор этапов парсинга Сохранение результатов в БД Класс-обёртка для PDO Урок 4 Хранение скачанных данных Перенос данных в БД Таблица урлов: хорошее SEO + высокая скорость Нереальное ускорение - замыкаем урлы в кольцо чисел БД: хэш-таблица и коллизии Доработка класса БД Архитектурные изыски sender vs viewer Урок 5 Фреймворк Организация PHP-классов Создание js-морды Две схемы: sender и viewer JS для ajax-парсинга JS для отображения статистики Плюсы и минусы каждой схемы Общая идея организации пауков Урок 6 Противостояние Принцип работы капчи-картинки Пример создания простой капчи Антикапча Антикапча API Сохранение и передача изображения Ожидание и обработка результата Создание класса для антикапчи Урок 7 Парсинг изображений Настройка парсера на bing Скачивание изображений Создание библиотеки для уникализации Работа с изображениями в PHP Освещение, обсцвечивание, сепия Отражение, повороты Урок 8 Подведение итогов Доработка библиотеки для уникализации Приёмы уникализации Подведение итогов по темам Теория оценки рекламы Посетители * просмотры * CTR * стоимость Курс ещё не окончен