Сбор данных с многостраничных сайтов в таблицу

Сценарий проходит сайт постранично — сам находит и жмёт «следующую», собирает нужные поля со всех страниц и складывает их строками в таблицу. Настраивается один раз под любой сайт.

  • Сам перелистывает страницы до последней
  • Собирает нужные поля со всех страниц сразу
  • Складывает результат строками в таблицу
  • Один раз настроил — работает под любой сайт
Поставить себеScriptera

Как это работает

Перенос данных из TimescaleDB в делается готовым сценарием: он сам замечает новое и переносит его.

  1. Запуск: Старт
  2. Затем: Входные данные
  3. Затем: Получить начальный URL
  4. Проверка: Объединить HTML и поля
  5. Затем: Извлечь поля
  6. Затем: Агрегировать поля
  7. Затем: Разделить элементы
  8. Затем: Сохранить собранные данные
  9. Затем: Извлечь ссылку следующей страницы
  10. Проверка: Проверка ссылки следующей страницы
  11. Если да — Ввод следующей страницы
  12. Затем: Разделить поля

Такой сценарий можно запустить в Scriptera: задача описывается обычными словами, сборка и запуск — на стороне сервиса.

Похожие сценарии