Определите динамические запросы, сделанные javascript для целей веб-скрапингаPhp

Кемеровские программисты php общаются здесь
Ответить Пред. темаСлед. тема
Anonymous
 Определите динамические запросы, сделанные javascript для целей веб-скрапинга

Сообщение Anonymous »

Я хотел бы выполнить парсинг этой веб-страницы, и вот что я сделал, пытаясь найти динамический URL-адрес, который находится за javascipt этой страницы.
  • Откройте страницу в Google Chrome.
  • Выберите «Проверить» в контекстном меню.
  • Перейти в режим «Сеть» tab.
  • Запускаем получение JavaScript по клавише F5.
  • Проверьте подвкладку «Fetch/XHR» и найдите «вакансии», у которых есть «Ответ» (дополнительная вкладка), содержащий JSON объявлений о вакансиях.

    Перейдите в подраздел «Заголовки». вкладка «URL-адрес запроса» — https://cheo.wd10.myworkdayjobs.com/wda ... _Site/jobs
  • Откройте указанный выше URL-адрес запроса, в результате чего ответ будет выглядеть следующим образом:
    {"errorCode":"HTTP_500","errorCaseId":"E46F9EM40PAYV2","httpStatus":500,"locale":"en-GB,en-U S;q=0.9,en;q=0.8,zh-CN;q=0.7,zh;q=0.6","message":"","messageParams":{}}< /p>
В прошлом мне удавалось, следуя приведенным выше шагам, находить динамические URL-адреса для других веб-страниц. На этой странице (и на многих других) мне, должно быть, чего-то не хватает. Мои вопросы:
  • Каковы шаги по получению динамического URL-адреса для парсинга упомянутой веб-страницы?
  • Есть ли подробные руководства по этой теме?
Кстати, я использую PHP и Simple_html_dom, когда выполняю парсинг веб-страниц.

Подробнее здесь: https://stackoverflow.com/questions/792 ... b-scraping
Реклама
Ответить Пред. темаСлед. тема

Быстрый ответ

Изменение регистра текста: 
Смайлики
:) :( :oops: :roll: :wink: :muza: :clever: :sorry: :angel: :read: *x)
Ещё смайлики…
   
К этому ответу прикреплено по крайней мере одно вложение.

Если вы не хотите добавлять вложения, оставьте поля пустыми.

Максимально разрешённый размер вложения: 15 МБ.

  • Похожие темы
    Ответы
    Просмотры
    Последнее сообщение
  • Самый эффективный способ найти несколько целей для нескольких целей? 2D MMORPG на основе сетки
    Гость » » в форуме C#
    0 Ответы
    126 Просмотры
    Последнее сообщение Гость
  • Самый эффективный способ найти несколько целей для нескольких целей? 2D MMORPG на основе сетки
    Гость » » в форуме C#
    0 Ответы
    115 Просмотры
    Последнее сообщение Гость
  • Все запросы, сделанные в Spring Boot Soap Web Service
    Anonymous » » в форуме JAVA
    0 Ответы
    2 Просмотры
    Последнее сообщение Anonymous
  • Все запросы, сделанные на Spring Boot Soap Web Service.
    Anonymous » » в форуме JAVA
    0 Ответы
    2 Просмотры
    Последнее сообщение Anonymous
  • Страница веб-скрапинга Javascript с помощью Selenium и Python
    Anonymous » » в форуме Python
    0 Ответы
    11 Просмотры
    Последнее сообщение Anonymous

Вернуться в «Php»