В основном я нахожу ответы на свои вопросы в Google, но теперь я застрял.
Я работаю над парсерным скриптом, который сначала собирает некоторые имена пользователей веб-сайта, а затем получает все детали пользователь. задействованы два парсера: первый проходит через главную страницу, получает имя, затем получает подробную информацию о странице профиля, затем переходит на следующую страницу...
первый сайт, который я парсингую имеет в общей сложности 64 имени, отображаемых на одной главной странице, а вторая имеет 4 страницы, на которых отображается более 365 имен.
первый работает отлично, однако второй продолжает выдавать мне внутреннюю ошибку 500. Я попытался ограничить скрипт, очистить только несколько имен, что работает как шарм, поэтому я более чем уверен, что сам скрипт в порядке!
max_execution_time в моем ini-файле php установлен на 1500 , так что я думаю, это тоже не проблема, однако есть что-то, вызывающее ошибку...
не уверен, что добавление команды сна после каждых 10 имен, например, решит мою ситуацию, но что ж, я пытаюсь это сделать прямо сейчас!
поэтому, если у кого-то из вас есть идеи, что поможет решить эту ситуацию, я буду признателен за вашу помощь!
Заранее спасибо,
z
Подробнее здесь: https://stackoverflow.com/questions/751 ... rnal-error
Длительная работа парсера PHP возвращает 500 внутренних ошибок ⇐ Php
Кемеровские программисты php общаются здесь
-
Anonymous
1719551535
Anonymous
В основном я нахожу ответы на свои вопросы в Google, но теперь я застрял.
Я работаю над парсерным скриптом, который сначала собирает некоторые имена пользователей веб-сайта, а затем получает все детали пользователь. задействованы два парсера: первый проходит через главную страницу, получает имя, затем получает подробную информацию о странице профиля, затем переходит на следующую страницу...
первый сайт, который я парсингую имеет в общей сложности 64 имени, отображаемых на одной главной странице, а вторая имеет 4 страницы, на которых отображается более 365 имен.
первый работает отлично, однако второй продолжает выдавать мне внутреннюю ошибку 500. Я попытался ограничить скрипт, очистить только несколько имен, что работает как шарм, поэтому я более чем уверен, что сам скрипт в порядке!
max_execution_time в моем ini-файле php установлен на 1500 , так что я думаю, это тоже не проблема, однако есть что-то, вызывающее ошибку...
не уверен, что добавление команды сна после каждых 10 имен, например, решит мою ситуацию, но что ж, я пытаюсь это сделать прямо сейчас!
поэтому, если у кого-то из вас есть идеи, что поможет решить эту ситуацию, я буду признателен за вашу помощь!
Заранее спасибо,
z
Подробнее здесь: [url]https://stackoverflow.com/questions/7513550/long-running-php-scraper-returns-500-internal-error[/url]
Ответить
1 сообщение
• Страница 1 из 1
Перейти
- Кемерово-IT
- ↳ Javascript
- ↳ C#
- ↳ JAVA
- ↳ Elasticsearch aggregation
- ↳ Python
- ↳ Php
- ↳ Android
- ↳ Html
- ↳ Jquery
- ↳ C++
- ↳ IOS
- ↳ CSS
- ↳ Excel
- ↳ Linux
- ↳ Apache
- ↳ MySql
- Детский мир
- Для души
- ↳ Музыкальные инструменты даром
- ↳ Печатная продукция даром
- Внешняя красота и здоровье
- ↳ Одежда и обувь для взрослых даром
- ↳ Товары для здоровья
- ↳ Физкультура и спорт
- Техника - даром!
- ↳ Автомобилистам
- ↳ Компьютерная техника
- ↳ Плиты: газовые и электрические
- ↳ Холодильники
- ↳ Стиральные машины
- ↳ Телевизоры
- ↳ Телефоны, смартфоны, плашеты
- ↳ Швейные машинки
- ↳ Прочая электроника и техника
- ↳ Фототехника
- Ремонт и интерьер
- ↳ Стройматериалы, инструмент
- ↳ Мебель и предметы интерьера даром
- ↳ Cантехника
- Другие темы
- ↳ Разное даром
- ↳ Давай меняться!
- ↳ Отдам\возьму за копеечку
- ↳ Работа и подработка в Кемерове
- ↳ Давай с тобой поговорим...
Мобильная версия