Как исправить ограничение на строку моего кода? - Цифровое Кемерово

Как исправить ограничение на строку моего кода? ⇐ Python

Ответить

1 сообщение • Страница 1 из 1

Anonymous

Как исправить ограничение на строку моего кода?

Цитата

Сообщение Anonymous » 28 фев 2026, 22:13

Итак, я написал этот код, который используется для анализа информации с веб-страницы в текстовый файл. он работает нормально, но может записать в txt только строку 501. Как я могу исправить код, чтобы убрать это ограничение?

Код: Выделить всё

import requests

Код: Выделить всё

from bs4 import BeautifulSoup

Код: Выделить всё

import re

Код: Выделить всё

brand = input(print("brand: "))

Код: Выделить всё

if brand == 0:

Код: Выделить всё

    brand = None

Код: Выделить всё

limit = int(input(print('limit: ')))

Код: Выделить всё

URL = f"URL" #URL of the web page with {brand - number in the url} and {limit - max found results}

Код: Выделить всё

HEADERS = {

Код: Выделить всё

    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64)"

Код: Выделить всё

Код: Выделить всё

def parse_forms():#parses specific forms which contain needed information

Код: Выделить всё

    try:

Код: Выделить всё

        response = requests.get(URL, headers=HEADERS, timeout=15)

Код: Выделить всё

        response.raise_for_status()

Код: Выделить всё

    except requests.RequestException as e:

Код: Выделить всё

        print("Request failed:", e)

Код: Выделить всё

        return []

Код: Выделить всё

    soup = BeautifulSoup(response.text, "html.parser")

Код: Выделить всё

    forms = soup.find_all("form")#in my webpage they use  to organize the elements of the page so i find information by this tag

Код: Выделить всё

    car_list = []

Код: Выделить всё

    for form in forms:

Код: Выделить всё

        car_data = {}

Код: Выделить всё

        # --- Extract hidden input values (often contain lot ID etc.)

Код: Выделить всё

        hidden_inputs = form.find_all("input", type="hidden")

Код: Выделить всё

        for inp in hidden_inputs:

Код: Выделить всё

            name = inp.get("name")

Код: Выделить всё

            value = inp.get("value")

Код: Выделить всё

            if name and value:

Код: Выделить всё

                car_data[name] = value

Код: Выделить всё

            else:

Код: Выделить всё

                car_data[name] = "None"

Код: Выделить всё

Код: Выделить всё

        car_list.append(car_data)

Код: Выделить всё

    return car_list

Код: Выделить всё

if __name__ == "__main__":

Код: Выделить всё

    cars = parse_forms()

Код: Выделить всё

    cars = cars[1:]#this operation removes unwanted infomation

Код: Выделить всё

    file_name = ""

Код: Выделить всё

    if int(brand) == 0:

Код: Выделить всё

        file_name = "car_list"

Код: Выделить всё

    else:

Код: Выделить всё

        file_name = car_sep[0]#first word of the array is always the brand

Код: Выделить всё

    output = open(f'{file_name}.txt', 'w', encoding="utf-8")

Код: Выделить всё

    output.write("Brand Model Year Body StartPrice Mileage IMG1 IMG2")

Код: Выделить всё

    output.write("\n")

Код: Выделить всё

    output.close()

Код: Выделить всё

Код: Выделить всё

    print(f"\nFound {len(cars)} form entries\n")

Код: Выделить всё

    car_sep = []

Код: Выделить всё

    for car in cars[:len(cars)-1]:

Код: Выделить всё

        car_sep.append(car['tomylistMARKA_NAME'])

Код: Выделить всё

        car_sep.append(car['tomylistMODEL_NAME'])

Код: Выделить всё

        car_sep.append(car['tomylistYEAR'])

Код: Выделить всё

        car_sep.append(car['tomylistKUZOV'])

Код: Выделить всё

        car_sep.append(car['tomylistSTART'])

Код: Выделить всё

        car_sep.append(car['tomylistMILEAGE'])

Код: Выделить всё

        car_sep.append(car['tomylistIMAGES'])

Код: Выделить всё

        car_sep.append(car['tomylistIMAGES2[]'])

Код: Выделить всё

        car_sep = ['_'.join(item.split(" ")) for item in car_sep]#i replace all the spaces with "_" to prepare for the future data editing

Код: Выделить всё

        output = open(f'{file_name}.txt', 'a', encoding="utf-8")

Код: Выделить всё

        for i in range (0, len(car_sep)):

Код: Выделить всё

           output.write(str(car_sep[i]))

Код: Выделить всё

            output.write(" ")

Код: Выделить всё

Код: Выделить всё

        output.write('\n')

Код: Выделить всё

        output.close()

Код: Выделить всё

        car_sep.clear()

Код: Выделить всё

    print(f"\nFound {len(cars)} form entries\n")#just to check how much information i have got from the page (idk why but this number deosn't exceed 501)

Подробнее здесь: https://stackoverflow.com/questions/798 ... of-my-code

1772306003

Anonymous

Итак, я написал этот код, который используется для анализа информации с веб-страницы в текстовый файл. он работает нормально, но может записать в txt только строку 501. Как я могу исправить код, чтобы убрать это ограничение?
[code]import requests[/code]

[code]from bs4 import BeautifulSoup[/code]

[code]import re[/code]
[code]brand = input(print("brand: "))[/code]

[code]if brand == 0:[/code]

[code]    brand = None[/code]

[code]limit = int(input(print('limit: ')))[/code]
[code]URL = f"URL" #URL of the web page with {brand - number in the url} and {limit - max found results}[/code]
[code]HEADERS = {[/code]

[code]    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64)"[/code]

[code]}[/code]
[code]def parse_forms():#parses specific forms which contain needed information[/code]

[code]    try:[/code]

[code]        response = requests.get(URL, headers=HEADERS, timeout=15)[/code]

[code]        response.raise_for_status()[/code]

[code]    except requests.RequestException as e:[/code]

[code]        print("Request failed:", e)[/code]

[code]        return [][/code]
[code]    soup = BeautifulSoup(response.text, "html.parser")[/code]
[code]    forms = soup.find_all("form")#in my webpage they use  to organize the elements of the page so i find information by this tag[/code]
[code]    car_list = [][/code]
[code]    for form in forms:[/code]
[code]        car_data = {}[/code]
[code]        # --- Extract hidden input values (often contain lot ID etc.)[/code]

[code]        hidden_inputs = form.find_all("input", type="hidden")[/code]

[code]        for inp in hidden_inputs:[/code]

[code]            name = inp.get("name")[/code]

[code]            value = inp.get("value")[/code]

[code]            if name and value:[/code]

[code]                car_data[name] = value[/code]

[code]            else:[/code]

[code]                car_data[name] = "None"[/code]
[code]       [/code]

[code]        car_list.append(car_data)[/code]
[code]    return car_list[/code]
[code]if __name__ == "__main__":[/code]

[code]    cars = parse_forms()[/code]

[code]    cars = cars[1:]#this operation removes unwanted infomation[/code]
[code]    file_name = ""[/code]

[code]    if int(brand) == 0:[/code]

[code]        file_name = "car_list"[/code]

[code]    else:[/code]

[code]        file_name = car_sep[0]#first word of the array is always the brand[/code]
[code]    output = open(f'{file_name}.txt', 'w', encoding="utf-8")[/code]

[code]    output.write("Brand Model Year Body StartPrice Mileage IMG1 IMG2")[/code]

[code]    output.write("\n")[/code]

[code]    output.close()[/code]
[code]   [/code]
[code]    print(f"\nFound {len(cars)} form entries\n")[/code]

[code]    car_sep = [][/code]

[code]    for car in cars[:len(cars)-1]:[/code]

[code]        car_sep.append(car['tomylistMARKA_NAME'])[/code]

[code]        car_sep.append(car['tomylistMODEL_NAME'])[/code]

[code]        car_sep.append(car['tomylistYEAR'])[/code]

[code]        car_sep.append(car['tomylistKUZOV'])[/code]

[code]        car_sep.append(car['tomylistSTART'])[/code]

[code]        car_sep.append(car['tomylistMILEAGE'])[/code]

[code]        car_sep.append(car['tomylistIMAGES'])[/code]

[code]        car_sep.append(car['tomylistIMAGES2[]'])[/code]
[code]        car_sep = ['_'.join(item.split(" ")) for item in car_sep]#i replace all the spaces with "_" to prepare for the future data editing[/code]
[code]        output = open(f'{file_name}.txt', 'a', encoding="utf-8")[/code]

[code]        for i in range (0, len(car_sep)):[/code]

[code]           output.write(str(car_sep[i]))[/code]

[code]            output.write(" ")[/code]

[code]                [/code]

[code]        output.write('\n')[/code]

[code]        output.close()[/code]
[code]        car_sep.clear()[/code]

[code]    print(f"\nFound {len(cars)} form entries\n")#just to check how much information i have got from the page (idk why but this number deosn't exceed 501)[/code] 

Подробнее здесь: [url]https://stackoverflow.com/questions/79898566/how-do-i-fix-the-string-limit-of-my-code[/url]

Ответить

1 сообщение • Страница 1 из 1

Быстрый ответ

Заголовок:

Имя пользователя:

Изменение регистра текста:

Смайлики

Ещё смайлики…

К этому ответу прикреплено по крайней мере одно вложение.

Если вы не хотите добавлять вложения, оставьте поля пустыми. Можно прикреплять файлы, перетаскивая их в окно сообщения.

Максимально разрешённый размер вложения: 15 МБ.

Имя файла:

Комментарий к файлу:

Имя файла	Комментарий к файлу	Размер	Статус

Вернуться в «Python»