Как я могу классифицировать URL-адреса карты сайта (WooCommerce/OpenCart/custom) [закрыто]

Как я могу классифицировать URL-адреса карты сайта (WooCommerce/OpenCart/custom) [закрыто] ⇐ Python

1 сообщение • Страница 1 из 1

Anonymous

Как я могу классифицировать URL-адреса карты сайта (WooCommerce/OpenCart/custom) [закрыто]

Цитата

Сообщение Anonymous » 21 ноя 2025, 17:27

Я работаю над сканером на Python, который берет карту сайта электронной коммерции и классифицирует каждый URL-адрес по типу страницы, например:

Код: Выделить всё
```
home
```
Код: Выделить всё
```
product
```
Код: Выделить всё
```
product_category
```
Код: Выделить всё
```
product_tag
```
Код: Выделить всё
```
brand
```
Код: Выделить всё
```
post
```
Код: Выделить всё
```
privacy_policy
```
Код: Выделить всё
```
terms
```
Код: Выделить всё
```
cookie_policy
```
и т. д.

Конечная цель — иметь все страницы с:

содержимым уценки (HTML → Markdown)
меткой типа, описывающей тип страницы

Для преобразования HTML → Markdown я использую Crawl4AI, который прекрасно работает.

Сложная часть — это классификация каждого URL-адреса в правильный тип страницы.

Что я пробовал до сих пор
Для некоторых URL-адресов шаблон прост:

Код: Выделить всё
```
/product/...
```
→ продукт
Код: Выделить всё
```
/product_cat/...
```
или /category/... → Product_category
Код: Выделить всё
```
/product_tag/...
```
→ Product_tag
Код: Выделить всё
```
/brand/...
```
→ бренд
URL-адреса, содержащие информацию о конфиденциальности, термины, файлы cookie → юридические страницы

Это отлично работает для таких платформ, как WooCommerce или OpenCart, когда они используют предсказуемые шаблоны URL-адресов.

Основная проблема
Многие магазины используют SEO-дружественные URL-адреса товаров которые не следуют какой-либо последовательной схеме.

Пример: https://www.example.com/health-aid-vita ... 000mg-doro
Это страница продукта, но:

нет /product/ сегмент
нет идентифицируемого маршрута, такого как маршрут=продукт/продукт
сам по себе слаг ненадежен без добавления множества хрупких правил

Поэтому классификация на основе URL становится ненадежной.

Что я ищу
Я был бы очень признателен за идеи о том, как это сделать классификация более надежна, например:
1. Лучшие сигналы обнаружения продуктов из HTML, например:

Код: Выделить всё
```
application/ld+json
```
с @type: Product
наличие цены, наличия, SKU, атрибутов
кнопки «добавить в корзину» / «купить сейчас»
общие шаблоны микроданных WooCommerce / OpenCart

2. Как структурировать удобный в сопровождении классификатор, например:

система на основе правил с упорядоченной эвристикой
подход извлечения признаков + небольшая модель машинного обучения (наивный Байес, логистическая регрессия и т. д.)
гибридный подход, сочетающий сигналы URL и сигналы HTML

3. Подсказки для конкретной платформы

селекторы, классы CSS или схемы, обычно используемые WooCommerce / OpenCart / пользовательскими темами
шаблоны, которые отличают страницы со списком категорий/брендов/тегов

Сводка
Для каждой из них предоставляется только карта сайта (или индекс карты сайта) и HTML URL,

какие надежные способы классифицировать страницу по типам, например:

Код: Выделить всё

product

, Product_category, Product_tag, Brand, post, static_page, Privacy_policy, terms, cookie_policy и т. д.?
Меня в первую очередь интересуют:

надежное обнаружение продуктов, когда URL-адреса SEO не следуют очевидным шаблонам и
советы по архитектуре для создания удобного в сопровождении классификатора на Python.

Подробнее здесь: https://stackoverflow.com/questions/798 ... art-custom

1763735237

Anonymous

Я работаю над сканером на Python, который берет карту сайта электронной коммерции и классифицирует каждый URL-адрес по типу страницы, например:
[list]
[*][code]home[/code]
[*][code]product[/code]
[*][code]product_category[/code]
[*][code]product_tag[/code]
[*][code]brand[/code]
[*][code]post[/code]
[*][code]privacy_policy[/code]
[*][code]terms[/code]
[*][code]cookie_policy[/code]
[*]и т. д.
[/list]
Конечная цель — иметь все страницы с:
[list]
[*]содержимым уценки (HTML → Markdown)
[*]меткой типа, описывающей тип страницы
[/list]
Для преобразования HTML → Markdown я использую [b]Crawl4AI[/b], который прекрасно работает.

Сложная часть — это [b]классификация[/b] каждого URL-адреса в правильный тип страницы.

Что я пробовал до сих пор
Для некоторых URL-адресов шаблон прост:
[list]
[*][code]/product/...[/code] → продукт
[*][code]/product_cat/...[/code] или /category/... → Product_category
[*][code]/product_tag/...[/code] → Product_tag
[*][code]/brand/...[/code] → бренд
[*]URL-адреса, содержащие информацию о конфиденциальности, термины, файлы cookie → юридические страницы
[/list]
Это отлично работает для таких платформ, как WooCommerce или OpenCart, когда они используют предсказуемые шаблоны URL-адресов.

Основная проблема
Многие магазины используют [b]SEO-дружественные URL-адреса товаров[/b] которые не следуют какой-либо последовательной схеме.

Пример: https://www.example.com/health-aid-vitamin-c-1000mg-orange-eff-20s-pr-vitamin-c1000mg-doro
Это страница продукта, но:
[list]
[*]нет /product/ сегмент
[*]нет идентифицируемого маршрута, такого как маршрут=продукт/продукт
[*]сам по себе слаг ненадежен без добавления множества хрупких правил
[/list]
Поэтому классификация на основе URL становится ненадежной.

Что я ищу
Я был бы очень признателен за идеи о том, как это сделать классификация более надежна, например:
[b]1. Лучшие сигналы обнаружения продуктов из HTML[/b], например:
[list]
[*][code]application/ld+json[/code] с @type: Product
[*]наличие цены, наличия, SKU, атрибутов
[*]кнопки «добавить в корзину» / «купить сейчас»
[*]общие шаблоны микроданных WooCommerce / OpenCart
[/list]
[b]2. Как структурировать удобный в сопровождении классификатор[/b], например:
[list]
[*]система на основе правил с упорядоченной эвристикой
[*]подход извлечения признаков + небольшая модель машинного обучения (наивный Байес, логистическая регрессия и т. д.)
[*]гибридный подход, сочетающий сигналы URL и сигналы HTML
[/list]
[b]3. Подсказки для конкретной платформы[/b]
[list]
[*]селекторы, классы CSS или схемы, обычно используемые WooCommerce / OpenCart / пользовательскими темами
[*]шаблоны, которые отличают страницы со списком категорий/брендов/тегов
[/list]

Сводка
Для каждой из них предоставляется только карта сайта (или индекс карты сайта) и HTML URL,

какие надежные способы классифицировать страницу по типам, например:
[code]product[/code], Product_category, Product_tag, Brand, post, static_page, Privacy_policy, terms, cookie_policy и т. д.?
Меня в первую очередь интересуют:
[list]
[*][b]надежное обнаружение продуктов, когда URL-адреса SEO не следуют очевидным шаблонам[/b] и
[*][b]советы по архитектуре[/b] для создания удобного в сопровождении классификатора на Python.
[/list] 

Подробнее здесь: [url]https://stackoverflow.com/questions/79826597/how-can-i-classify-sitemap-urls-woocommerce-opencart-custom[/url]