Как предотвратить дублирующие новостные статьи с аналогичными значениями в проекте Scraping Web Laravel? [закрыто] ⇐ Php

[Anonymous]

Я строю приложение Laravel, которое объединяет новости с нескольких веб -сайтов с использованием Domcrawler. Система соскабливает дублированный контент, в котором статьи имеют одинаковое значение, но разные формулировки. HASHE

текущая настройка :

• laravel 10
• php 8.2
• guzzlehttp/guzze for http Questions
• symfler/domfler/domfler/domfler/domfler/guzzl Подбор

ошибка с предложениями-трансформаторами :
Как я могу реализовать эффективную семантическую дедупликацию в среде PHP/Laravel? Существуют ли собственные решения PHP или надежные службы API для этой цели?

Подробнее здесь: https://stackoverflow.com/questions/796 ... l-web-scra