Как автоматически добавить все страницы сайта в базу данных? [закрыто] ⇐ Php

[Anonymous]

Если я создам поисковую систему и введу, например, URL-адрес Википедии, появится только эта домашняя страница. Как я могу сделать так, чтобы все страницы веб-сайта добавлялись в базу данных или чтобы все страницы веб-сайта отображались в поисковой системе без необходимости добавлять каждую вручную?
Есть ли какой-нибудь способ сделать это ? Потому что добавлять каждую страницу веб-сайта вручную невозможно, а еще хуже, если это несколько веб-сайтов.
Я думаю, что Google использует для этого механизм отслеживания, я не знаю.

Подробнее здесь: https://stackoverflow.com/questions/791 ... e-database