Сайт целиком — в текстовую базу для нейросети

Сценарий обходит сайт, собирает ссылки, забирает текст страниц, приводит его в аккуратный вид и раскладывает по таблице.