Весь сайт в базу знаний — для поиска и ответов по содержимому

Указываете сайт — сценарий обходит все его страницы, вытаскивает текст и складывает в базу знаний, готовую для поиска и ответов.

  • Все страницы сайта обходятся автоматически
  • Повторяющиеся адреса отсеиваются
  • Содержимое ложится в базу знаний для поиска
  • Основа для бота, отвечающего по сайту
Default Data LoaderEmbeddings Google GeminiPinecone Vector Storen8n Form

Как это работает

Интеграция Qdrant Vector Store и Default Data Loader собирается из готового сценария — вот как он устроен по шагам.

  1. Запуск: Ввод sitemap или URL страниц
  2. Проверка: Переключить
  3. Если да — Разделить URL страниц
  4. Проверка: Объединить URL
  5. Затем: Удалить дубликаты URL
  6. Проверка: Цикл по URL страниц
  7. Затем: Извлечь содержимое
  8. Затем: Pinecone KnowledgeBase
  9. Затем: Получение страницы HTML для контента
  10. Затем: Подождать 5 сек
  11. Если нет — Получить sitemap
  12. Затем: Конвертация XML
  13. Затем: Извлечь URL страниц
  14. Затем: Загрузчик данных
  15. Затем: Embeddings Gemini

Настроить такую автоматизацию (Qdrant Vector Store + Default Data Loader) можно в Scriptera — без кода: опишите задачу, остальное сделают за вас.