Перенос данных из Databricks в Google Cloud Firestore делается готовым сценарием: он сам замечает новое и переносит его.
Настроить такую автоматизацию (Databricks + Google Cloud Firestore) можно в Scriptera — без кода: опишите задачу, остальное сделают за вас.