Как только в Google Drive появляется новая запись, сценарий расшифровывает её и складывает готовый текст в Azure Cosmos DB.
Перенос данных из Azure Cosmos DB в Databricks делается готовым сценарием: он сам замечает новое и переносит его.
Настроить такую автоматизацию (Azure Cosmos DB + Databricks) можно в Scriptera — без кода: опишите задачу, остальное сделают за вас.