Сценарий замечает изменения записей в AWS DynamoDB и сам создаёт файлы в Databricks. Работает само, без ручного переноса.
Перенос данных из AWS DynamoDB в Databricks делается готовым сценарием: он сам замечает новое и переносит его.
Настроить такую автоматизацию (AWS DynamoDB + Databricks) можно в Scriptera — без кода: опишите задачу, остальное сделают за вас.