Сценарий скачивает файл-таблицу по ссылке, разбирает строки, оставляет нужные и добавляет их в вашу таблицу без дублей.
Перенос данных из AWS DynamoDB в Spotify делается готовым сценарием: он сам замечает новое и переносит его.
Такой сценарий можно запустить в Scriptera: задача описывается обычными словами, сборка и запуск — на стороне сервиса.