Сообщаешь о скомпрометированном ключе — сценарий с твоего подтверждения отключает его в yandexPochta, разбирает права, накладывает ограничение и отчитывается в Telegram.
Интеграция Telegram и yandexPochta собирается из готового сценария — вот как он устроен по шагам.
Такой сценарий можно запустить в Scriptera: задача описывается обычными словами, сборка и запуск — на стороне сервиса.