В одном из проектов мы использовали Azure DevOps для полного цикла разработки: версионный контроль кода, непрерывная интеграция, публикация результатов тестов и т.д. В одной из статей документации были описаны механизмы для обнаружения и репортинга flaky тестов, но в основном касалось это тестов, которые запускали с помощью продуктов MS. Но также там упоминалось, что есть поддержка собственных механизмов выявления flaky тестов, только подробно это не было описано. Я тогда завёл тикет на документацию и вот, спустя полгода, документацию обновили и описали как помечать нестабильные тесты с помощью API. Только я уже в другом проекте и не пользуюсь Azure DevOps.