Особенности разработки MVP модели для слежения за сотрудником Сегодня расскажем про один наш кейс из жизни команды разработки компьютерного зрения. Полную версию Владимир, дата сайнтист в Гаоди, выложил на хабре, а здесь сделали выжимку. Суть задачи Дано: строго регламентированная последовательность операций, производимая над образцом работниками производства. Проблема: нарушение последовательности выявляется только на стадии эксплуатации изделия и ведет к его поломкам. Что требуется: организовать real-time систему слежения за сотрудниками и предупреждения нарушения регламента с помощью умных камер. В чем сложности? Наш заказчик - крупный серийный производитель, съемка на котором попадает под NDA, поэтому для нас было доступно только одно видео с последовательностью действий работника. Просмотрев его, мы выделили 5 последовательных операций. Так как других данных для обучения у нас не было, пришлось искать аналогичные действия, но уже в открытых датасетах. Мы выбрали датасет Kinetics-700, состоящий из 700 классов. Запустив предобученную MoviNet модель на нашем тестовом видео, для ручной проверки были отобраны классы, которые выдали наибольшую вероятность на видео и те, у которых аналогичное название (укладка детали на рабочий стол = укладка плитки). Некоторые классы были исключены после просмотра первых 20 видео, как нерелевантные. Если же на видео действия кажутся похожими на производственные, то просматриваются все 1000 экземпляров класса и выбираются наиболее близкие к искомым. Таким образом, просмотр, сортировка и фильтрация 40000 клипов и отбор 1500 релевантных из них заняли почти неделю работу двух дата сайнтистов. Что получилось в итоге Наша модель, дообученная на новом датасете, показала неплохие результаты на тестовом видео и смогла дифференцировать (отличить) 3 из 5 операций. Но еще остались 2 операции, для которых примеров из выборки не хватило, но это уже будет наш следующий гоал. #устамиинженера