Алгоритмоцентрический дизайн. UX для дата-сцайнтистов. Ч.3 Человеческие ошибки в обучающих данных могут быть более или менее важными, в зависимости от варианта использования. Если модель машинного обучения используется только для выявления трендов в поведении потребителей, вероятно, ошибки не будет иметь значения критического значения. Но если алгоритм, на котором работает Тесла не видит 1% пешеходов из-за ошибок, полученных из плохих обучающих данных, результат будет катастрофическим. Некоторые алгоритмы могут обрабатывать небольшой шум в обучающих данных, а случайный шум даже помогает некоторым алгоритмам стать более точными, избегая переобучения. Но человеческие ошибки, как правило, не являются случайным шумом; следовательно, они, как правило, вносят непоправимую погрешность в обучающие данные. Ни один алгоритм не может пережить действительно плохие обучающие данные. Для простых задач, таких как бинарные метки для объективных задач, статистика довольно простая для решения. Но для субъективных задач или даже объективных задач с непрерывными данными не существует простой эвристики для выбора правильной метки. Подумайте о критической задаче создания обучающих данных, поместив ограничивающую рамку вокруг каждого пешехода, распознанного беспилотным автомобилем. Что, если у двух аннотаторов немного разные поля? Какая рамка правильная? Ответ не обязательно либо эта рамка, либо среднее значение двух коробок. Ключевым фактором является квалификационная рабочая сила: обучение и специализация разметчиков повышают качество алгоритмов, а информация, полученная от опытной рабочей силы, может помочь в разработке модели совместно с экспертами в предметной области. Лучшие модели создаются в результате конструктивного постоянного сотрудничества между машиной и человеческим интеллектом. Так, некоторые разметчики медицинских данных работают под руководством профессиональных медиков, анатомов и хирургов. Например, https://imerit.net/industries/medical-ai/