Миф или правда
Правда ли, что чем больше датасет, тем лучше модель, — остальное неважно?
Миф
Чем больше датасет, тем лучше модель, — остальное неважно
На самом деле
Нет: грязный или перекошенный набор портит модель при любом размере; важны разнообразие примеров и точность разметки.
Датасет — что это на самом деле
Набор данных для обучения и проверки модели машинного обучения: примеры плюс разметка — правильные ответы к ним. Датасет делят на обучающую и проверочную части, чтобы оценивать модель на незнакомых примерах. Ошибки разметки и перекос состава модель выучит как правду — качество набора важнее хитрости алгоритма.
Выборка для обучения и проверки моделей: в задачах с учителем — размеченная, но бывают и неразмеченные (кластеризация, корпуса языковых моделей). Стандартное деление train/validation/test (например, 70/15/15); ключевые свойства —…
Аналогия: Сборник задач с ответами: каким собрали сборник, так ученик и натренируется — по одним задачам на сложение делить не научишься.
Полное определение →Это понятие вводят примерно 13-14 лет (7-8 класс).