Миф или правда
Правда ли, что большие данные — это просто очень много строк?
Миф
Большие данные — это просто очень много строк
На самом деле
Нет: главное — что привычные инструменты уже не справляются, а закономерности видны только на всём объёме; отсюда особые способы хранения и обработки.
Большие данные — что это на самом деле
Данные, у которых объём, скорость поступления и разнообразие таковы, что одна машина с привычными программами их не обрабатывает. Работу делят между многими компьютерами. Ценность — закономерности всего массива: рекомендации, прогноз спроса, обучение моделей ИИ.
Классика определения — «3V»: volume, velocity, variety (объём, скорость, разнообразие). Данные не помещаются и не обрабатываются на одной машине за разумное время, поэтому хранение и вычисления распределяют по кластеру, а потоки…
Аналогия: Перепись всей страны против списка класса: список прочтёшь глазами, перепись считают машины — зато она показывает закономерности, невидимые в одном классе.
Полное определение →Это понятие вводят примерно 15-17 лет (9-11 класс).