«Большие данные» - это новая наука понимания и прогнозирования человеческого поведения, изучая большие объемы неструктурированных данных. Большие данные также известны как «интеллектуальная аналитика».
Анализ сообщений на Twitter, фидов Facebook, eBay-поисков, GPS-трекеров и банкоматов - вот некоторые примеры больших данных. Изучение видеороликов безопасности, данных о трафике, погодных условий, полетных прибытий, журналов башни сотовых телефонов и трекеров по сердечному ритму - это другие формы. Большие данные - беспорядочная новая наука, которая меняется еженедельно, и лишь немногие эксперты все это понимают.
Каковы некоторые примеры больших данных в обычной жизни?
Хотя большинство крупных проектов данных очень неясны, есть успешные примеры больших данных, влияющих на повседневную жизнь людей, компаний и правительств:
Прогнозирование вирусных эпидемий: изучая социально-политические данные, данные о погоде и климате, а также больничные / клинические данные, эти ученые в настоящее время предсказывают вспышки лихорадки денге с уведомлением за 4 недели.
Смотреть: этот большой проект данных профиля убивает жертв, подозреваемых и преступников в Вашингтоне, округ Колумбия. И как способ почтить умершего и как ресурс для людей, этот большой проект данных увлекателен.
Планирование транзитных перевозок, Нью-Йорк: Программист WNYC Стив Мелендес собрал онлайн-график метро с программным обеспечением для путешествий. Его творение позволяет жителям Нью-Йорка щелкнуть их местоположение на карте, и появится прогноз времени в пути для поездов и метро.
Xerox сократила потери рабочей силы: работа в call-центре эмоционально утомительна. Xerox изучил данные данных с помощью профессиональных аналитиков, и теперь они могут предсказать, какие наемные работники колл-центров, скорее всего, останутся с самой длинной компанией.
Поддержка борьбы с терроризмом: изучая социальные медиа, финансовые отчеты, резервирование рейсов и данные о безопасности, правоохранительные органы могут прогнозировать и находить подозреваемых в терроризме до того, как они совершают свои злые дела.
Настройка маркетинга бренда на основе отзывов в социальных сетях: люди прямо и быстро делятся своими мыслями о жизни в пабе, ресторане или фитнес-клубе. Можно изучать эти миллионы сообщений в социальных сетях и предоставлять обратную связь компании о том, что люди думают об их услугах.
Кто использует большие данные? Что они делают с этим?
Многие монолитные корпорации используют большие данные для корректировки своих предложений и цен для максимального удовлетворения потребностей клиентов.
- Универмаг Macy's, например, использует большие данные для корректировки своих цен «на лету» для более чем 70 миллионов продуктов. Они даже отправляют индивидуальные электронные письма своим клиентам, исходя из того, что, по мнению Macy, они заинтересованы.
- Реакция полиции на бомбардировку Бостонского марафона: используя большие данные для изучения изображений видео и наблюдения, полиция смогла быстро сузить поиск подозреваемых.
- Стейкхаус Мортона использует Twitter, чтобы снять маркетинговые трюки, в том числе знаменитую доставку в Нью-Джерси стейка из стейка и ужин из креветок.
- Visa использует большие данные для выявления и обнаружения мошенников.Отдельные транзакции здесь и там могут легко скрывать недобросовестного пользователя кредитной карты, но, внимательно наблюдая за миллионами транзакций, можно обнаружить шаблоны мошенничества.
- Facebook использует большие данные для адаптации рекламы, Тщательно изучая ваши любимые и любимые привычки FB, у гигантских социальных сетей есть жуткое понимание ваших вкусов. Эти объявления боковых панелей, которые вы видите на своем канале Facebook, выбираются очень продуманными и сложными алгоритмами, которые наблюдали ваши привычки в Facebook.
Почему большие данные такие большие сделки?
4 вещи делают большие данные значительными:
1. Данные массивные. Он не подходит для одного жесткого диска, а тем более USB-накопителя. Объем данных намного превышает то, что может воспринимать человеческий разум (подумайте о миллиарде миллиардов мегабайт, а затем умножьте это на миллиарды).
2. Данные грязные и неструктурированные. От 50% до 80% большой обработки данных преобразует и очищает информацию, чтобы ее можно было искать и сортировать. Только несколько тысяч экспертов на нашей планете полностью знают, как сделать эту очистку данных. Эти специалисты также нуждаются в очень специализированных инструментах, таких как HPE и Hadoop, для выполнения своих задач. Возможно, через 10 лет крупные эксперты по данным станут десятками, но на данный момент они очень редкие виды аналитиков, и их работа по-прежнему очень неясна и утомительна.
3. Данные стали товаром **, который можно продать и купить. Существуют рынки данных, где компании и частные лица могут покупать терабайты социальных сетей и другие данные. Большинство данных облачно, поскольку оно слишком велико, чтобы вписаться на любой жесткий диск. Покупка данных обычно включает абонентскую плату, где вы подключаетесь к ферме облачных серверов.
** Лидерами больших инструментов и идей для данных являются Amazon, Google, Facebook и Yahoo. Поскольку эти компании обслуживают так много миллионов людей с помощью своих онлайн-сервисов, имеет смысл, что они станут точкой сбора и визионерами большой аналитики данных.4. Возможности больших данных бесконечны. Возможно, однажды врачи предскажут сердечные приступы и инсульты для отдельных людей за несколько недель до того, как они произойдут. Авиационные и автомобильные аварии могут быть уменьшены путем интеллектуального анализа их механических данных и характеристик движения и погоды. Онлайн-знакомства могут быть улучшены благодаря наличию больших предикторов данных о том, кто для вас совместим. Музыканты могут получить представление о том, какая музыкальная композиция наиболее приятна для меняющихся вкусов целевых аудиторий.Диетологи могут предсказать, какая комбинация закупированных в магазине продуктов будет усугубляться или помогать медицинским условиям человека. Поверхность была только поцарапана, и открытия в больших данных происходят каждую неделю.
Большие данные беспорядочны
Большие данные - это интеллектуальная аналитика: преобразование массивных неструктурированных данных во что-то доступное для поиска и сортируемое. Это грязное и хаотичное пространство, требующее особого знания и терпения.
Возьмем, например, монолитный сервис доставки ИБП. Программисты из ИБП изучают данные со своих GPS-навигаторов и смартфонов своих драйверов для анализа наиболее эффективных способов адаптации к заторам трафика. Данные GPS и смартфона являются гигантскими, а не автоматически готовы к анализу. Эти данные поступают из различных баз данных GPS и карт, через различные аппаратные устройства смартфона. Аналитики UPS провели месяцы, преобразовывая все эти данные в формат, который можно легко найти и отсортировать. Однако это стоило того. Сегодня ИБП сэкономил более 8 миллионов галлонов топлива, так как они начали использовать эту большую аналитику данных.
Поскольку большие данные являются беспорядочными и требуют больших усилий для очистки и подготовки к использованию, ученые-данные стали прозвать «хранилища данных» за всю утомительную работу, которую они выполняют.
Однако наука о больших данных и прогнозной аналитике улучшается каждую неделю. Ожидайте, что большие данные станут доступными для всех к 2025 году.
Разве большие данные не являются интрузивной угрозой конфиденциальности?
Да, если наши законы и защита частной жизни не будут тщательно контролироваться, тогда большие данные попадают в личную конфиденциальность. В настоящее время Google и YouTube и Facebook уже отслеживают ваши ежедневные привычки в Интернете. Ваш смартфон и компьютерная жизнь каждый день оставляют цифровые следы, а сложные компании изучают эти следы.
Законы вокруг больших данных развиваются. Конфиденциальность - это состояние, в котором вы должны теперь взять на себя личную ответственность, поскольку вы больше не можете ожидать его как права по умолчанию.
Что вы можете сделать для защиты вашей конфиденциальности:
Самый большой шаг, который вы можете предпринять, - это скрыть ваши повседневные привычки, используя VPN-соединение. Служба VPN будет скремблировать ваш сигнал, чтобы ваша личность и местоположение были, по крайней мере, частично замаскированы от трекеров. Это не сделает вас на 100% анонимным, но VPN значительно уменьшит, насколько мир может наблюдать ваши привычки в Интернете.
Где я могу узнать больше о больших данных?
Большие данные - увлекательная вещь для людей с аналитическими умами и любовью к технике. Если это вы, то обязательно посетите эту страницу интересных проектов с большими данными.
