Обладатель "пулитцера" Том Торок: как покорить Big Data

Томас Торок - бывший глава команды Big Data в New York Times. Команда Томаса семь раз номинировалась на Пулитцеровскую премию и три раза ее получала. На киевской лекции, организованной Свободной школой журналистики, Торок рассказывал о профессиях будущего, как работать с большими массивами данных (Big Data) и о собственных историях успеха.

Об украинских корнях

Я очень рад приехать в Украину еще и потому, что мои дедушка и бабушка родом из Мукачево и мне удалось съездить на их родину.

Big Data - сколько это информации?

Big Data - комплексное понятие. Ему тяжело дать определение, оно зависит от разных факторов. К примеру, в 1982 году у нас был большой персональный компьютер и программа - часть программы НАСА. Она обрабатывала данные, но больше трех записей туда вводить не стоило. Четыре строки данных тогда считались большими объемами информации. В 1997-м мы приобрели данные по избирателям - 714 000 записей. Тогда мне надо было найти чье-то имя в базе. Помню, я запустил поиск, подождал немного, после этого пошел в мэрию, которая находилась в нескольких кварталах от редакции, и попросил там нужную информацию. Когда я вернулся, мой компьютер все еще вел поиск.

Сегодня мы видим, что компьютерные системы прошли огромный путь. Возможности выросли настолько, что нельзя четко определить, какое количество информации относится к Big Data.

Зачем учиться работать с Big Data

Если мы умеем управлять данными, мы получаем больше. По сути, мы сами становимся экспертами. Нам не нужно ссылаться на другие агентства или людей. У нас есть статистика - факты и их подтверждение.

Так в любой сфере. Например, медицинская помощь. В США существует специальная программа для пожилых людей. На выходе мы имеем базу данных по каждому пожилому гражданину. В программе 16 типов диагнозов и 16 вариантов лечения. Любая больница может работать с ней и анализировать.

Когда у вас есть весь объем данных, вы можете говорить четко: "Это - лучше, а это - хуже". У вас есть все данные, и это - могущество.

Обработка Big Data - небыстрая работа

В The Wall Street Journal мы работали с одной из самых больших баз данных. Связано это было с политикой и здравоохранением. Мы разбирались с базой 18 месяцев, и на исследование ушло более $100 000. В результате один из журналистов написал несколько историй, которые помогли нам стать лауреатами Пулитцеровской премии.

Сегодня компьютеры быстрые, управление Big Data больше не проблема. 

Возьмем, к примеру, панамские документы - 11,5 млн файлов. Эту информацию уже назвали самой большой утечкой в истории. Как бы я искал данные по президенту Порошенко? Я бы наверняка обратился к Fast ESP - программе, которой мы пользовались в The New York Times. Она узнает имена, даты, локации, всего 29 характеристик. Вводим фамилию - около 100 имен, которые попадаются вместе с ней. Выбираем следующую фамилию из нового списка и пропускаем ее через программу еще раз. И так с каждым следующим шагом. В итоге находим список совпадающих или не совпадающих имен. После этого я бы использовал бесплатное приложение NodeXL, анализирующее социальные сети. Речь идет не о Facebook, а о том, как связаны люди между собой по данным в интернете. В результате мы получаем схему: имя интересующего нас человека и вокруг - люди, с которыми он так или иначе связан, возможно, систему его взаимодействия с людьми, которые имеют офшорные счета.

В анализе Big Data важно не только владение данными, но и контекст. Будь у меня год, я бы постарался найти и проанализировать законодательство, регулирующее офшорные инвестиции. Если вы четко понимаете, где есть нарушение, а где его нет, проще сделать адекватный отчет.