Большие данные - Hadoop

NVIDIA Объем, скорость обработки, разнообразие, достоверность и ценность данных — это показатели, определяющие масштаб развертывания больших данных. Hadoop как основополагающая технология больших данных помогает организациям улучшать рабочие процессы, запускать новые направления бизнеса и выводить исследования на более высокий уровень. Возможности кластера Hadoop в плане размера хранения данных, потока входящего трафика и скорости анализа — это то, над чем сейчас работают исследователи данных. Устаревшие сети Ethernet больше не могут обеспечить пропускную способность, необходимую для работы кластеров Hadoop. Сетевые требования серверов с многоядерными процессорами превышают возможности устаревших сетей Gigabit Ethernet (часто даже возможности10GbE), даже если в этих сетях используется несколько объединенных каналов.

Выбор сети и возможностей, которые она должна обеспечивать, — одна из основных проблем при создании кластера Hadoop. Это обусловлено существенными колебаниями рабочих нагрузок сети. Цель состоит в том, чтобы приобрести такое сетевое оборудования, возможностей которого будет достаточно для того, чтобы обмен данными между всеми узлами кластера выполнялся с оптимальной скоростью. Сквозные решения Mellanox для сетей Hadoop обеспечивают необходимую производительность и позволяют застраховаться от возникновения узких мест как сейчас, так и в будущем. Пропускной способности коммутаторов, кабелей и адаптеров Mellanox для сетей Ethernet и InfiniBand достаточно для обслуживания современных дисковых контроллеров. Благодаря низкой задержке базы данных NoSQL открывают совершенно новые возможности. Задержка менее микросекунды ускоряет получение ответов на запросы к HBase и позволяет построить более предсказуемую гистограмму времени ответа.

Новые интерактивные среды на базе Apache Hadoop дают возможность анализировать данные в режиме, приближенном к реальному времени. Для обработки больших объемов данных эти среды нуждаются в интерфейсах с низкой задержкой и высокой пропускной способностью. Линейная масштабируемость является необходимым условием для развития современного бизнеса, поскольку экспоненциальный рост объемов данных сопутствует линейному росту объемов продаж и выручки. Развитие процессорных технологий, многоядерных процессоров и серверов привело к возникновению спроса на сети с высокой пропускной способностью, соответствующей вычислительным возможностям процессоров. Решения InfiniBand и адаптеры Ethernet компании Mellanox обеспечивают рекордно высокую пропускную способность с поддержкой RDMA (удаленного прямого доступа к памяти) для минимизации нагрузки на процессор.