Google открыла код фреймворка для обработки больших данных — MapReduce for C (MR4C)

23

Схема работы кода на C/C++ в рамках MR4CИллюстрация с сайта Gigaom.Com В минувшую среду было объявлено об открытии кода Google MR4C (MapReduce for C) — фреймворка, позволяющего заданиям Hadoop использовать библиотеки, написанные на C/C++.

MR4C изначально был разработан в рамках проекта Skybox Imaging для обработки больших объемов геодезических данных и спутниковых снимков на кластерах под управлением Hadoop. Необходимость разработки была связана с желанием программистов использовать стандартные библиотеки для работы с изображениями, написанные на C и C++.

Hadoop, как известно, написан на Java, а выбор C++ для разработки Google MapReduce и QFS (Quantcast File System — аналог Hadoop Distributed File System, разработанный в Google) был продиктован именно соображениями производительности. По той же причине БД MemSQL для выполнения SQL-запросов осуществляет генерацию кода в C++.

Исходный код фреймворка MR4C распространяется на условиях свободной лицензии Apache License v2 и доступен на GitHub.

Постоянная ссылка к новости: http://www.nixp.ru/news/13208.html. Aлександр по материалам Gigaom.Com, Google-opensource.Blogspot.Ru.