Путь Huawei

Могущество «Wah!»

Компания, произносимая как “wah-way” в этом месяце открыла проект «Астро» - Spark SQL в серии Hbase. Что же это?

Apache Spark – это кластерная компьютерная оболочка, обеспечивающая обработку в информационных аналитических приложениях, где события происходят одновременно. Spark SQL дает нам возможность запросить структурированные данные, как «выбранный информационный поток» (т.е. из множества источников) в Spark. Apache HBase является ключевым пакетом данных (т.е. уникальным идентификатором, определяющим что является частью нужных данных), управляющим системой распределения файлов Hadoop – другими словами, это пакет данных, который реально хорош, быстро обновляемый, и реально быстро обрабатывает миллиарды рядов и миллионы колонок.

Идея проекта «Астро» способна обеспечить безопасность, единство и интегрированность потоков информации Hbase с параллельной обработкой больших пакетов данных Spark и Spark SQL.

«Используя «Астро», можно достичь высокой доступности и аналитичности широкого формата данных на крупных предприятиях. Huawei встроили Spark в разветвленную аналитическую систему FusionInsight, которая используется крупнейшими мировыми банками (Промышленный и Коммерческий банки Китая), а также в коммуникационные системы», - отмечают в пресс-релизах представители компании.

Информационные термины, которые нужно знать: обрезка и пушдауны

Huawei также позиционировала Spark, как информационное облако на Huawei Public Cloud в Китае, в этом году. Технология включает обрезку данных (вырезка проблемных частей информации), интеллектуальное сканирование (не только поиск данных, но и выявление наличия первоисточников для проверки информации) и так называемые «пушдауны» (осуществляют контроль информации для доработки и усовершенствования работы) – потребительские фильтры или управляющие операциями.

Команда Huawei дополнила новыми чертами Spark SQL, автоматические обучающие технологии, а также Spark R для обогащения стандартных библиотек в Spark.

Президент центрального подразделения Huawei Вонг Ченлу считает, что открытый ресурс в крови компании, как, исходя из сути информационного бизнеса (компания в свое время помогала повысить открытость сети) и, исходя из деятельности, в фирмы в сфере программирования (компанией был разработан LiteOS – облегченная версия операционной системы IoT).

«Spark, как наиболее социально влиятельный из проектов Apache и, как наиболее продуктивная оболочка для обработки и анализа данных, является сегодня нашим приоритетом. Вы верим, что внедрение Spark в качестве информационно-аналитической системы может принести значительные преимущества», - отмечает Вонг Ченлу.

В принципе, хорошие новости

Spark вырос до масштабного мира информации, обеспечив надежные рамки программирования, обогатив мир приложений и библиотек, украсив экосистему. Писатель «Форбс» Пол Миллер установил Spark, а это хорошая новость и признак господства.

«Многие рекомендуют Spark. Он быстрый, поддерживает множество языков программирования (Java, Scala, Python, R) и включает легкий доступ к растущему массиву общенаучных алгоритмов. Он для всех запросов и нужд, это отличный способ начать управлять информацией; при этом занимает несколько мегабитов на вашем ноутбуке», - пишет Миллер.

Новым для Huawei является подобное отношение к открытым ресурсам и нет сомнений в дальнейшем развитии этого направления. Когда говорят «Huawei сконцентрировалась на Spark и намерена в дальнейшем акцентировать свои усилия на нем», то это так и есть. Замечательно, если фирма пытается вовлечь свои технологии и инновации в практическую и информационную деятельность глобально, но это то, чем она должна заниматься.