Tele2 увеличила емкость платформы big data на 40% при помощи RT.DataLake

Tele2 успешно завершил расширение существующего кластера хранения и обработки больших данных за счет решения RT.DataLake. Общая емкость нового внедренного кластера Hadoop RT.DataLake составила 2,4 Пб. Это позволило на 40% нарастить полезную емкость платформы big data Tele2 и увеличить производительность для расчетов задач machine learning. Благодаря расширению компания сократила зависимость от иностранного ПО, получила возможность увеличивать вычислительные мощности и масштабировать текущее решение без ограничений.

Алексей Мартынов, директор по информационным технологиям Tele2:

«IT-cотрудники Tele2 расширяли кластер без привлечения подрядчиков. Большую помощь в этом процессе оказывала команда «Ростелекома», которая устраняла любые недостатки в дистрибутиве в считанные дни. Наша компания сократила зависимость от иностранного ПО, получила возможность масштабировать платформу big data Tele2 без ограничений и увеличивать вычислительные мощности».

Tele2 использует кластер Hadoop для хранения и аналитики данных с 2018 года. За это время в кластер интегрировано более 100 источников данных, а ежедневный объем интегрируемых данных достигает 100 Тб. Платформой big data ежедневно пользуются десятки бизнес- и технических команд, при этом основным внутренним клиентом является команда аналитики и монетизации данных. Нагрузка на кластер непрерывно росла, а свободное место уменьшалось. Сложные процессы интеграции данных затрудняли работу команды data scientists. В связи с этим компания решила разделить архитектуру платформы big data на сегмент обработки данных и сегмент data science.

Для расширения платформы big data Tele2 выбрала продукт RT.DataLake от «Ростелекома» на базе технологии Hadoop. Данное решение показало лучшие показатели по экономии бюджета и совокупной стоимости владения: расчет в рублях за лицензии исключает валютные и санкционные риски, а суммарная экономия за 5 лет составит более $3 миллиона.

Сборка RT.DataLake является одним из самых современных коммерческих дистрибутивом Hadoop в мире – она состоит из самых «свежих» стабильных версий фреймворков и компонент. Это позволяет решить потребности инженеров данных и data scientists Tele2, которые крайне требовательно относятся к регулярному обновлению версий компонент в кластере. «Ростелеком» как вендор ПО показал готовность выполнить кастомизацию дистрибутива под нужды Tele2. Это дало возможность обеспечить необходимый набор используемых версий компонента Hadoop, реализовать добавление функционала в исходный код проекта и предоставить набор средств автоматизации развертывания и управления на базе технологии Ansible.

Антон Мерзляков, директор по аналитике больших данных Tele2:

«После расширения платформа big data Tele2 позволяет хранить 6,6 Пб данных, состоит из 126 вычислительных узлов суммарной мощностью 9000 ядер и 86 Тб оперативной памяти. Мощность расширенного кластера позволяет комфортно работать команде data scientists и решать самые высоконагруженные задачи. Мы уверенно смотрим в будущее и рассчитываем на полную реализацию наших планов по запуску продуктов на базе аналитики больших данных как для задач Tele2, так и обширного круга внешних клиентов и партнеров».

Tele2 надежно обеспечивает информационную безопасность и сохранность данных, постоянно проводя аудиты и совершенствуя методы их защиты. RT.DataLake не исключение. В решении реализовано разграничение доступа на базе технологии Ranger, внедрен протокол аутентификации Kerberos и выполнена интеграция с корпоративной службой Active Directory. Команда «Ростелекома» регулярно выпускает патчи обновления компонент и устранения угроз информационной безопасности.

URL: https://babr24.com/msk/?IDE=231884

bytes: 3814 / 3662

Обсудить на форуме Бабра в Telegram

Поделиться в соцсетях:

Автор текста: Соня Ломачевская, журналист.

На сайте опубликовано 265 текстов этого автора.

Другие статьи в рубрике "Интернет и ИТ" (Россия)

Клиенты Tele2 получат в два раза больше гигабайтов навсегда

Tele2 удваивает пакет интернета новым и действующим абонентам: каждые три месяца клиенты будут получать двойной пакет трафика при условии своевременной платы за тариф.

Соня Ломачевская

Интернет и ИТРоссия

808

28.09.2022

Клиентам Tele2 помогут вернуть средства за отмену рейса или некачественный товар

Tele2 запустил новую услугу «Защита от мошенников». Юристы сервиса помогут вернуть деньги в случае отмены рейса, блокировки доступа к личному кабинету криптоплатформы, невозврата средств торговой точкой.

Соня Ломачевская

Интернет и ИТОбществоРоссия

1262

29.08.2022

Москвичи и гости города смогут пользоваться Wi-Fi от Tele2 в метро и с выгодой

Tele2 запускает услугу «Wi-Fi в метро». Теперь сервис доступен клиентам Tele2 в столичном метрополитене на особых условиях и без рекламы.

Соня Ломачевская

Интернет и ИТТранспортРоссия

1272

29.08.2022

Более 7 миллионов клиентов Tele2 выбрали цифровую подпись

Tele2 подводит первые итоги проекта по использованию цифровой подписи. Компания внедрила безбумажный формат обслуживания год назад. За это время сервис бесконтактной подписи документов выбрали более 7 миллионов клиентов.

Соня Ломачевская

Интернет и ИТОбществоРоссия

1432

26.08.2022

Клиенты Tele2 смогут менять минуты на трафик в YouTube, TikTok, «ВКонтакте» и «Звук»

Остатки минут можно обменять не только на кофе, кино, скидки на покупку технику, но теперь и на трафик в интернете. Tele2 предлагает клиентам обменять неизрасходованные минуты на безлимитный трафик в YouTube, TikTok, «ВКонтакте» и «Звук».

Соня Ломачевская

Интернет и ИТРоссия

2286

16.08.2022

Tele2 запустила контактный центр для MVNO

Tele2 создал первый на телеком-рынке центр обслуживания абонентов MVNO-партнеров. Решение реализовано на базе контактных центров Tele2 и позволяет организовать полный цикл обслуживания клиентов виртуальных операторов.

Соня Ломачевская

Интернет и ИТИркутск Россия

1680

15.08.2022

Tele2 лидирует по темпам строительства и занимает второе место по числу базовых станций – TelecomDaily

Tele2 занял первое место по темпам строительства базовых станций (БС) по итогам 2021 года – его сеть выросла сразу на 18%. К таким выводам пришли эксперты ИАА TelecomDaily. По общему числу станций компания вышла на второе место – у Tele2 их зарегистрировано почти 206 тысячи.

Соня Ломачевская

Интернет и ИТЭкономика и бизнесРоссия

7665

01.08.2022

Новые фишки «SMS-таргета» помогают бизнесу привлекать клиентов

Tele2 при покупке таргетированной рассылки возвращает 60% от суммы бонусными SMS. Помимо этого, оператор усовершенствовал сервис «SMS-таргет».

Соня Ломачевская

Интернет и ИТРоссия

2696

17.07.2022

Tele2 увеличила емкость платформы big data на 40% при помощи RT.DataLake

Tele2 успешно завершил расширение существующего кластера хранения и обработки больших данных за счет решения RT.DataLake. Общая емкость нового внедренного кластера Hadoop RT.DataLake составила 2,4 Пб.

Соня Ломачевская

Интернет и ИТРоссия

2472

17.07.2022

Клиенты Tele2 могут подключиться к облачному геймингу

Tele2 запустил новую услугу «Облачные игры GFN», которая превращает любое устройство в мощную игровую машину. Тем самым компания отвечает на интерес пользователей к облачному геймингу, который резко повысился в пандемию.

Соня Ломачевская

Интернет и ИТРоссия

2727

15.07.2022

Чат-бот Tele2 стал умнее в два раза

Tele2 проанализировал тренды обращения клиентов в цифровые каналы и выяснил, как часто они решают вопросы онлайн. В первом полугодии 2022 года число клиентских запросов в digital выросло на 16% в сравнении с прошлым годом. Компания совмещает живое обслуживание и использование робота.

Соня Ломачевская

Интернет и ИТОбществоРоссия

3030

10.07.2022

Иркутяне теперь могут бесконтактно расплатиться через СБП в салонах связи Tele2

Теперь покупки в салонах связи оператора в Иркутской области можно совершать с помощью Системы быстрых платежей (СБП) – для этого посетителю достаточно отсканировать QR-код. Решение не только удобно для клиентов, которым не нужно брать с собой карту, но и избавляет дилеров от многих хлопот.

Соня Ломачевская

Интернет и ИТОбществоИркутск Россия

2818

08.07.2022

Лица Сибири

Стрельцов Андрей

Елизарьев Алексей

Дронова Ксения

Пшонко Елена

Щапов Виктор

Каминская Татьяна

Агапитова Анна

Беспалов Сергей

Шишкина Юлия

Лыкова Мария