Недорогое решение для хранения больших данных и вычислений: архитектура разделения объектного хранилища OSS + вычислений снижает стоимость 50%

Введение (анализ болевых точек)

Сталкиваетесь ли вы с одной из следующих проблем как владелец платформы больших данных?

Стоимость хранения данных резко возросла.Объем данных растет со скоростью 50% в год, а традиционные решения для хранения данных HDFS требуют постоянного расширения серверов, что делает закупку оборудования, эксплуатацию и обслуживание серверных помещений тяжелым бременем.
Пустая трата вычислительных ресурсов.Чтобы справиться с периодическими пиковыми вычислениями (например, составление отчетов в конце месяца, ежегодный аудит), необходимо поддерживать огромный кластер Hadoop/Spark в течение длительного времени, что приводит к средней загрузке процессора менее 20% и серьезной трате ресурсов.
Узкие места масштабируемости.Хранение и вычисления тесно связаны друг с другом, при расширении хранилища одновременно должен расширяться и вычислительный узел, операция сложная, и невозможно добиться независимой эластичности и масштабируемости ресурсов.
Сложность технических операций и обслуживания.Самостоятельно построенные кластеры требуют привлечения профессиональной команды для постоянного обновления версий, устранения неполадок и настройки производительности, что требует высокой технической квалификации и отвлекает силы, которые должны быть потрачены на инновации в бизнесе данных.

Краткое содержание одним предложением.Если вы боретесь с растущими расходами на инфраструктуру больших данных и тяжелой работой по эксплуатации и обслуживанию, то в этой статье вы найдете комплексное решение на основе архитектуры разделения хранения и вычислений AliCloud для снижения расходов и повышения эффективности.

Диаграмма и обзор архитектуры решения

архитектурная схема

Недорогое решение для хранения больших данных и вычислений: архитектура разделения объектного хранилища OSS + вычислений снижает стоимость 50% - LikaCloud

Аннотация.

Основу этой программы составляют"Разделение счетов"вместе с"Бессерверная оптимизация". Все данные помещаются непосредственно вAliCloud Object Storage (OSS)Используя неограниченную емкость и недорогие возможности многоуровневого хранения данных (стандартное, низкочастотное, архивное), компания использует его в качестве пьедестала постоянного хранения для озер данных. Вычислительные задачи решаются с помощьюЭластичный контейнерный экземпляр (ECI)ответить пениемE-MapReduce Serverlessи т. д. размещаются на бессерверных движках, которые подтягиваются лишь на секунды во время выполнения задачи, оплачиваются по количеству фактически использованных вычислительных ресурсов (процессор/память/время выполнения) и освобождаются, как только задача завершена. Весь процесс управляется событиями (например, загрузка новых файлов в OSS), и нет необходимости управлять какими-либо серверами.

Ценностное предложение.Это решение позволяет устранить болевую точку, преобразовав высокую фиксированную стоимость кластера в очень низкую стоимость хранения + стоимость вычислений по требованию, комплексная стоимость может быть снижена более чем на 50% и полностью освободить от давления эксплуатации и обслуживания.

Основные продукты и компоненты

Название компонента. AliCloud Object Storage (OSS)
- Играет роль.интегрированная архитектураКраеугольный камень для хранения данныхЭти данные не доступны в базе данных, но они есть на нескольких языках.
- Ключевые рекомендации по конфигурации/выбору.
  - Часто используемые горячие данные.усыновлениеСтандартное хранениеТип.
  - Данные о температуре для периодических посещений.усыновлениенизкочастотный доступТип хранилища (низкая стоимость доступа, еще более низкая стоимость хранения).
  - Холодные данные для архивирования/резервного копирования.усыновлениепоместить в делоилихолодное архивированиеТип хранения (наименьшая стоимость).
  - НастроивПравила жизненного циклаСистема автоматически преобразует данные из стандартных -> низкочастотных -> архивных для максимальной экономии средств.
- Почему стоит выбрать именно его.Обеспечивает сохранение данных в течение 12 9 с при стоимости 1/3 или менее стоимости встроенного жесткого диска, что идеально подходит для архитектуры разделения магазинов и компьютеров.
Название компонента. Эластичный контейнерный экземпляр (ECI)
- Играет роль. Эластичное вычислительное ядро по требованию. Используется для выполнения пользовательских контейнерных вычислительных задач (например, скриптов Python, пользовательских обработчиков данных).
- Ключевые рекомендации по конфигурации/выбору.
  - в отношенииКраткосрочные, внезапныевычислительных задач (например, выполнение ETL в течение 1-2 часов в день), ECI предпочтительнее.
  - Конфигурируется в соответствии со спецификациями vCPU и памяти, необходимыми для выполнения задачи, и поддерживает небольшие экземпляры спецификации в 0,25 ядра, чтобы не тратить ресурсы впустую.
  - Черезтриггер события(например, события загрузки файлов OSS) автоматически пробуждает вычислительные ресурсы для полностью автоматизированного конвейера.
- Почему стоит выбрать именно его.Она действительно реализует "посекундную тарификацию и масштабирование по требованию" вычислительных ресурсов без необходимости резервирования, что значительно повышает эффективность использования ресурсов.

Краткое описание преимуществ программы

? Совокупная стоимость составляет 50%+.Благодаря недорогой системе OSS для хранения данных и системе "плати по факту" для вычислений нет необходимости платить за простаивающие ресурсы, а совокупная стоимость владения (TCO) значительно снижается по сравнению с самостоятельным строительством стационарных кластеров.
⚡ Исключительная отказоустойчивость с посекундным масштабированием.В случае наплыва данных или внезапной потребности в анализе вычислительные ресурсы могут быть мгновенно увеличены без необходимости заранее приобретать и развертывать их, что значительно повышает гибкость бизнеса.
? ️ Высокая доступность и отсутствие необходимости в обслуживании.Инфраструктурные сервисы AliCloud обеспечивают высокую доступность SLA, избавляя команду от необходимости заботиться о сбоях и обслуживании базовой инфраструктуры и позволяя ей сосредоточиться на разработке данных.
? Открытость и совместимость.Полная совместимость с экосистемой с открытым исходным кодом позволяет плавно перенести существующие процедуры обработки данных, чтобы защитить существующие инвестиции в технологии.

Сценарии применения и применимые клиенты

Типичные сценарии применения.
- Циклические задачи ETL.Операции по очистке, преобразованию и загрузке данных выполняются ежедневно/еженедельно.
- Интерактивный мгновенный запрос.Аналитики данных периодически инициируют задачи запроса, в которых вычислительные ресурсы создаются с началом выполнения запроса и освобождаются с его окончанием.
- Обработка, управляемая событиями.Например, как только новый файл журнала загружается в OSS, сразу же запускается задача обнаружения аномалий или создания отчета.
Применимые характеристики клиента.
- собственностьС учетом затратбизнеса и команды.
- Расчетный спрос существуетЧеткие пики и впадины(например, сценарии с большим количеством дневных задач и малым количеством ночных).
- пожеланиеСоздание платформы для работы с большими данными с нуляи компании, которые не хотят создавать большую команду специалистов по эксплуатации и техническому обслуживанию.
- в процессеЦифровая трансформацияТрадиционные компании, желающие внедрить возможности работы с большими данными с минимальными затратами на пробы и ошибки.