Прискорення обробки даних на межах видимого поля: глибокий аналіз еволюції архітектур, вибору технологій та майбутніх сценаріїв застосування

Основна ідея та цінності технології прискорення на межах (edge acceleration)

Метод прискорення обробки даних на межах мережі (edge acceleration) є не результатом використання якоїсь однієї конкретної технології, а радше проявом фундаментальних змін у архітектурних підходах. Його основна ідея полягає у переміщенні обов’язків з обчислень, зберігання даних, передачі даних та виконання додатків з централізованих “хмарних центрів обробки” до місць, які знаходяться ближче до джерел створення даних та кінцевих користувачів. Така децентралізована архітектура спрямована на подолання проблем,

Фізична відстань передачі даних є одним із основних факторів, що впливають на затримки. Коли дані, запитані користувачем, мають бути передані через половину Землі до централізованого дата-центру для обробки та подальшого повернення, навіть якщо сама мережа працює дуже швидко, фізичні обмеження, пов’язані зі швидкістю світла, призводять до помітних затримок. Технологія краєвого прискорення (edge acceleration) дозволяє оптимізувати процес передачі даних, розміщуючи вузли безпосередньо біля користувача. Це перетворює мережевий доступ між містами на доступ у межах одного міста чи навіть одного району, що зменшує затримки з сотень мілісекунд до кількох мілісекунд. Це суттєво покращує якість робот

Експоненційне зростання інтернет-трафіку, особливо обсягів даних у вигляді високоякісного відео, прямих трансляцій та даних від сенсорів інтернету речей, призвело до значного навантаження на основні мережі. Технології кешування та прискорення обробки даних на периферійних вузлах (“edge acceleration”) дозволяють „локалізувати“ контент – популярні матеріали зберігаються чи попередньо готуються на цих вузлах. Користувачі можуть отримувати їх безпосередньо з периферійних серверів, без необхідності звертання до центральних серверів. Це економить дорогий довгодистанційний інтернет

Рекомендуємо до прочитання. Розкриття технологій прискорення обробки даних на межах мережі: як використовувати CDN та обчислення на межах мережі для підвищення швидкості доступу до сайтів по всьому світу。

Крім того, технологія краєвого прискорення (edge acceleration) має унікальні переваги з точки зору конфіденційності даних та дотримання правил. У багатьох регіонах, таких як Європейський Союз та Китай, діють суворі закони про суверенітет даних, які вимагають обробки певних типів даних на території країни. Краєві вузли можуть бути розміщені в місцях, що відповідають цим вимогам, що дозволяє здійснювати збір, обробку та зберігання даних безпосередньо на місці. Це усуває необхідність передачі конфіденційної інформації за межі країни, спрощує процеси дотримання нормативів та підвищує рівень безпеки. Для сценаріїв, де високі вимоги ставляться до конфіденційності та оперативно

bunny.net CDN

Щомісячні платежі починаються від 1 долара з прозорими, не прихованими тарифами. Серед можливостей - постійне кешування, моніторинг у режимі реального часу, захист від DDoS-атак, безкоштовні SSL-сертифікати, оптимізовані для потокового відео, а також гнучка модель тарифікації за кожне використання.

Кредитна картка не потрібна, безкоштовна 14-денна пробна версія

Відвідайте bunny.net CDN →

Cloudways Cloudflare Enterprise

Тарифний план Enterprise CDN/WAF від Cloudflare становить 4,99 USD/місяць за домен до 5 доменів, включаючи 100 ГБ трафіку, і 0,02 USD/Гб за все, що перевищує цю межу.

100 ГБ безкоштовного трафіку на домен

Доступ до Cloudways Cloudflare Enterprise →

Еволюційний шлях архітектури прискорення на межах системи

Еволюція архітектури швидкого оброблення даних на межах мережі – це процес, який починається з ідеї кешування даних у мережах розповсюдження контенту (CDN), поступово поєднує в собі можливості обчислень та у підсумку при

Початкові форми реалізації цих технологій були представлені системами типу CDN (Content Delivery Network). Суть CDN полягає у розподіленій системі кешування та доставки контенту. Ці системи розміщують сервери кешу (PoP-пункти – Points of Presence) по всьому світу та копіюють статичний контент (зображення, відео, статичні файли веб-сторінок) на найближчі до користувачів вузли. Коли користувач здійснює запит, відповідь надсилається безпосередньо з цих вузлів, що забезпечує ефективне прискорення завантаження статичного контенту. Однак традиційні системи CDN обробляють переважно “тільки читаємий” контент та не мають можливостей для динамічних обчислень чи логічних про

З появою динамічних веб-додатків, поширенням API-інтерфейсів та зростанням потреб у реальному часі взаємодії просте статичне кешування вже не відповідає сучасним вимогам. Впровадження концепції краєвого обчислення знаменує собою першу значну еволюцію архітектури. Краєві обчислювальні вузли більше не є просто серверами кешування, а міні-центрами обробки даних, оснащеними легкими обчислювальними ресурсами (наприклад, контейнерами, середовищами функціональних обчислень). Це дозволяє частині логіки додатків виконуватися безпосередньо на межах мережі. Наприклад, автентифікація користувачів, агрегація та фільтрація API-запитів, проста обробка даних в реальному часі (наприклад, очищення даних із інтернету речей) можуть виконуватися безпосередньо на краю мережі, а необхідні дані синхронізуються з центральним хмарним сервіс

Наразі архітектура мережевого прискорення розвивається у напрямках “хмарно-орієнтованих рішень для краєвих точок” та “повсюдного поширення обчислювальних ресурсів”. Технології організації контейнерів, представлені Kubernetes, поширюються на краєві точки, що дозволяє здійснювати єдине управління ресурсами хмари, краю та кінцевих пристроїв, а також безперешкодне розгортання та масштабування додатків. Технологія сервісних мереж (Service Mesh) використовується для керування складними комунікаціями між краєвими вузлами та між ними та хмарою, забезпечуючи безпеку, надійність та можливість моніторингу їх роботи. Ця архітектура дозволяє розробникам писати додатки так само, як звичайні хмарні додатки, а потім за допомогою стратегій визначати, які мікросервіси чи функції будуть виконуватися в центральній хмарі, а

Рекомендуємо до прочитання. Технологія граничного прискорення змінює ландшафт доставки інтернет-контенту з безпрецедентною швидкістю. Це відбувається за рахунок。

Вибір ключових технологій та стратегії їх впровадження

Створення ефективної платформи краєвого прискорення передбачає вибір низки ключових технологій на всіх рівнях – від інфраструктури до рівня додатків.

На рівні інфраструктури форми егземплярів крайніх (edge) пристроїв дуже різноманітні. Від центральних серверних підвалів телекомунікаційних операторів (MEC – Mobile Edge Computing) до мікроцентрів обробки даних, розташованих у офісних будівлях та громадах, а також до інтегрованих пристроїв чи серверів, встановлених на виробництвах та в торгових центрах; існують навіть зміцнені гігантські пристрої, здатні виконувати програмне забезпечення у контейнерах. Під час вибору пристрою необхідно враховувати такі фактори, як обчислювальні можливості, умови мережевого підключення, фізичний простір, електропостачання та витрати на обслуговування. Крім того, для ефективного керування великою кількістю різнорідних крайніх пристроїв потрібна потужна платформа для їх управління, яка забезпечує можливості ві

Мережеві та технології підключення є основою для ефективної роботи систем швидкого оброблення даних на периферійних пристроях. Окрім традиційного доступу до Інтернету, технологія програмно-визначених широкосмугових мереж (SD-WAN) широко використовується для створення ефективних, інтелектуальних та безпечних з’єднань між периферійними пристроями та центральними хмарними сервісами. SD-WAN дозволяє інтелектуально вибирати найкращий маршрут залежно від вартості передачі даних, якості з’єднання та реального часу затримки, а також забезпечує пріоритетність критичних потоків даних. Для сценаріїв з наднизькими вимогами до часу затримки технологія сегментації мереж 5G надає кінцев

Під час виконання програм та взаємодії з системами організації роботи (оркестрації) контейнеризація є загальноприйнятим стандартом. Легкі технології контейнеризації (наприклад, Docker) дозволяють швидко та однаково запускати додатки разом із їхніми залежностями у мережевих середовищах на периферії. Оригінальні версії Kubernetes, призначені для роботи в мережевих середовищах на периферії (KubeEdge, K3s, OpenYurt), були адаптовані та оптимізовані для умов обмежених ресурсів, нестабільних мереж та гетерогенних пристроїв. Ці версії підтримують автономну роботу периферійних вузлів навіть у відключенні від центрального хмарного середовища.

Безсерверні крайні функції стають ідеальним вибором для событийно-орієнтованих крайніх додатків. Платформи на кшталт Cloudflare Workers та AWS Lambda@Edge дозволяють розробникам розгортати код на рівні дрібних одиниць (JavaScript чи WebAssembly) у мережах на краях Інтернету, щоб відповідати на HTTP-запити чи інші події. Це забезпечує максимально низьку затримку в обробці даних, а також можливість виконання таких функцій, як переадресування URL-адрес, проведення A/B-тестів та налаштування власних правил безпеки.

З точки зору безпеки, використання технологій мережевого прискорення на краях мережі створює нові виклики. Модель безпеки з нульовим рівнем довіри (Zero Trust Network Access, ZTNA) стає надзвичайно важливою, оскільки вона ґрунтується на принципі “ніколи не довіряй, завжди перевіряй”. Це гарантує, що кожен крайній вузол, кожен пристрій та кожен запит на доступ до даних проходять сувору автентифікацію та авторизацію. Крім того, необхідно впровадити шифрування всього даних на всьому шляху від краю до центру, а також інтегрувати на крайніх вузлах такі засоби безпеки, як веб-протикіди (Web Application Firewalls, WAF), системи зменшення атак

Рекомендуємо до прочитання. Що таке прискорення країв?。

Детальний аналіз сценаріїв використання майбутніх технологій

Цінність технологій швидкого оброблення даних на межах систем буде суттєво проявлятися у наступних ключових сферах, що сприятиме появі нових бізнес-моделей:

Іммерсивний реальний час взаємодії є “класичним” сценарієм використання технологій швидкого оброблення даних на периферійних пристроях. У сферах хмарних ігор та метавсесвітів кожна дія користувача має бути миттєво відобразена та супроводжуватися відповідною відповіддю. Периферійні вузли, виконуючи функції “графічних процесорів у хмарі” та “цифрових копій реального світу”, відповідають за інтенсивне графічне оброблення та фізичні розрахунки, а потім надсилають готові відеопотоки до пристроїв користувачів з мінімальними затримками. Онлайн-відеоконференції та інструменти для дистанційної реальної співпраці також отримують користь від цих технологій: завдання кодування/декодув

Інтернет речей та промисловий інтернет є природним середовищем для використання технологій швидкого оброблення даних на межах мережі. У фабриках інтелектуального виробництва тисячі датчиків постійно генерують велику кількість даних. Якби всі ці дані надсилалися в хмару в необробленому вигляді, це призвело б до високих витрат на передачу даних та поганої їх оперативності. На межевих вузлах відбувається реальний час збір, фільтрація, агрегація та первинний аналіз даних, що дозволяє забезпечити прогнозований обслуговування обладнання, реальний час візуального контролю якості продукції та динамічне планування виробничих ліній. Тільки ключові сповіщення, звіти та дані для навчання моделей надсилаються на хмарну платформу. Аналогічна схема застосовується у управлінні дорожнім рухом

Інтелектуальне керування транспортними засобами та їх взаємодія з дорожнім середовищем вимагають дуже низьких часових затримок у передачі даних. Автономні автомобілі повинні обмінюватися інформацією з іншими транспортними засобами (V2V – Vehicle-to-Vehicle) та дорожньою інфраструктурою (V2I – Vehicle-to-Infrastructure) зі швидкістю, що досягає рівня мілісекунд, щоб вчасно виявляти небезпеки на дорозі, які знаходяться поза радіусом їхнього бачення. Такі процеси не можуть чекати на відповідь з хмари. Краєві вузли, розміщені на дорожніх станціях (RSU – Roadside Units) та в регіональних центрах, відповідають за обробку даних про місцевий дорожній рух

У сферах нового ритейлу та інтерактивного маркетингу технології краєвого прискорення (edge acceleration) дозволяють створювати надзвичайно персоналізовані офлайн-досвіди для клієнтів. За допомогою краєвих серверів, розміщених у торгових центрах чи магазинах, у поєднанні з місцевими камерами (дані обробляються на місці для захисту конфіденційності) та додатками на клієнтських смартфонах можна в реальному часі аналізувати потік відвідувачів та надсилати персоналізовані купони чи AR-інтерактивні посібники на їхні смартфони. Така миттєва взаємодія, заснована

підсумок

Методика прискорення обробки даних на межах мережі (edge acceleration) позначає важливу еволюцію в парадигмі обчислень від централізованих хмарних сервісів до розподілених, скоординованих рішень. Вона дозволяє розміщувати обчислювальні ресурси безпосередньо на межах мережі, що радикально розв’язує три основні проблеми: затримки передачі даних, обмеження пропускної здатності мережі та питання конфіденційності. Архітектура таких систем еволюціонувала від статичних систем розповсюдження контенту (CDN – Content

Створення системи краєвого прискорення вимагає комплексного врахування ключових технологій, таких як управління гетерогенною інфраструктурою, інтелектуальні мережеві з’єднання, легкі механізми організації контейнерів, безсерверні функції та розподілені архітектури безпеки типу „нульового довіри“. У майбутньому її цінність буде повністю реалізована у сферах, де високі вимоги ставляться до оперативності, надійності та локалізації даних – серед них хмарні ігри, промислові інтернети, інтелектуальне керування транспортом, розумний ритейл. Ця система стане основною ін

Часті запитання

У чому різниця між прискоренням на краях мережі та традиційними CDN?

Традиційні системи CDN (Content Delivery Networks) зосереджуються переважно на кешуванні та розповсюдженні статичного контенту – зображень, відео, файлів HTML, CSS та JS. Це мережі для доставки контенту, основою яких є механізми кешування та показники ефективності (відсоток правильних запитів до в

Мережа швидкого розповсюдження контенту на межах мережі (Edge Computing Network) – це більш широке поняття, яке успадковує дистрибутивну архітектуру CDN, але розширює її можливості зі “доставки контенту” на “доставку обчислювальних ресурсів”. Компоненти мережі Edge Computing не лише зберігають кеш, але також виконують обчислювальні завдання за допомогою контейнерів, функцій та інших технологій; вони здатні обробляти запити користувачів, виконувати бізнес-логіку та проводити аналіз даних в реальному часі. Можна сказати, що сучасні системи CDN є однією з форм або підмножин мережі Edge Computing, а сама мереж

Чи означає впровадження технологій краєвого прискорення (edge acceleration) те, що центральні хмарні сервіси більше не потрібні?

Ні, це не так. Прискорення даних на межах мережі та обробка даних у центральному хмарному сервісі взаємодіють та доповнюють один одного, створюючи інтегровану архітектуру “хмара-межа-кінцевий пристрій”. Центральний хмарний сервіс виконує функції “мозку”: забезпечує загальний контроль, постійне зберігання даних, виконує складні обчислення великих обсягів даних (наприклад, аналіз великих даних, навчання штучних інтелектуальних моделей) та обслуговує нереальні (не в реальному часі) бізнес-п

Ключові бізнес-дані зазвичай обробляються на периферійних пристроях, після чого узагальнені результати або дані, які потрібно зберігати довгостроково, синхронізуються назад у центральну хмару. Така модель співпраці забезпечує оптимальне розподілення обчислювальних ресурсів: центральна хмара виконує складні обчислення та глобальні

Як забезпечити безпеку та уніфікованість додатків, розгорнутих на краєвих (маржинальних) серверах?

Безпека забезпечується за допомогою багатошарових заходів захисту. У архітектурному плані використовується модель безпеки з нульовим рівнем довіри (zero-trust security model): кожен доступ повинен проходити сувору автентифікацію та авторизацію. На рівні мережі обов’язкове використання шифрування TLS/DTLS для всіх комунікацій між крайніми обчислювальними центрами та між окремими компонентами системи. На самих крайніх вузлах інтегровані легкі застосунки для забезпечення безпеки, які надають функції WAF (Web Application Firewall), виявлення вторгнень та захисту під час виконання контейнерів. Крім того, дотримує

Управління консистентністю переважно ґрунтується на технологіях, орієнтованих на роботу в хмарі. За допомогою версій Kubernetes, оптимізованих для роботи на периферійних пристроях, практики, розроблені для центральних хмар (постійне розгортання програмного забезпечення – CI/CD, конфігурація як код, незмінна інфраструктура тощо), поширюються також на периферійні системи. Додатки поставляються у вигляді контейнерних образів, що забезпечує єдність середовища; конфігурація координується за допомогою декларативних API; оновлення можуть впровад

Чи є високими бар’єри для використання технологій краєвого прискорення (edge acceleration) для малих та середніх підприємств?

З розвитком послуг краєвого обчислення бар’єри для їх використання швидко знижуються. Для малих та середніх підприємств найпрактичнішим варіантом є використання моделі “Краєві ресурси як послуги” (Edge as a Service, EaaS), замість створення власної інфраструкту

Провідні постачальники хмарних послуг (наприклад, AWS, Azure, Google Cloud) та професійні компанії, що займаються розробкою технологій краєвого оброблення даних (наприклад, Cloudflare, Fastly), пропонують глобально розподілені платформи для краєвого обчислення. Розробникам не потрібно турбуватися про придбання та обслуговування серверів – достатньо через API чи консоль розгорнути свій код (особливо безсерверні функції) чи контейнеризовані додатки на мережах цих постачальників, щоб одразу отримати переваги низьких затримок у передачі даних по всьому світу. Модель оплати за фактичне використання значно знижує витрати та складність впровадження технологій краєвого прискорення для малих та середніх підприємств.