Рішення Alibaba Cloud для інтелектуальної обробки даних у величезних масштабах напередодні "Дня покупок" (Double 11): Цілісне забезпечення всіх етапів – від технічної бази до зростання бізнесу.

У міру того, як цифрова економіка все більше проникає у наше життя, компанії стикаються з такими проблемами, як стрімке зростання обсягу даних, необхідність приймати рішення в режимі реального часу та високий поріг для застосування ШІ. Спираючись на основні технології, що підтримують Tmall Double 11, Alibaba Cloud надає у відкритий доступ для всієї галузі свою надзвичайно масштабну інтелектуальну систему обробки даних, яка витримала тестування на мільйони запитів на секунду (QPS), допомагаючи компаніям аналізувати терабайти даних за лічені секунди, ефективно навчати ШІ-моделі та забезпечувати точні рекомендації для бізнесу, створюючи інтелектуальну систему зростання, орієнтовану на дані.

Основні положення та цінність програми.

Хмара Алібаба Cloud Double 11 Large-Scale Data Intelligence Engine, ключовими принципами якої є "висока продуктивність, інтелектуальна інтеграція та безпечна відповідність нормативним вимогам", пропонує підприємствам комплексне рішення для всіх етапів роботи з даними — від їх збору до розробки інтелектуальних додатків завдяки інтеграції таких технологій, як обчислення в режимі реального часу, обробка великих даних і штучний інтелект. Основна цінність рішення полягає в наступному:

• Надзвичайно велика обчислювальна потужність.Вона базується на тій же технологічній архітектурі, що й Tmall Double 11, і підтримує аналіз даних на рівні петабайтів за секунду, обробку мільйонів запитів на секунду та легко справляється з піковими навантаженнями на систему;
• Революція ефективності ШІІнтеграція універсальної великої моделі та автоматизованих інструментів навчання дозволила підвищити ефективність навчання моделей ШІ на 901 ТП4Т, значно знизивши поріг впровадження інтелектуальних рішень у компаніях;
• Двигун зростання бізнесуКопіюйте рекомендаційну алгоритмічну систему, яку Taobao відточував роками, щоб забезпечити інтелектуальну персоналізацію користувачів, рекомендації товарів і управління трафіком, а також підвищити ефективність конверсії бізнесу.
• Глобальна гарантія відповідностіВбудована система управління даними, що відповідає міжнародним стандартам, таким як GDPR та ISO, гарантує безпеку та відповідність нормам протягом усього життєвого циклу даних.

Основні технологічні підтримки та система компетенцій

Ця програма створена на основі чотирьох основних технологій Alibaba Cloud і формує повний цикл функціональних можливостей, що охоплює "розрахунки в реальному часі – управління даними – інтеграцію ШІ – бізнес-додатки":

1. Двигун для супервисокопродуктивних обчислень.

Завдяки можливостям розподілених обчислень операційної системи Feitian Cloud, а також використанню багаторівневої архітектури зберігання та інтелектуальних алгоритмів диспетчеризації, система забезпечує обробку та аналіз даних у розмірі ПБ за секунду. Вона підтримує інтегровані потокові та пакетні обчислення, дозволяючи одночасно обробляти дані в режимі реального часу та історичні дані, задовольняючи подвійні потреби підприємств у "оперативному прийнятті рішень та глибокому аналізі".

2. Система управління даними на всіх етапах

Створення стандартизованого процесу від збору, очищення та перетворення даних до їх зберігання за допомогою функцій автоматичного управління метаданими, моніторингу якості даних та захисту конфіденційних даних для забезпечення їх "доступності, надійності та безпеки". Вбудований движок глобальних правил відповідності, який автоматично адаптується до вимог регулювання даних у різних регіонах, знижуючи ризики транскордонної обробки даних.

3. Платформа для інтеграції великих моделей.

Глибока інтеграція можливостей універсальних великих моделей, що забезпечує базові можливості ШІ, такі як обробка природної мови, розпізнавання зображень, прогнозний аналіз тощо, а також підтримку навчання власних моделей підприємств. Завдяки інструментам із низьким рівнем кодування та готовим алгоритмічним шаблонам, автоматизація повного циклу "навчання – розгортання – ітерація" моделей ШІ значно знижує технічні бар'єри.

4. Двигун рекомендацій для бізнес-аналітики.

Відтворюючи систему алгоритмів рекомендацій, яку Taobao оптимізував протягом багатьох років, у поєднанні з аналізом поведінки користувачів у реальному часі та виявленням їхніх історичних уподобань, ми створили багатовимірну модель рекомендацій. Вона підтримує такі сценарії, як рекомендації товарів, розповсюдження контенту, стратифікація користувачів тощо. За допомогою інструментів A/B-тестування ми постійно оптимізуємо ефективність рекомендацій і підвищуємо конверсію бізнесу.

Основні рекомендовані продукти та сценарії їх застосування.

Ali Cloud пропонує декілька основних продуктів для обробки величезних обсягів даних і розробки інтелектуальних додатків, створюючи повноцінне рішення:

1. Основні продукти для супермасштабних обчислень.

• Версія Flink для розрахунків у реальному часі від Alibaba Cloud
  Обчислювальна платформа для потокових даних, яка пройшла перевірку під час "Двогодинного розпродажу" на Tmall, підтримує обробку даних у режимі реального часу зі швидкістю мільйон запитів на секунду і затримкою всього у мілісекунди. Вона може обробляти потокові дані про поведінку користувачів, транзакції, журнали пристроїв тощо в режимі реального часу, забезпечуючи підтримку таких сценаріїв, як рекомендації в режимі реального часу, прийняття рішень щодо управління ризиками, моніторинг і попередження про потенційні проблеми. Ця платформа є основним інструментом для обробки замовлень і оновлення запасів під час "Двогодинного розпродажу" на Tmall.Дізнайтеся більше.。
• AnalyticDB від Alibaba Cloud
  Хмаронезалежна багатомодельна база даних, що підтримує зберігання даних на рівні ПБ та високопаралельні запити, забезпечуючи інтегровану функціональність "писання в реальному часі та аналізу в реальному часі". Використовуючи технології змішаного зберігання рядків і стовпців, а також інтелектуальні індекси, база даних може підтримувати обсяг даних на рівні трильйонів, а час відгуку на запити – на рівні мілісекунд, що задовольняє потреби підприємств у негайному аналізі величезних обсягів даних.Дізнайтеся більше.。
• Електронна картографування в реальному часі від Alibaba Cloud
  Платформа обробки великих даних, побудована на основі відкритих фреймворків, таких як Hadoop і Spark, підтримує такі сценарії, як пакетна обробка, машинне навчання, обчислення графів. Завдяки можливості еластичної масштабованості, платформа може швидко розподілити обчислювальні ресурси на тисячах вузлів для проведення офлайн-аналізу даних і навчання моделей обсягом у петабайти. Під час розпродажів "Double 11" платформа обробляла дані обсягом у ексабайти за один день.Дізнайтеся більше.。

2. Штучний інтелект і продукти на базі великих моделей.

• Велика модель Alibaba Cloud Tianyiquanwen
  Великомовний модель, розроблений власноруч компанією Alibaba Cloud, підтримує такі функції, як генерація тексту, семантичне розуміння, багатораундовий діалог тощо. За допомогою API-інтерфейсу його можна швидко інтегрувати в корпоративні бізнес-системи для реалізації таких застосунків, як інтелектуальна підтримка клієнтів, створення контенту, автоматичне формування звітів з аналізу даних тощо. У поєднанні з галузевою базою знань можна навчити модель для конкретної вертикальної галузі, досягнувши при цьому "підключення та негайного використання".Дізнайтеся більше.。
• Машинне навчання від Alibaba Cloud PAI
  Платформа для розробки ШІ "під ключ", що пропонує інструменти для повного циклу обробки даних, навчання моделей та розгортання. Вона включає безліч шаблонів алгоритмів і функцію автоматичного машинного навчання (AutoML), підтримує розподілене навчання та прискорення за допомогою графічних процесорів (GPU), що дозволяє підвищити ефективність навчання моделей на 901 ТП4Т, а також дає змогу неспеціалістам швидко створювати додатки ШІ.Дізнайтеся більше.。
• Інтелектуальна рекомендаційна система від Alibaba Cloud — AIRec.
  Інтелектуальна рекомендаційна платформа, створена на основі алгоритмів рекомендацій Taobao, підтримує такі сценарії, як рекомендації товарів, розповсюдження контенту, персоналізований пошук тощо. Завдяки інженерії характеристик у реальному часі та глибинним рекомендаційним моделям, вона забезпечує точні рекомендації "для кожного індивідуально", що допомогло багатьом електронним комерційним платформам підвищити рівень кліків більш ніж на 301%, а конверсію — більш ніж на 201%.Дізнайтеся більше.。

3. Продукти для управління даними та безпеки.

• Алiбаба Клауд ДатаВоркс
  Платформа для розробки та управління даними "все в одному", яка підтримує такі функції, як інтеграція даних, розробка скриптів, планування та обслуговування, а також моніторинг якості. Завдяки візуальному перетягуванню та розробці з низьким рівнем коду, вона знижує поріг обробки даних, забезпечує стандартизацію та автоматизацію процесів обробки даних, а також гарантує якість даних на всьому шляху від збору до застосування.Дізнайтеся більше.。
• Центр безпеки даних Alibaba Cloud
  Він надає такі функції, як інвентаризація даних, виявлення конфіденційних даних, десенситизація даних, аудит доступу тощо, а також створює систему захисту даних протягом усього їх життєвого циклу. Він містить вбудовану базу даних основних світових правил дотримання нормативних вимог, автоматично виявляє ризики невідповідності під час обробки даних і відповідає вимогам таких законів, як GDPR і Закон про захист персональних даних.Дізнайтеся більше.。
• Алiбаба Клауд МаксКомп'ют
  Масштабна розподілена обчислювальна послуга, що підтримує зберігання та обробку даних на рівні ЕБ і забезпечує потужні можливості офлайн-обчислень. Завдяки архітектурі, що відокремлює обчислення від зберігання, ресурси можуть гнучко масштабуватися, а витрати на 50% нижчі, ніж у традиційних архітектурах. Це рішення підходить для таких завдань, як архівування історичних даних підприємства, глибинний аналіз і навчання моделей тощо.Дізнайтеся більше.。

Промислові рішення та реалізація сценаріїв

Програма пропонує індивідуальні рішення для різних галузей і вже успішно реалізована в декількох сферах:

1. Електронна комерція та роздрібна торгівля.

• Інтелектуальна робота в усіх каналахОб'єднати дані про онлайн- та офлайн-транзакції, а також дані про поведінку користувачів, провести аналіз даних у режимі реального часу за допомогою Flink і створити 360-градусний профіль користувача;
• Інтелектуальна система рекомендаційСтворення системи рекомендації товарів і повідомлення про акції на основі інтелектуальних рекомендацій AIRec у поєднанні з технологією Tongyi Qianwen для створення персоналізованих маркетингових текстів з метою підвищення коефіцієнта конверсії;
• Інтелектуальне планування ланцюга поставок.За допомогою моделі моніторингу запасів у реальному часі та прогнозування продажів, динамічно коригуються розміщення складських приміщень і логістичні графіки, що допомагає знизити витрати на запаси на 15-20%.

2. Індустрія фінансових послуг.

• Система управління ризиками в режимі реального часу.Використовуючи версію Flink для обробки даних про транзакції користувачів у режимі реального часу та поєднуючи моделі ШІ, навчені за допомогою машинного навчання в PAI, для виявлення шахрайств у режимі реального часу, ми скоротили час реагування на ризики з хвилин до секунд.
• Інтелектуальні консультаційні послуги з інвестування.На основі обробки величезної кількості ринкових даних та оцінки ризикових уподобань користувачів в AnalyticDB, персоналізовані інвестиційні рекомендації створюються за допомогою чат-бота Thousand Questions, що допомагає підвищити ефективність послуг;
• Платформа для аудиту відповідностіЗавдяки Центру безпеки даних забезпечується аудит усіх транзакційних даних та десенсибілізація конфіденційної інформації, що відповідає вимогам фінансового регулювання та нормам дотримання законодавства.

Переваги програми та цінність для клієнтів

• Гарантія продуктивностіВона використовує ту саму технологічну архітектуру, що й Double 11, і пройшла випробування під час найбільшої у світі електронної комерції акції, завдяки чому забезпечує стабільну роботу бізнесу у пікові періоди.
• Підвищення ефективності.Ефективність навчання моделей ШІ зросла на 901 ТП4Т, а швидкість обробки даних збільшилася більш ніж у 10 разів, що допомагає компаніям швидко реагувати на зміни ринку;
• Оптимізація витратЗавдяки гнучкій архітектурі обчислювальних та сховищних систем, рівень використання ресурсів збільшився більш ніж на 601 ТБ/рік, а ІТ-витрати знизилися на 30-501 ТБ/рік;
• Безпечна відповідність вимогамЗахист даних на всіх етапах та глобальна система відповідності нормативним вимогам, що допомагають знизити ризики для безпеки даних і витрати на забезпечення відповідності нормативним вимогам.

підсумок

Розширене рішення для інтелектуальної обробки даних Alibaba Cloud Double 11 забезпечить підтримку основних технологій Tmall Double 11 для всієї галузі. Завдяки високопродуктивним обчисленням, інтеграції великих моделей ШІ, алгоритмам точного рекомендування та глобальному управлінню відповідністю нормативним вимогам, це рішення допоможе компаніям подолати перешкоди в обробці даних і прискорити перехід на інтелектуальні технології. Воно забезпечить стабільну і надійну технічну підтримку для вирішення завдань, пов'язаних з піковими навантаженнями на систему, підвищенням ефективності застосунків ШІ або реалізацією точного рекомендування, ставши основним двигуном цифрового зростання компаній.

Для отримання додаткової інформації відвідайте веб-сайтСторінка рішень на офіційному сайті Alibaba CloudОтримайте консультацію щодо індивідуальних рішень та технічну підтримку.