Компанія Soasta надає ряд сервісів для аналітики і тестування сайтів. Фахівці компанії використовували величезний масив даних, зібраний їхньою системою аналітики, в машинному навчанні з метою визначити, які взаємозв'язки між різними показниками виявить штучний інтелект. Теммі Евертс з Soasta і Пет міна з Google представили результати на конференції Velocity 2016, що проходила в Нью-Йорку у вересні 2016 року.
Дослідження проводилося відносно двох кінцевих результатів взаємодії користувача з сайтом - відмов і конверсій. Тобто дослідники намагалися навчити штучний інтелект «відгадувати» з великою ймовірністю на підставі різних ознак чи піде користувач зі сторінки не зробивши ніяких дій (відмова), і чи зробить він конверсію.
Висновок 1: тільки дуже обмежене число параметрів впливає на відсоток відмови.
Спочатку дослідники припускали, що чи не будь-який параметр важливий для прогнозування. Це виявилося не так.
На графіку нижче показано, що при заданій нижній межі ймовірності, передбачення відмови в 70%, тільки знання 6 факторів значно покращує точність прогнозу. Велика кількість факторів не впливає суттєво на якість прогнозу, і близько чверті - не впливає взагалі.
Висновок 2: швидкість появи події DOM Ready і швидкість завантаження сторінки виявилися кращими предикторами відмов.
Знання цих параметрів дозволяло з ймовірністю 89,5% передбачати, чи зробить користувач відмову на сторінці. Точність передбачення ніколи не досягає 100%, а ймовірність передбачення в 50% практично еквівалентна підкиданню монетки. Тому все, що вище 50% можна вважати «поліпшенням прогнозу», а 89,5% - це дійсно хороша ймовірність прогнозу.
На наступній діаграмі показана ймовірність відмови на сторінці в залежності від швидкості настання події DOM Ready і завантаження сторінки.
Очевидно, що будь-який сайт повинен ставити собі за мету завантажуватися не довше 4-х секунд, тому що більш тривале завантаження сторінок буде приводити до дуже великого відсотку відмов.
Інший важливий момент: не спостерігається нижньої межі швидкості завантаження щодо поліпшення відсотка відмов. Починаючи від 5 секунд і далі в бік скорочення швидкості завантаження, ймовірність відмови знижується майже лінійно.
На 3-му місці за впливом на точність передбачення відмови, виявилася швидкість початку відображення сторінки (подія start render).
Висновок 3: Передбачати конверсію виявилося складніше. Максимум точності - 81%.
Як показано на графіку нижче, 81% - максимум досягнутої точності, при цьому набагато більше факторів не впливають на конверсію абсолютно.
Висновок 4: Чим більше скриптів на сторінці, тим гірше вона конвертує.
В даному випадку під кількістю скриптів розуміється кількість елементів, що починаються з тега <script>.
На графіку нижче представлена ймовірність конверсії в залежності від кількості тегів <script>.
Висновок 5: Кількість елементів DOM дуже сильно впливає на конверсію.
Як видно з графіка нижче, сторінки з максимальною конверсією містять від 400 до 700 елементів DOM.
Можна впевнено припустити, що чим більш перевантаженою стає сторінка (більше 2200 елементів DOM), тим гірше вона конвертує.
Висновок 6: Показники, пов'язані з користувачами мобільних пристроїв не є предикторами конверсії.
Такі параметри, як, наприклад, ширина каналу, тип пристрою або тип з'єднання у мобільних користувачів не чинили впливу на точність передбачення конверсії.
Дослідники прийшли до наступної інтерпретації цих результатів. Вони вважають, що користувачі не ділять в своїй свідомості інтернет на «мобільний» і «нормальний». Вони звикли до того, що сторінки вантажаться швидко, і тому приблизно однаково реагують незалежно від того, з якого пристрою вони переглядають сторінки.
Висновок 7: не всі результати варто приймати на віру.
Машинне навчання визначає взаємозв'язки між різними точками даних, але отримані результати варто сприймати з обережністю і шукати інтерпретації в тих випадках, коли результат суперечить здоровому глузду.
Як приклад, дослідники наводять графік нижче, який показує, що сторінки оформлення замовлення з часом відповіді сервера в 8 секунд, конвертують найкраще.
Однак даний результат скоріше говорить про те, що сторінки оформлення замовлення просто працюють відносно повільно. Зазвичай на таких сторінках знаходяться різні додаткові скрипти, наприклад, перевірки номера карти, які звертаються до зовнішніх джерел. А рішення користувача про те, що він хоче купити деякий предмет, приймалося набагато раніше - на картці товару або на лендінгу.
На закінчення варто відзначити, що ці результати отримані за даними клієнтів сервісу Soasta. Можливо в вашому випадку вплив згаданих показників на відсоток відмов і конверсії буде іншим. Однак важко заперечити той факт, що прискорення сайту допомагає зменшити відмови і поліпшити конверсію.
Обробка: Vinci