Дисперсія: що це і навіщо про неї знати
Дисперсія — це міра розсіювання значень навколо середнього. Без неї важко сказати, чи є різниця між двома вибірками реальною, чи випадковою. Уявіть, що ви порівнюєте середню зарплату в двох IT-компаніях: в одній — 3500 євро, у другій — 3700. На перший погляд, відмінність є. Але якщо в одній фірмі всі отримують від 3000 до 4000, а в іншій — хтось 1500, а хтось 5900, то й висновки будуть різні. Саме дисперсія показує таку розбіжність.
Це поняття трапляється не лише в математиці. Його використовують у фізиці (розкладання білого світла на спектр), у хімії (стійкість колоїдних систем), у фінансах (оцінка ризику активів), навіть у соціології (різноманіття відповідей респондентів). У цій статті я зосереджуся саме на статистичній дисперсії — тій, що найчастіше потрібна школярам, студентам і тим, хто працює з даними. Додам фізичне пояснення окремо, бо плутанина між двома значеннями слова трапляється часто.
Матеріал розрахований на тих, хто хоче розібратися з нуля, і на тих, кому потрібне практичне нагадування. Формули подані покроково, є реальні числові приклади, таблиці для швидкого порівняння, а також поради, як не припуститися типових помилок.
Дисперсія у статистиці: головна суть і формули
У найпростішому формулюванні дисперсія показує середнє зведених відхилень від середнього арифметичного. Чим більше число — тим сильніше дані «розкидані». Число, близьке до нуля, означає, що значення майже однакові.
Для вибірки використовують таку формулу:
s² = Σ(xᵢ − x̄)² / (n − 1)
Тут xᵢ — кожне окреме значення, x̄ — середнє арифметичне, n — кількість спостережень. Знаменник (n − 1) — це поправка Бесселя, яка дає незміщену оцінку для вибірки. Для генеральної сукупності пишуть просто n, але в реальних задачах ми майже завжди маємо справу з вибіркою.
Покроковий приклад. Нехай маємо п’ять значень: 4, 8, 6, 5, 7. Крок 1 — знаходимо середнє: (4 + 8 + 6 + 5 + 7) / 5 = 30 / 5 = 6. Крок 2 — обчислюємо квадрати відхилень: (4 − 6)² = 4, (8 − 6)² = 4, (6 − 6)² = 0, (5 − 6)² = 1, (7 − 6)² = 1. Крок 3 — додаємо: 4 + 4 + 0 + 1 + 1 = 10. Крок 4 — ділимо на n − 1: 10 / 4 = 2,5. Отже, дисперсія вибірки = 2,5. Стандартне відхилення, яке є квадратним коренем з дисперсії, дорівнює ≈ 1,58. Це число вже має «людський» масштаб: у середньому значення відхиляються від середнього приблизно на 1,5–1,6 одиниці.
| Характеристика | Позначення | Що показує | Коли зручно |
|---|---|---|---|
| Дисперсія | s² | Середній квадрат відхилень | Проміжні обчислення, моделі |
| Стандартне відхилення | s | Типове відхилення у тих самих одиницях, що й дані | Інтерпретація результатів |
| Розмах | R | Різниця між max і min | Швидка оцінка «хвостів» |
| Коефіцієнт варіації | CV = s / x̄ | Відносна міра розсіювання | Порівняння різних шкал |
У таблиці — чотири споріднені показники. Їх не варто плутати між собою. Наприклад, розмах (max − min) дуже чутливий до викидів: одне значення 100 у вибірці з п’яти елементів зробить розмах величезним, навіть якщо решта даних майже однакова. Дисперсія реагує на викиди м’якше, бо підносить відхилення до квадрата, але все одно може «здуватися» через них. Коефіцієнт варіації корисний, коли потрібно порівняти мінливість двох наборів, виміряних у різних одиницях: наприклад, доходи в гривнях і відсоток відвідуваності сайту.
Кілька практичних порад:
- Якщо дані мають сильні викиди, рахуйте медіану та інтерквартильний розмах — вони стійкіші.
- Дисперсія має ту саму розмірність, що й дані, але в квадраті. Тому для інтерпретації беріть корінь — стандартне відхилення.
- Якщо значення коливаються в межах десятків, а відхилення — одиниці, дисперсія буде невеликою. Якщо ж дані в мільйонах, дисперсія вийде астрономічною. Це нормально, але звітувати варто у відносних одиницях.
Як влаштована дисперсія: точковий погляд
Статистична дисперсія, яку ми щойно обговорили, і фізична дисперсія світла — це різні речі, хоча назва споріднена. У фізиці дисперсія — це залежність показника заломлення середовища від довжини хвилі. Саме завдяки їй скляна призма розкладає біле світло на спектр: короткі хвилі (фіолетові) заломлюються сильніше, ніж довгі (червоні). Це явища описав ще Ньютон 1666 року, коли пропускав сонячний промінь крізь скляну призму в темній кімнаті.
Є два типи дисперсії світла. Нормальна — коли зі зростанням довжини хвилі показник заломлення зменшується (типова для скла і води). Аномальна — коли залежність протилежна на вузькій ділянці спектра; таке спостерігають, наприклад, у парах йоду. На практиці нормальна дисперсія відповідає за роботу призм у спектроскопах і навіть за появу веселки, де роль призми відіграють краплі води.
У математичній статистиці є ще поняття «дисперсія випадкової величини» — це теоретична міра, яка визначається для розподілу. Наприклад, для рівномірного розподілу на відрізку [a, b] вона дорівнює (b − a)² / 12. Для біноміального — n·p·(1 − p). Для нормального — σ², де σ — параметр розподілу. Ці формули корисні, коли ми працюємо з моделлю, а не з конкретною вибіркою.
Декілька наукових фактів, які допомагають закріпити тему:
- Властивість адитивності: для незалежних величин дисперсія суми дорівнює сумі дисперсій. Це активно використовують у теорії ймовірностей і в машинному навчанні.
- Дисперсія не може бути від’ємною — це сума квадратів, поділена на додатне число.
- Якщо всі значення у вибірці однакові, дисперсія = 0. Це її мінімум.
- Для великих вибірок оцінка з (n − 1) у знаменнику майже збігається з оцінкою з n. Різниця стає помітною лише при n < 30.
Якщо хочете копнути глибше в імовірнісну сторону, варто глянути на матеріал про дисперсію в енциклопедії Britannica — там зібрано академічно вивірені формули з коментарями щодо різних розподілів.
Типові помилки при обчисленні дисперсії
Крок 1. Середнє арифметичне часто рахують неправильно, особливо якщо дані великі. Порада: перевіряйте себе тим, що середнє має бути між мінімумом і максимумом. Якщо вийшло інакше — шукайте помилку.
Крок 2. Квадрати відхилень. Часто забувають про знак: (xᵢ − x̄)² усуває його автоматично, але якщо ви рахуєте |xᵢ − x̄|, то отримаєте середнє абсолютне відхилення, а не дисперсію. Це різні речі.
Крок 3. Знаменник. Для вибірки беруть (n − 1), для генеральної сукупності — n. У шкільних задачах це рідко зазначають, але в університетських курсах — критично. Підказка: якщо в умові сказано «вибірка з 10 спостережень», діліть на 9.
Крок 4. Інтерпретація. Дисперсія в одиницях² — це майже завжди незручно для пояснення. Наприклад, дисперсія часу відповіді сервера в мілісекундах² — це квадратні мілісекунди, і нікому це нічого не каже. У таких випадках беріть стандартне відхилення (корінь) і пояснюйте в тих самих одиницях, що й дані.
Крок 5. Змішування двох дисперсій. Поширена помилка — порівнювати дисперсію двох наборів, які мають різний масштаб. Наприклад, дисперсія зарплат у гривнях і дисперсія відсотка виконання плану. Числа будуть непорівнянні. Використовуйте коефіцієнт варіації, щоб звести до єдиної шкали.
Крок 6. Викиди. Одне значення 1000 у вибірці, де решта — числа 5–15, може зробити дисперсію величезною. Перш ніж рахувати, подивіться на ящик з вусами (boxplot) або хоча б на гістограму. Якщо бачите явний викид, вирішіть, чи прибирати його, чи залишати, і поясніть це у звіті.
Крок 7. Округлення. Не округлюйте проміжні результати. Якщо на якомусь кроці ви записали 2,5 замість 2,4999, фінальна дисперсія може відрізнятися на десяті. Заокруглюйте лише відповідь.
Дисперсія в реальних задачах: від теорії до практики
Кейс 1. Оцінка ризику інвестицій. Припустимо, акції компанії А мають середню прибутковість 8% на рік з дисперсією 36 (тобто стандартне відхилення 6%). Акції компанії B дають 12% на рік, але дисперсія 144 (стандартне відхилення 12%). Інвестор, який не витримує різких коливань, обере компанію А, навіть попри меншу середню прибутковість. Це класичне застосування дисперсії у фінансах.
Кейс 2. Контроль якості на виробництві. На конвеєрі вимірюють діаметр підшипника. Якщо дисперсія зростає протягом зміни — це сигнал, що верстат починає зношуватися. Дисперсія тут — індикатор стабільності процесу.
Кейс 3. Аналіз результатів експерименту. Ви порівнюєте дві методики навчання. У першій групі середній бал 75, стандартне відхилення 8. У другій — 78, стандартне відхилення 3. Формально друга група має вищий середній, але різниця в один бал лежить у межах звичайного розкиду. Без дисперсії висновок був би хибним.
Кейс 4. A/B-тести в маркетингу. Конверсія старого лендингу — 4,1%, нового — 4,3%. Здається, виграш є. Але якщо стандартне відхилення по тижнях 0,5%, то різниця вкладається в шум. Аналіз дисперсії допомагає зрозуміти, чи є новий варіант справді кращим, чи це випадкове коливання.
Дисперсія та міжнародні підходи до статистики
Європейський підхід (ISO 3534). Міжнародний стандарт ISO 3534-1 чітко розрізняє дисперсію генеральної сукупності (позначається σ²) та вибіркову дисперсію (s²). У європейських університетах студентів зазвичай одразу вчать обчислювати обидві. Це допомагає уникнути плутанини в подальших курсах з регресії та дисперсійного аналізу (ANOVA).
Американська традиція (NIST/SEMATECH). Посібник NIST/SEMATECH Engineering Statistics Handbook дає ті самі формули, але додатково наголошує на стійкості до викидів і радить для «брудних» даних використовувати робастні оцінки, наприклад медіанне абсолютне відхилення (MAD). У США такий підхід поширений у прикладних дослідженнях і в інженерії якості.
Українська практика. У шкільній програмі дисперсія вивчається поверхнево — зазвичай обмежуються формулою для невеликих вибірок. В університетах (особливо на спеціальностях «статистика», «прикладна математика», «соціологія», «економіка») студенти проходять її глибше, з розрізненням типів оцінок і з обов’язковим зв’язком з нормальним розподілом.
Українські аналітики, що працюють з ринковими даними, дедалі частіше переходять від «сирої» дисперсії до ковзного стандартного відхилення (rolling standard deviation) і до коваріаційних матриць, особливо в задачах оптимізації портфеля. Це повторює світові тренди, де класична σ² доповнюється ризик-метриками на кшталт VaR.
Дисперсія: історія поняття і його повернення
Витоки. Термін «variance» у статистичному сенсі закріпив Рональд Фішер у 1918 році в праці «The Correlation between Relatives on the Supposition of Mendelian Inheritance». Він увів дисперсійний аналіз (ANOVA) як інструмент, що дозволив розділити загальну мінливість на частини, які пояснюються досліджуваним фактором, і залишкову. Це був прорив для біометрики й агрономії.
Пік у XX столітті. У 1950–1970-х роках дисперсія стала базою для регресійного аналізу, факторного аналізу, аналізу часових рядів. Її вчили на кожному статистичному факультеті, а обчислювали вручну або за допомогою арифмометрів. Поява пакетів SAS, SPSS і пізніше R зробила обчислення миттєвим.
Сучасне повернення. У 2000-х дисперсія знову стала «зіркою» — але вже під соусом машинного навчання. Bias-variance tradeoff (компромісс між зміщенням і дисперсією) — ключова концепція для розуміння перенавчання моделей. В ансамблевих методах (random forest, gradient boosting) окремо контролюють дисперсію окремих дерев, щоб знизити її в підсумковому прогнозі. У deep learning дисперсія ваг і активацій допомагає відстежувати стабільність навчання.
Сьогодні дисперсія — це поняття, яке поєднує класичну статистику і сучасні обчислювальні методи. Вона залишається у шкільних підручниках, у підручниках з data science і в технічних звітах інженерів. Її розуміють не лише математики, а й аналітики, маркетологи, фінансисти — тобто всі, хто працює з даними і хоче робити обґрунтовані висновки.
Часті запитання (FAQ)
Чим дисперсія відрізняється від стандартного відхилення?
Стандартне відхилення — це квадратний корінь з дисперсії. Воно виражене в тих самих одиницях, що й дані, тому його зручніше інтерпретувати. Дисперсію використовують у проміжних розрахунках, бо вона має корисні алгебраїчні властивості.
Чому у формулі вибірки n − 1, а не n?
Це поправка Бесселя. Вона робить оцінку незміщеною: математичне сподівання s² дорівнює справжній дисперсії σ². Для великих вибірок різниця між n і n − 1 мінімальна, але для малих — помітна.
Що робити, якщо дані мають сильні викиди?
Найпростіше — подивитися на ящик з вусами і вирішити, чи прибирати викиди. Якщо прибирати некоректно (наприклад, це реальні, хоч і рідкісні випадки), використовуйте робастні альтернативи: медіанне абсолютне відхилення (MAD) або інтерквартильний розмах.
Чи можна порівнювати дисперсії двох вибірок напряму?
Так, але є нюанси. Існують спеціальні тести (тест Фішера, тест Левене, тест Бартлетта), які перевіряють, чи відрізняються дисперсії статистично значуще. Якщо вибірки мають різний масштаб, спочатку нормуйте — використовуйте коефіцієнт варіації.
Чи є зв’язок між статистичною і фізичною дисперсією?
Це різні поняття, хоча обидва йдуть від латинського «dispersio» — розсіювання. У фізиці це залежність показника заломлення від довжини хвилі. У статистиці — міра розсіювання значень. Термінологічно вони не перетинаються, але іноді плутанина трапляється в науково-популярних текстах.
Як порахувати дисперсію в Excel або Google Sheets?
Для вибірки: функція VAR.S (або просто VAR у старих версіях). Для генеральної сукупності: VAR.P (або VARP). Діапазон даних передається як аргумент, наприклад: =VAR.S(A1:A20).
Чи можна обчислити дисперсію для категорійних даних?
Для категорійних даних класична дисперсія не підходить. Використовують інші міри: індекс різноманітності Шеннона, індекс Джині, таблиці спряженості. Це окрема велика тема, яка виходить за межі базового розрахунку.
Наскільки великою має бути вибірка, щоб дисперсія була надійною оцінкою?
Залежить від мети. Для описової статистики вибірки від 20–30 спостережень зазвичай достатні. Для побудови довірчих інтервалів і перевірки гіпотез краще мати 50+ спостережень. Для складних моделей (регресія з багатьма факторами) — від 100 і більше.
Підсумок і що робити далі
Якщо коротко: дисперсія показує, наскільки дані розкидані навколо середнього. Вона лежить в основі багатьох статистичних тестів, допомагає оцінювати ризик і контролювати якість. Для щоденної роботи запам’ятайте три речі: формулу s² = Σ(xᵢ − x̄)² / (n − 1), зв’язок зі стандартним відхиленням і правило «корінь — для пояснення, квадрат — для обчислень». Після цього варто спробувати порахувати дисперсію на власних даних — у таблиці, в Python через numpy.var з параметром ddof=1, або в Excel через VAR.S. Практика на реальних числах закріплює формули краще за будь-яку теорію.
Залишити відповідь