В этой статье мы продолжим разговор о методе ближайших соседей, как наиболее часто употребимом для решения задач классификации и регрессии. В прошлой статье мы уже разобрали часть отрицательных сторон данного метода, которые делают его неприменимым в ряде случаев. Сейчас мы продолжим эту тему. Так вы узнаете, как мы проверяем выборки перед тем, как осуществлять статистическую обработку данных для диссертаций.

Объем обучающей выборки для метода ближайших соседей

Зададимся вопросом: каков все-таки должен быть объем обучающей выборки, чтобы метод был применим и результативен. Плотность распределения случайных величин в обучающей выборке в предыдущем примере с равномерным распределением пропорциональна N^1/p. Соответственно, для обеспечения той же плотности распределения при увеличении количества независимых показателей, например, с 3 до 10, количество объектов в обучающей выборке должно быть увеличено путем возведения в степень 10/3. Например, если изначально в выборке было 100 объектов, то их должно стать более 4,5 млн. Далеко не каждая реальная выборка обладает таким объемом.

Ошибка прогноза

Предположим теперь, что закон распределения прогнозируемой величины нам известен: y=f(x) и мы пользуемся методом 1 ближайшего соседа, чтобы предсказать значение y₀ в некоторой точке x₀. Пусть множество точек обучающей выборки — T.

Ошибку можно вычислить следующим образом:

EPE(x₀) = E_T(f(x₀)-y₀)²) = E_T(f(x₀)-E_T(y₀)+E_T(y₀)-y₀)²) = (E_T(y₀)-f(x₀))² + E_T(y₀-E_T(y₀))²) + 2 * (E_T(y₀)-f(x₀))  * E_T(E_T(y₀)-y₀)) = Дисперсия_T(y₀) + Смещение²(y₀) = Var_T(y₀) + bias²(y₀).

Это известная формула разложения ошибки. В случае, когда точки обучающей выборки распределены равномерно в некотором объеме, при большом количество независимых показателей (то есть при большой размерности) и малом количестве объектов в выборке, bias растет. В прошлой статье мы показали, что если объем распределения выборки — многомерный шар с центром в начале координат, большинство точек выборки будет отстоять от начала координат более чем на 0,5, если измерений более 10, а выборка менее 1 000 наблюдений. Это сильно увеличивает полученную нами величину ошибки.

Существует много других примеров, когда при малых выборках и больших измерениях, ошибка достаточно велика.

Как избежать проблемы многофакторности в регрессионном анализе

Несмотря на достаточно большие смещения линейная модель при определенных ограничениях применима и при больших измерениях. Предположим, что реальный закон распределения прогнозируемой величины нам известен, и он имеет следующий вид:

y = f(x) + e, где f(x) — линейная функция вида X^Tb, при этом дополнительно предположим, что ошибка e имеет нормальный закон распределения N(0,sigma²), а предсказанное нами y₀ = x₀^Tb + sum_i (x_i (X^TX)⁻¹ x₀ * e_i).

Пусть прогнозируемая нами линейная зависимость имеет вид h(x).

В этой ситуации

EPE(x₀) = E_T( (h(x₀) — y₀)² ) = E_T(h(x₀)² — 2*h(x₀)* y₀+ y₀²) = E_T( (h(x₀) — E_T(h(x₀)) )² + E_T(h(x₀))²— 2*h(x₀)* f(x₀)+ E_T( y₀-f(x₀) )² + f(x₀)² = Variance_h + bias²(y₀) + noise_y0.

Учитывая закон распределения ошибки, который мы предположили для e, 

EPE(x₀) = E_T x₀^T (X^TX)⁻¹ x₀ * sigma² + 0 + sigma².

Если дополнительно предположить, что E(X) = 0, то (trace — это след матрицы):

EPE(x₀) = trace[Cov(X)⁻¹Cov(x₀)] * sigma²/N + sigma² = sigma²* p/N + sigma² где p — количество независимых показателей.

Соответственно, если количество данных в выборке растет быстрее чем размерность выборки, то есть количество независимых показателей, или если дисперсия реальной модели мала, тогда даже при больших количествах независимых показателей модель вполне применима, но лишь с учетом всех ограничений, сделанных нами в рассуждении.

При использовании любого метода обращайте, пожалуйста, внимание на размер обучающей выборки, количество параметров и форму распределения и оценивайте возможность применения тех или иных методов. Если у вас возникают трудности с проведением статистической обработки для вашей диссертации, напишите нам.