Likelihood function

$$\huge L(\theta|X,Y) = P(X,Y|\theta)$$

• Наблюдения получены из какого-то распределения.
  Функция правдоподобия показывает насколько правдоподобны параметры, то есть, она равна вероятности получить данную выборку (design matrix (X) with target (Y)) на данных из распределения при условии, что параметр равен $\theta$. Это не распределение над $\theta$.
  Правдоподобие - это вероятность пронаблюдать такую выборку, при условии, что она была порождена распределением с заданными параметрами.
  Это не вероятность параметра при таких данных, это вероятность таких данных при таком параметре.

Преобразования для удобной максимизации функции при вычислениях

$$\huge L(\theta|X,Y) \to \max_\theta$$$$\huge L(\theta|X,Y) = P(X,Y|\theta) = \prod_i P(x_i,y_i|\theta)$$
(второй переход за счет iid)
equivalent to:
$$\huge \log L(\theta|X,Y) = \sum_i \log P(x_i,y_i|\theta)\to\max_\theta$$