Математический форум Math Help Planet
http://mathhelpplanet.com/

Энтропия случайной величины
http://mathhelpplanet.com/viewtopic.php?f=19&t=15807
Страница 1 из 1

Автор:  vitali_master [ 01 апр 2012, 14:18 ]
Заголовок сообщения:  Энтропия случайной величины

Добрый день, уважаемые форумчане!

Вот две недели безуспешно веду борьбу с двумя интегралами. Но обо всем по-порядку.
Задача: Определить энтропию случайной величины, распределенной по одному из законов:
1. экспоненциальный
Плотность вероятности [math]\[W(x) = \left\{ \begin{gathered}c{e^{ - cx}},x \geqslant 0,(C > 0), \hfill \\0,x < 0. \hfill \\\end{gathered} \right.\][/math]
С - константа.
2. гауссовский
Плотность вероятности [math]W(x) = \frac{1}{{\sqrt {2\pi } {\delta _x}}}{e^{\left( { - \frac{{{x^2}}}{{2{\delta _x}^2}}} \right)}}[/math]
где [math]\delta _x[/math] - дисперсия, т.е. некоторое число, ее можно рассматривать как константу
Собственно энтропия вычисляется по формуле: [math]{H_\Delta }(X) = \int\limits_{ - \infty }^\infty {W(X){{\log }_2}W(X)dx}[/math]
Если подставить в формулу значения функции плотности вероятности, получим два интеграла:
1. [math]{H_\Delta }(X) = \int\limits_{ - \infty }^\infty {\frac{1}{{\sqrt {2\pi } {\delta _x}}}{e^{\left( { - \frac{{{x^2}}}{{2{\delta _x}^2}}} \right)}}{{\log }_2}\frac{1}{{\sqrt {2\pi } {\delta _x}}}{e^{\left( { - \frac{{{x^2}}}{{2{\delta _x}^2}}} \right)}}dx}[/math]
2. [math]{H_\Delta }(X) = \int\limits_{ - \infty }^\infty {c{e^{ - cx}}{{\log }_2}c{e^{ - cx}}dx}[/math]
Вот эти два интеграла не могу решить. Пробовал и замену переменной, и интегрирование по частям.
Если кому-то поможет - интеграл в бесконечных пределах от плотности распределения равен единице:
[math]\int\limits_{ - \infty }^\infty {W(x)dx = 1}[/math]
Вот, что должно получиться:
1. [math]{H_\Delta }(X) = {\log _2}{\delta _x}\sqrt {2\pi e}[/math]
2. [math]{H_\Delta }(X) = {\log _2}\frac{e}{c}[/math]
Помогите, кто чем может. Кто советом, а кто может и делом. Заранее благодарен за любую оказанную помощь.

Автор:  Prokop [ 01 апр 2012, 14:37 ]
Заголовок сообщения:  Re: Энтропия случайной величины

Вас, видимо, испугал логарифм.
Например. в первом интеграле пишите

[math]\log \frac{1}{{\sqrt {2\pi \delta _x } }}e^{ - \frac{{x^2 }}{{2\delta _x ^2 }}} = \log \frac{1}{{\sqrt {2\pi \delta _x } }} - \frac{{x^2 }}{{2\delta _x ^2 }}\log e[/math]

и интеграл разбивается на два, каждый из которых вычисляется.

Страница 1 из 1 Часовой пояс: UTC + 3 часа [ Летнее время ]
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
http://www.phpbb.com/