Полная версия

Главная arrow Информатика arrow Автоматизированный системно-когнитивный анализ и его применение для управления социально-экономическими системами в АПК

  • Увеличить шрифт
  • Уменьшить шрифт


<<   СОДЕРЖАНИЕ   >>

Алгоритм формирования матрицы абсолютных частот

Объекты обучающей выборки описываются векторами (массивами) имеющихся у них признаков:

Первоначально в матрице абсолютных частот все значения равны нулю. Затем организуется цикл по объектам обучающей выборки. Если у предъявленного объекта, относящегося к j-му классу есть i-й признак, то в терминах программирования:

Здесь можно провести очень интересную и важную аналогию между способом формирования матрицы абсолютных частот и работой многоканальной системы выделения полезного сигнала из шума. Представим себе, что все объекты, предъявляемые для формирования обобщенного образа некоторого класса, в действительности являются различными реализациями одного объекта - "Эйдоса" (в смысле философии Платона), по-разному зашумленного различными случайными обстоятельствами. И наша задача состоит в том, чтобы подавить этот шум и выделить из него то общее и существенное, что отличает объекты данного класса от объектов других классов. Учитывая, что шум чаще всего является "белым" и имеет свойство при суммировании с самим собой стремиться к нулю, а сигнал при этом, наоборот, возрастает пропорционально количеству слагаемых, увеличение объема обучающей выборки приводит к тому, что отношение сигнал/шум в матрице абсолютных частот все время улучшается, т.е. происходит выделение полезной информации из шума. Примерно таким образом мы начинаем постепенно понимать смысл фразы, которую не сразу расслышали по телефону и несколько раз переспрашивали. При этом в повторах шум не позволяет понять то одну, то другую часть фразы, но, в конце концов, за счет использования памяти и интеллектуальной обработки информации мы понимаем ее всю. Так и объекты, описанные признаками, можно рассматривать как зашумленные фразы, несущие нам информацию об обобщенных образах классов - "Эйдосах", к которым они относятся. И эту информацию мы выделяем из шума при синтезе модели.

Для выражения (11):

(14)

Для выражений (12) и (13):

(15)

Для выражений (11), (12) и (13):

(16)

Отметим, что К. Шеннон при выводе своей знаменитой формулы для средневзвешенного количества информации в сообщении, использовал другое, чем (16), выражение для вероятности, считая, что вероятность выборки определенного конкретного i-го символа из множества этих символов, мощностью Ni, составляет:

(а)

Представим себе, что в некотором сообщении i-й символ встречается Ni раз. Тогда при выборке конкретного i-го символа мы по Р.Хартли получаем:

(б)

информации. В среднем же при выборке i-го символа мы получаем:

(в)

Используя в выражении (в) формулу для вероятности выборки конкретного i-го символа (а) получим:

(г)

В выражении (г) для среднего количества информации в i-м символе учтено, что , т.к. . Всего же в сообщении из N символов в среднем будет содержаться:

(д)

Выражение (д) и представляет собой знаменитую формулу К. Шеннона для среднего количества информации в сообщении из N символов.

 
<<   СОДЕРЖАНИЕ   >>