Архиваторы: Избыточности не существует.

3 разряда - 8 значений, log2(8) = 3 -> 3 бита?

прикольно... это что - "альтернативная" теория информации?, типа - они там все , совершенно очевидно, что...эфир существет, а физики просто дурят народу головы...

 

Blackbeam, хватит писать, википедию хотябы сначала прочитай а потом сюда пиши
http://ru.wikipedia.org/wiki/%D0%91%D0%B8%D1%82

 

эта ладжестичекая педия не открывается вообще...

возник вот такой вопрос :"сколько битов информации можно записать в регистр eax?"

 

гы. 4 байта )

 

gazlan

"Мое видение" не отличается от шенноновского. Избыточность кодирования по определению это относительная разность между максимальной энтропией, которую мог бы обеспечить заданный алфавит при чисто случайном распределении символов, и реальной энтропией передаваемого сообщения. Если юникодом или анси передавать случайную последовательность символов (например, закодированный текст), то его энтропия будет максимальной (16 или 8 бит/симв.) и соотв-но никакой избыточности в таком сообщении не будет. Если же передавать русский текст с явновыраженной разночастотностью и зависимостью появления символов, то его энтропия упадет до 3-4 бит/симв. и соотв-но 8-ми и тем более 16-ти битная кодировка станут избыточными.

Если не учитывать зависимость между символами, то формально не изменяет. Но в статистической теории в общем случае рассматривают не отдельные символы, а множество (ансамбль) всех возможных сообщений. Если сообщение по определению (или предположению) состоит из независимых символов, то расчет энтропии по множеству сообщений можно свести к расчету по вероятности появления отдельных символов. Можно также учесть корреляцию двух и более последовательных символов (при наличии корреляции энтропия ес-но будет уменьшаться). Но для экзотических или специальных случаев типа "мультипликатора" Stiver, или цветов радуги GoldFinch нужно рассматривать все возможное мн-во сообщений, тогда станет ясно, что "мультипликатор" дважды гонит одну и ту же строку, а для передачи цветов радуги достаточно не более 3-х бит.

А вот ты как раз со своим "планом Z" или "1000 знаками числа Pi" как раз и уходишь от шенноновских определений фиг знает куда, т.к. по одному сообщению и соответсвующему ему коду ничего сказать нельзя - нужно рассматривать все множество допустимых сообщений. Если в твоей системе заложено всего 2 "плана", известые на обоих сторонах, то независимо от того, по сколько страниц они занимают, выбор одного из двух требует всего 1 бита информации.

 

Не ухожу. Просто иллюстрирую, что кодирование - суть переименование.
Вернемся к static Huffman, словарю в 256 кодов и набору символов ASCII. Очевидно, что "сжатое" сообщение - это просто переименованное исходное. Что у нас с информацией и с избыточностью? К слову, размер произвольного "сжатого" сообщения в таком эксперименте необязательно будет меньше исходного - может быть и больше. Fifty-fifty.

 

Я собираюсь передать 1000 знаков, чудесным образом совпавших с первой тысячей знаков числа PI. "Фрактальный" компрессор сумел уловить это совпадение (детали реализации), а декомпрессор на приемной стороне сгенерировал их по формуле. Акцент - на модели, разделяемой абонентами на обоих концах канала саязи. То, что мы привыкли называть "информацией" (и подсчитывать ее количество) имеет смысл только в рамках строго определенной _разделяемой_ модели.

 

gazlan

Ну я тебе на пальцах покажу где избыточность и куда она девается. =)
Строки "1001(2)" и "9(10)" обозначают одно и то же число, но первая запись занимает на 2 байта больше места в накопителе информации. Вот эти "лишние" 2 байта, на которых можно сэкономить, которыми можно не захламлять устройства хранения и связи - и есть та самая избыточность, которую ты до сих пор никак не можешь нащупать ни в воздухе ни в радиоволнах, а вот они - тута, щупай сколько влезет и наслаждайся результатом. Наконец то ты увидел и потрогал избыточность в 2 байта, и я рад. =)

 

1. Только в рамках разделяемой модели
2. Где здесь изыточность по Шеннону?

 

Не всем, наверное, ясно чего ради я затеял это обсуждение, поэтому попробую кратко изложить свое понимание информационного обмена:

1. Обмен информацией происходит между источником и приемником через канал связи (Посылка сообщения).
2. Материальные аспекты переноса (масса, энергия) игнорируются.
3. Оба - источник и приемник разделяют идентичную модель системы.
(Скажем, атомный цезиевый эталон времени и ходики с кукушкой разделяют модель "часы, способные отображать текущее время с точностью до одной минуты").
4. Информация, передаваемая по каналу связи используется для синхронизации моделей (Скажем, сигналы точного времени).
5. Информация из п.4 (синхросигнал) является относительной величиной, не имеющей никакого смысла вне контекста разделяемой модели (невязка между текущим и эталонным состояниями).
6. Рассматривая Сообщение как многомерный вектор (объект с i степенями свободы), можно выбрать такую систему координат, в которой его представление будет выглядеть простейшим образом
(Нормализация, Приведение к Главным осям).
7. "Сжатие" сообщения есть ни что иное, как нормализация (многомерный сдвиг и поворот).
8. Шифрование также является многомерным сдвигом и поворотом.

Следствие:

1. Информация нематериальна, неуничтожима и неперемещаема. (Иными словами, информацию можно только клонировать).

 

Ничего не понял, но какая практическая польза?

 

Я не очень понял что есть такое эта разделяемая модель. Знания о том как записывать числа текстом? Если так, то да, конечно, обозначение чисел имеют смысл только в рамках правил/знаний как их записывать. Это как-то даже странно обсуждать...

В первом случае используется почти только 2 состояния буквы алфавита, из всех возможных! А во втором - 10. Что это как не мера уклонения от случайности, которая в первом случае выходит больше, больше и Шенноновская избыточность.

 

Эээ... Непонятно куда делся топикстартеровый тезис "избыточности не существует"... =)

Но и собственно непонятно откуда из изложенного "понимания информационного обмена" вытек вдруг вот это вот следствие. Не то чтобы оно не верно - мир Эйдосов (нематериальный мир идей, образов, информации, где отсутствует понятие движения или даже просто местоположения) еще знаете ли до нашей эры придумывали философы. Нет. Просто совершенно непонятно как сам по себе этот "вывод" связан с предшествующими ему 8 пунктами. =)

 

На сегодняшний день, понятие Информации - это предмет для всевозможных спекуляций (a la "Инфодинамика"). Предлагаемая концепция, возможно, позволит вернуться на реальную почву и воспользоваться результатами Теории Синхронизации Динамических Систем (Информация - как слабая связь).

 

Неявно, всегда подразумевается некоторый общий базис для источника и приемника. Например, знание Алфавита, который используется в сообщении. Скажем, если передается литера "А", то количество полученной информации будет различным для латинского и русского алфавитов. Разделяемая Модель - это явное подчеркнутое указание на общий для обоих корреспондентов тезаурус.

 

Никуда не делся. Это следует из самого процесса компрессии, как преобразования системы координат. Собственно информация при этом должна быть инвариантом преобразования (Сравните, например, с каноническим представлением плоских кривых второго порядка). Понятие "избыточности" при этом вряд ли вообще имеет смысл.

Это следствие самого понимания информации как синхросигнала. То есть, информация - это некоторая условная величина (невязка), в отличие от объектов реального мира, обладающих свойствами Находиться и Перемещаться. Не являясь физическим объектом (мы абстрагируемся от реальной энергетики процесса переноса), информация подобными свойствами не обладает по определению, она - результат расчета и не более реальна, чем "мнимая единица".

 

gazlan

ага. ну всё верно. вы же сами говорите, что вектор информации может быть представлен в некоем "минимальном" виде. вот все остальные виды в этом смысле и избыточны. в принципе, я не вижу тут что еще можно обсуждать на тему избыточности - она есть и это факт.

 

Мне кажется неправильным само разделение на компоненты. Это тоже самое сообщение, только записанное другими буквами. Взгляд из другой системы координат. Сравните, например, с коническими сечениями. Является ли парабола более "избыточной", чем эллипс?

 

Мы уже выяснили что "1001(2)" более избыточно чем "9(10)", при всём при том что вы тут говорите "что это взгляд из другой системы координат (способ записи)", что "это тоже самое сообщение, только записанное другими буквами", всё так и есть и тем не менее 1001(2) более избыточно, чем 9(10) на 2 знака, в чём легко убедится прямо сейчас сосчитав пальцем эти самые знаки - раз, два, три... и так далее. =)
О чём еще речь может быть? Всё вашими же терминами и подтверждается.

Про эллипс и параболу - просто fail - мы же не геометрию тут обсуждаем.

 

Избыточность вносится возможностью процессинга Говоря вашим языком, возможностью совершать преобразования координат...В чистом виде информации не существует Вы ищите философский камень...пока это имеет практическую выгоду, "информация" удобна, ну а когда начинаются спекуляции, то лучше читать историю и классику