Искусственный Разум

[Lokky]

Вы путаете две вещи - информационную емкость носителя и количество информации в сообщении. Сообщение "00000000000000000000000000000001" на носителе (в памяти Вашего компьютера) сейчас представлено 32 символами unicode по 16 битов в каждом, то есть, для его хранения израсходовано 512 битов носителя информации (DIMM-а). Но, будучи записанным в двоичной системе, оно займет всего 32 бита. А если его

Но Вы видимо не знаете такого интересного парадокса - что именно в СЛУЧАЙНОЙ последовательности как ни странно содержится больше всего информации! Только эта информация бесполезна.

Запущено, то, всё, как! Julius! Это Вы откровенно путаете количество информации, её ценость, и её способность к сжатию.
Давайте ещё раз, и "от противного". Давайте, в самом деле, от ёмкости носителя будем плясать. Если есть носитель емкостью 1Мбт, то Вы хоть тресните, но там будет не более, чем 1 Мбт. Там можно записать небольшой романчик в ворде, многотомный роман в тхт, или полбиблиотеки сжатой раром. В зависимости от качества изображения и способа отображения информации там влезет или малюсенький кусочек качественной bmp, или сотни вполне неплохих фрактальных картинок. Но во всех этих случаях там будет менее 1Мбт информации. И информации не становится меньше, от потенциальной возможности её сжать. Сожмите - и её будет меньше. Но не раньше.
А вот с ценостью информации вы вообще намудрили: это же сугубо субъективный показатель! Для кодировщика случайные наборы цифр просто бесценны!

[Lokky]

А я понятия и не подменяю, я провожу аналогию. И в случае с объемом бензобака, и в случае с объемом мозга мы имеем дело с объемом - количеством чего-то в ограниченном пространстве. И если входящий в бензобак бензин можно измерить в литрах, то почему-то входящую в мозг информацию измерить, по-вашему, не удается

А потому, что это безсмысленно. Если Вы знаете объём бензобака разных машин, то что Вам даст знание о рабочем объёме атомной электростанции?
Пока не известен способ упаковки информации в мозге, его ёмкость - совершенно абстрактный вопрос. Вы знаете, если этот текст перевести в двоичный код, а потом каждый 0 и 1 заменить на слово "ноль" и "один", и опять перевести в двоичный код, а потом опять заменить словами, и так сделать всего-навсего около 900 раз, то получившийся объём информации как раз и займёт примерно заявленную Вами цифру 10^8402 бит. А будет это всего-то небольшая месага на форуме.

[Julius]

Запущено, то, всё, как! Julius! Это Вы откровенно путаете количество информации, её ценость, и её способность к сжатию.

Давайте ещё раз, и "от противного". Давайте, в самом деле, от ёмкости носителя будем плясать. Если есть носитель емкостью 1Мбт, то Вы хоть тресните, но там будет не более, чем 1 Мбт.

Процитируйте, где я утверждал обратное.

И информации не становится меньше, от потенциальной возможности её сжать. Сожмите - и её будет меньше. Но не раньше.

Ох, вы все так же путаете емкость носителя и количество информации.
Скажите мне, Вы что, считаете, что сжатие без потерь ИЗМЕНЯЕТ количество информации в сообщении (объекте)? Сжатие без потерь возможно потому (и только потому!), что количество информации в сообщении может быть МЕНЬШЕ, чем то количество битов, которое занимает данное сообщение на данном носителе при текущем представлении.
Если бы сжатие могло уменьшить количество информации (как Вы предположили), то оно неизбежно вело бы к потерям при восстановлении. Просто вдумайтесь - если количество информации уменьшилось при сжатии, значит, часть информации ПОТЕРЯЛАСЬ (иначе как оно могло уменьшиться?). И так как магические методы восстановления мы оставляем за скобкой, то восстановлена потерянная информация быть не может. А значит, мы уже не сможем восстановить исходное сообщение в изначальном виде!
Если же мы можем его восстановить, то это автоматически означает, что в нем ИЗНАЧАЛЬНО было меньше информации, чем тот объем носителя, который был израсходован для хранения этого сообщения (или длина той формы записи, которая изначально использовалась).
Просто поверьте, что это так, хотя и кажется при беглом взгляде на проблему парадоксальным - сообщение зачастую содержит намного меньше информации, чем то количество битов, которое на это сообщение израсходовано.
Все это подробно рассматривается в курсе теории информации, о которой упомянул Мачо.

А вот с ценостью информации вы вообще намудрили: это же сугубо субъективный показатель! Для кодировщика случайные наборы цифр просто бесценны!

На практике одноразовые шифроблокноты, сгенерированные физическими датчиками случайных чисел, уже давно не используются, в силу своей полнейшей непрактичности. Если же "случайная" последовательность на самом деле получена с помощью генератора псевдо-случайных чисел, то как Вы понимаете, ее можно сжать до очень компактной формы - до параметров генератора. Так ее и "хранят" если нужно, а не в готовом виде.

[Мачо]

А потому, что это безсмысленно. Если Вы знаете объём бензобака разных машин, то что Вам даст знание о рабочем объёме атомной электростанции?

Если известна одна или несколько величин, можно попытаться вывести из этого другие величины. Процесс познания начнется

Пока не известен способ упаковки информации в мозге, его ёмкость - совершенно абстрактный вопрос. Вы знаете, если этот текст перевести в двоичный код, а потом каждый 0 и 1 заменить на слово "ноль" и "один", и опять перевести в двоичный код, а потом опять заменить словами, и так сделать всего-навсего около 900 раз, то получившийся объём информации как раз и займёт примерно заявленную Вами цифру 10^8402 бит. А будет это всего-то небольшая месага на форуме.

Да что же вы на меня напали . Отрекаюсь от того, что я сказал - в смысле, какие цифры привел! Бес меня попутал

[Мачо]

Если есть носитель емкостью 1Мбт, то Вы хоть тресните, но там будет не более, чем 1 Мбт.

Стоп. А как насчет одного и того же компакт-диска с разной плотностью записи? Объем же меняется в этом случае.

Там можно записать небольшой романчик в ворде, многотомный роман в тхт, или полбиблиотеки сжатой раром. В зависимости от качества изображения и способа отображения информации там влезет или малюсенький кусочек качественной bmp, или сотни вполне неплохих фрактальных картинок. Но во всех этих случаях там будет менее 1Мбт информации. И информации не становится меньше, от потенциальной возможности её сжать. Сожмите - и её будет меньше. Но не раньше.
А вот с ценостью информации вы вообще намудрили: это же сугубо субъективный показатель! Для кодировщика случайные наборы цифр просто бесценны!

Интересный вопрос: 1 мб текста и 1 мб картинок будет нести для человека одно и то же кол-во информации?

[Julius]

Стоп. А как насчет одного и того же компакт-диска с разной плотностью записи? Объем же меняется в этом случае.

Иногда один и тот же носитель (обычно магнитный) может вместить разное количество данных, если изменить плотность записи - но это связано с тем, что мы уменьшаем физические размеры магнитного домена на носителе и за счет этого "укладываем" больше битов на ту же площадь магнитного покрытия.
Но если уж мы выбрали некоторую плотность записи, при которой на нашем носителе есть, скажем, 1 гигабит - то БОЛЬШЕ чем 1 гигабит информации мы туда не запишем никаким образом. Мы можем записать туда нечто, что после декомпрессии даст даже 16 гигабит, например - но это не означает, что мы туда записали 16 гигабит именно информации (по определению из соответствующей теории). Это означает, что в этих 16 гигабитах НА САМОМ ДЕЛЕ был скрыт только один-единственный гигабит "истинной" информации, а все остальное - это избыточные данные, которые можно сократить без потери смысла.
Чтобы уменьшить путаницу, я бы воспользовался разными терминами - количество информации - по определению Шеннона, и объем данных - которым обычно пользуются программисты.

Интересный вопрос: 1 мб текста и 1 мб картинок будет нести для человека одно и то же кол-во информации?

Разное. В 1 мегабайте текста записан целый большущий роман, а 1 мегабайт в картинках - это одно изображение среднего качества, которое мозг сожмет еще в десятки (а может и в сотни) раз, запомнив из него только "эмоционально окрашенные" (существенные) детали.

[Lokky]

Интересный вопрос: 1 мб текста и 1 мб картинок будет нести для человека одно и то же кол-во информации?

Что "отреклись" - респект
А тут ответ очевиден: для конкретного человека это будет совершенно разный объём информации. О чём я всё время и говорю. Человек к тому же, больше оченивает не количественно-байтовое содержание информации, а её ценность для себя лично.

Стоп. А как насчет одного и того же компакт-диска с разной плотностью записи? Объем же меняется в этом случае.

А читайте внимательней! "носитель ёмкостью 1 Мбт." Уплотните запись на компакте в два раза, и расматривайте полкомпакта для соблюдения условия
Вы же не уплотняете информацию в этом случае, а лишь увеличиваете ёмкость носителя.

[Lokky]

Скажите мне, Вы что, считаете, что сжатие без потерь ИЗМЕНЯЕТ количество информации в сообщении (объекте)? Сжатие без потерь возможно потому (и только потому!), что количество информации в сообщении может быть МЕНЬШЕ, чем то количество битов, которое занимает данное сообщение на данном носителе при текущем представлении.

Скажите, вы считаете, что сжатие газа изменяет его количество???? Я вот, считаю, что объём газа изменяется, а количество - остаётся прежним. А Вы путаете количество информации, и саму информацию! Сжатие реально уменьшает количество информации. При этом сама информация может сохранится в полном объёме. Ну, так это и есть один из показателей её нематериальности!
Давайте я вам более строгое доказательство приведу. Количество информации измеряется в битах, правильно? Бит определяется как первичный символ "0" или "1". Как только Вы мне дадите другой механизм определения количества, или формулу, по которой можно будет сказать: вот на этом носителе один миллион (округлённо) ноликов и едениц, и он содержит 1Мбит. А вот на этом носителе один миллион (округлённо) ноликов и едениц, и он содержит 0,5Мбит, или наоборот 10Мбит. - И я с Вами сразу соглашусь! Только формулу дайте! А до того, все расуждения: мы посмотрели этот диск, почесали в затылке, и решили что тут больше информации, чем на соседнем диске - это просто субъективные суждения.
P.S. Сразу предостерегу от лёгких решений типа предложений сжать раром. Вы же, надеюсь в курсе, что например, jpg раром практически не сжимается, а вот фрактальными алгоритмами можно иногда в сотни раз сжать. Предложение испытать все алгоритмы сжатия -ныне имеющиеся и все, которые изобретут в будущем, - тоже не пройдёт в ввиду нереальности. Итак?

Просто вдумайтесь - если количество информации уменьшилось при сжатии, значит, часть информации ПОТЕРЯЛАСЬ (иначе как оно могло уменьшиться?).

Просто задумайтесь. Если у матери есть любовь к сыну, а у неё родился второй, значит у неё к каждому стало в два раза меньше любви?
При сжатии(адекватном) уменьшается количество информации, а не сама информация.

Если же мы можем его восстановить, то это автоматически означает, что в нем ИЗНАЧАЛЬНО было меньше информации, чем тот объем носителя, который был израсходован для хранения этого сообщения (или длина той формы записи, которая изначально использовалась).

Нет, это всего лишь обозначает, что к информации не применимы "в лоб" законы работающие с материальными объектами. А также обозначает, что количество информации зависит не столько от самой информации (хм... скажем "количества смысла"), сколько от алгоритма её сжатия. А вот "количество смысла" количественно оценить низя, так это частично субъективная характеристика.Почему я и говорил - нет смысла измерять ёмкость мозга. Это будет полностью безсмысленная цифра без понимания способа сжатия.

[Julius]

Скажите, вы считаете, что сжатие газа изменяет его количество???? Я вот, считаю, что объём газа изменяется, а количество - остаётся прежним.

Точно так же ведет себя и информация! Объем информации (количество битов в записи сообщения, объем данных как еще говорят) меняется при сжатии, но количество информации в сообщении остается прежним (если мы используем сжатие без потерь). Более того, для информации существует понятие энтропии и оно связано с понятием энтропии в термодинамике. Так что связь с газом есть, это не просто далекая аналогия.

А Вы путаете количество информации, и саму информацию! Сжатие реально уменьшает количество информации. При этом сама информация может сохранится в полном объёме.

Вы видимо просто не в курсе, что существует такой официальный термин - "количество информации". Дело в том, что информацию, которую Вы упомянули, хотелось бы измерить - например, для того, чтобы оценить, до какой степени мы можем сжать данные. Для этого нам нужно узнать, сколько же информации содержится в том или ином сообщении. И эту оценку можно выразить числом, которое так и называется - "количество информации".

Давайте я вам более строгое доказательство приведу. Количество информации измеряется в битах, правильно? Бит определяется как первичный символ "0" или "1". Как только Вы мне дадите другой механизм определения количества, или формулу, по которой можно будет сказать: вот на этом носителе один миллион (округлённо) ноликов и едениц, и он содержит 1Мбит. А вот на этом носителе один миллион (округлённо) ноликов и едениц, и он содержит 0,5Мбит, или наоборот 10Мбит. - И я с Вами сразу соглашусь! Только формулу дайте!

Для того, чтобы дать формулу нам пришлось бы в этом форуме сначала утрясти терминологию, затем - договориться о модели, для которой мы будем считать количество информации и уже после этого вывести формулу или взять готовую, если повезет.
К сожалению не существует формулы, которая могла бы сказать нам, что, скажем, в Библии (на русском языке, например) содержится столько-то битов информации - вообще, в отрыве от модели. Но если мы займемся с Вами гнусным богохульством (с точки зрения ортодоксов) и скажем, что Библия - это последовательность битов, букв или слов с заданной моделью словаря (и дадим формальное описание этой модели) - то начиная с этого момента мы уже сможем сказать, сколько же в ней содержится информации (в рамках данной модели).
Неформально же говорят проще - количество информации в отдельно взятом сообщении - это минимальное количество битов, которое нужно израсходовать для представления этого сообщения (без потери информации).
Если Вас интересуют формулы - посмотрите в Интернете статьи на тему "теория информации", особенно статью Колмогорова "Три подхода к определению понятия "количество информации"", а затем примените формулы к выбранной Вами модели объекта (отдельно взятого сообщения или источника).
Что же касается Вашего примера с носителями, то если там 1 миллион ноликов и единичек, то больше 1 миллиона битов по количеству информации туда не упихать конечно же никаким боком, но меньше - можно и на практике так и происходит.
Носитель может быть ненадежен физически, поэтому информация может быть записана на нем с использованием избыточного кодирования. Если рэйт кода равен, скажем, 1/2, то на этом носителе уже не разместить больше 500 тысяч битов информации - любой.
А если заполнить весь диск нулями - то я берусь утверждать, что и информации на нем будет ноль в количественном измерении.
Количество информации на винчестере зависит не только от объема диска на физическом уровне и способа кодирования, но и от того, ЧТО туда записано, и более того - от модели, в которой была представлена записанная информация.
Грубо говоря для того, чтобы согласно теории информации полностью забить диск информацией (приравняв ее количество к объему диска) - мы должны сделать одно из двух: или записать туда "идеально" заархивированные файлы, или заполнить весь диск случайными числами.

P.S. Сразу предостерегу от лёгких решений типа предложений сжать раром. Вы же, надеюсь в курсе, что например, jpg раром практически не сжимается, а вот фрактальными алгоритмами можно иногда в сотни раз сжать.

Он как раз и не сжимается RAR-ом потому, что алгоритм компрессии JPEG уже устранил всю избыточность в информации в рамках своей модели, а модель у него довольно хорошая и RAR уже не может ее улучшить. Кстати, в общем случае JPEG как Вы знаете сжимает с потерями (хотя и есть режим losless JPEG) - то есть, он сознательно выкидывает часть информации. Фрактальное сжатие или выкидывает тот же объем информации, но менее "существенной" для субъективного восприятия (плюс находит больше избыточности) - и тогда качество лучше, чем у JPEG. Или выкидывает, наоборот, больше, но дает при этом эквивалентное субъективное качество картинки при разглядывании глазами - тогда меньше объем. И у JPEG, и у фрактального сжатия несколько иные задачи, чем у RAR-а - решить что выкидывать, а не просто найти избыточность в чистом виде.

При сжатии(адекватном) уменьшается количество информации, а не сама информация.

"Сама информация" и "количество информации" даже в рамках русского языка связанные понятия. Количество информации не меняется при сжатии без потерь, потому, что не меняется и сама информация. Меняется объем информации (или объем данных, как чаще говорят).

А вот "количество смысла" количественно оценить низя, так это частично субъективная характеристика.

Согласен.

Почему я и говорил - нет смысла измерять ёмкость мозга. Это будет полностью безсмысленная цифра без понимания способа сжатия.

Тоже согласен по большей части - но все-таки было бы интересно получить ОЦЕНКУ "примерного эквивалента" - с учетом того, что биты с байтами к мозгу не применимы. Тут я согласен с Мачо, что оценка эта возможно кого-то натолкнула бы на некие размышления, и тогда...

[Мачо]

Что "отреклись" - респект
А тут ответ очевиден: для конкретного человека это будет совершенно разный объём информации. О чём я всё время и говорю. Человек к тому же, больше оченивает не количественно-байтовое содержание информации, а её ценность для себя лично.

Таким образом получается, что можно измерить кол-во абсолютной информации, но невозможно измерить кол-во относительной!
Вот ведь блин (осенило под утро )

А читайте внимательней! "носитель ёмкостью 1 Мбт." Уплотните запись на компакте в два раза, и расматривайте полкомпакта для соблюдения условия
Вы же не уплотняете информацию в этом случае, а лишь увеличиваете ёмкость носителя.

Гм, вообще да

[Мачо]

Иногда один и тот же носитель (обычно магнитный) может вместить разное количество данных, если изменить плотность записи - но это связано с тем, что мы уменьшаем физические размеры магнитного домена на носителе и за счет этого "укладываем" больше битов на ту же площадь магнитного покрытия.
Но если уж мы выбрали некоторую плотность записи, при которой на нашем носителе есть, скажем, 1 гигабит - то БОЛЬШЕ чем 1 гигабит информации мы туда не запишем никаким образом. Мы можем записать туда нечто, что после декомпрессии даст даже 16 гигабит, например - но это не означает, что мы туда записали 16 гигабит именно информации (по определению из соответствующей теории). Это означает, что в этих 16 гигабитах НА САМОМ ДЕЛЕ был скрыт только один-единственный гигабит "истинной" информации, а все остальное - это избыточные данные, которые можно сократить без потери смысла.
Чтобы уменьшить путаницу, я бы воспользовался разными терминами - количество информации - по определению Шеннона, и объем данных - которым обычно пользуются программисты.

Я вот что подумал. Может, введем специальный термин для обозначения архивированной информации? А то путаться начинаем И других путать
А так - согласен с Вами.

Разное. В 1 мегабайте текста записан целый большущий роман, а 1 мегабайт в картинках - это одно изображение среднего качества, которое мозг сожмет еще в десятки (а может и в сотни) раз, запомнив из него только "эмоционально окрашенные" (существенные) детали.

Или наоборот - вместо милицейского рапорта запишем улетные комиксы

[Lokky]

Я вот что подумал. Может, введем специальный термин для обозначения архивированной информации? А то путаться начинаем И других путать
А так - согласен с Вами.

А не получится! Я ж писал об этом
Максиум, что можем сделать - это измерять количество информации после предельного сжатия конкретным алгоритмом. Правда, боюсь, и тут будут сложности (я не спец, но по-моему, некоторые алгоритмы допускают сжатие многочисленными способами, и определить оптимально ли сжатие, за разумное время невозможно).

[Julius]

Я вот что подумал. Может, введем специальный термин для обозначения архивированной информации? А то путаться начинаем И других путать

Уже есть готовые термины. Количество информации - это количество того, что Вы назвали "архивированной информацией". Объем информации или как еще чаще говорят - объем данных - это количество битов, истраченных для данного представления информации - то есть, количество "неархивироанной" информации в Вашей терминологии. Избыточность - это отношение между этими величинами (в данном узком контексте во всяком случае).

[Мачо]

А не получится! Я ж писал об этом
Максиум, что можем сделать - это измерять количество информации после предельного сжатия конкретным алгоритмом. Правда, боюсь, и тут будут сложности (я не спец, но по-моему, некоторые алгоритмы допускают сжатие многочисленными способами, и определить оптимально ли сжатие, за разумное время невозможно).

Гммм... пожалуй, да, мы не в состоянии оценить, как сжимается информация в мозгу (и сжимается ли вообще), так как мы еще мало знаем о мозге .

[Мачо]

Уже есть готовые термины. Количество информации - это количество того, что Вы назвали "архивированной информацией". Объем информации или как еще чаще говорят - объем данных - это количество битов, истраченных для данного представления информации - то есть, количество "неархивироанной" информации в Вашей терминологии. Избыточность - это отношение между этими величинами (в данном узком контексте во всяком случае).

Объем и количество... Не совсем корректно, имхо, потому как в физических терминах количество включено в понятие объема...
Избыточность, то есть дельта, или разность - тут согласен . Пойдет.