Ниже приводится ответ на утверждение Кирена о том, что критерии Дойча Трудно варьировать (HTV) на самом деле являются просто замаскированной индукцией. (его исходный пост) Я дал ему краткий ответ, указав, что на самом деле мы ищем хорошие теории не только через ограничения прошлых наблюдений, а вместо этого, насколько хорошо они ограничены другими теориями. Кирен ответил мне, приведя следующие аргументы (ссылка в Твиттере):

  1. «…эти другие теории сами по себе ограничены наблюдениями».
  2. «Любая теория, которая говорит что-то новое о мире… [выдвигает утверждения, которые должны быть] объяснены другими теориями… [или] приняты как знание посредством индукции». Где он конкретно определяет «индукцию» как «ограничение прошлым наблюдением».
  3. «…вы можете полагаться на теорию человеческого поведения, связанную с торговлей, но сама эта теория ограничена нашими наблюдениями за тем, как люди ведут себя в таких ситуациях».
  4. «Я просто сделал дополнительный шаг, чем вы, чтобы увидеть, где наша теория ограничена наблюдениями».

Учитывая эти аргументы, Кирен утверждает, что HTV — это всего лишь крипто-индукция.

Прочитав отзывы Кирена, я больше не уверен, что понимаю, что он имеет в виду под «индукцией». Понятие «индукция» обычно понимается как нечто большее, чем «ограничение прошлым наблюдением». (то есть его пункт № 4.)

В этой статье я собираюсь рассмотреть свое собственное понимание индукции (в частности, используемое в моей собственной области машинного обучения), а затем рассмотреть, чем оно отличается от того, как его использует Кирен. Наконец, я объясню, почему я считаю, что Кирен на самом деле вообще не обращается к позиции критического рационализма, и почему я полагаю, что, в первую очередь, он, вероятно, приводит аргумент по кругу. Я также сделаю конкретные предложения о том, как Кирен может улучшить свою аргументацию, обращаясь к существу различия между индуктивизмом и критическим рационализмом (КР).

Что такое индукция?

Начнем с исходного бэконовского понимания индуктивизма, как его объясняет Википедия:

[Индуктивизм — это когда] человек наблюдает за природой, предлагает… закон для обобщения наблюдаемой закономерности, [затем] подтверждает его многими наблюдениями.

Итак, индуктивизм (как определено выше) явно проблематичен во многих отношениях как описание науки. Например, невозможно подтвердить наблюдениями — можно только опровергнуть наблюдениями. А наука неначинается с наблюдений, а вместо этого начинается с проблемы с текущим объяснением, которое, кажется, заслуживает внимания. Это объяснение может быть даже не научной теорией; это может быть просто миф или даже врожденная теория, встроенная в программное обеспечение разума. Так что, если под «индуктивизмом» мы подразумеваем то, как его определяет Википедия, то ясно, что CR (включая теперь критерии HTV Дойча) и индуктивизм — не одно и то же и полностью несовместимы как описания науки.

Является ли индукция вообще реальной вещью?

Существует ли вообще индуктивизм? Поппер не был убежден. [1] Я видел, как Дойч утверждал, что это тоже неправда. Однако в обоих случаях они могли просто иметь в виду, что не существует научного индуктивного метода, что, я согласен, верно.

В любом случае, конечно, индуктивизм в том виде, в каком его изначально понимал Бэкон как основа науки, не является реальной вещью. Например, Бэкон был совершенно убежден, что метод индукции заключается в том, что вы очищаете свой разум от предубеждений (он предложил этот термин!) и затем наблюдаете мир без каких-либо предвзятых представлений. Затем на основе этих непредвзятых наблюдений вы каким-то образом пришли к обобщению наблюдений. [2] Поппер указал, что это ложная точка зрения, поскольку все наблюдения уже пропитаны теорией. [3]

Даже Кирен не утверждает, что точка зрения Бэкона абсолютно верна. Например, из его ответа мне становится ясно, что у него нет никаких проблем с теми критериями HTV, включая ограничение теориями прошлого (на чем настаивает Поппер), тогда как у Бэкона не было такой концепции. Так что я не думаю, что здесь обязательно должны быть расхождения во мнениях между критическими рационалистами и Киреном по поводу того факта, что оригинальный бэконовский индуктивизм — как основа науки — не является реальной вещью. Предположительно Кирен принимает то, что он считает более современной версией теории Бэкона.

Настоящая теория индукции

Но у нас есть современная теория индукции (которая предположительно была вдохновлена ​​идеями Бэкона), которая вполне реальна и доказала свою эффективность в моей области исследований: машинном обучении. В самом деле, можно даже сказать, что вся область статистики — это наука о том, как на самом деле работает индукция. Так что «индукция» реальна, просто так не работает наука, несмотря на вводящее в заблуждение использование словаря, похожего на научный.

Машинное обучение и индукция

В машинном обучении «индукция» — это процесс, при котором вы обобщаете правило из наблюдений (в тренировочном наборе) с использованием статистического обучения или чего-то, связанного со статистическим обучением, например нейронных сетей (за которыми еще не стоит конкретная теория, но исторически из статистического обучения.)

Идея состоит в том, что вы начинаете с ряда наблюдений в «Обучающем наборе» и выбираете метод обучения (скажем, линейную регрессию), с помощью которого будете искать в «пространстве гипотез» с помощью некоего «индуктивного смещения».

В случае линейной регрессии смещение — это «гипотезы», которые соответствуют линии. Это означает, что поиск в пространстве гипотез ограничен попыткой найти линию, минимизирующую сумму квадратов ошибок. Конечным результатом является «гипотеза», которая с некоторой (надеюсь) высокой вероятностью правильно предскажет (с помощью новых наблюдений), каким будет правильный результат. Затем мы проверяем окончательную «гипотезу» с помощью «набора тестов», чтобы «подтвердить», что она действительно работает как обобщение наблюдений, а не просто как «подгонка» данных.

Теперь мне кажется, что «индукция», используемая машинным обучением, действительно хорошо соответствует тому, как бэконовская индукция определяется Википедией. Так что я бы сказал, что индукция реальна, она действительно используется и работает примерно так же, как думал Бэкон.

В чем Бэкон ошибся относительно индукции

Бэкон действительно ошибся в некоторых вещах. Например, «индуктивная предвзятость» на самом деле является специфическим «предубеждением» или, другими словами, теорией о данных. Вопреки идеям Бэкона, математически доказано, что для того, чтобы индукция работала, вы должны иметь индуктивный уклон. [4] Другими словами, настоящая индукция требует теории даже для того, чтобы сдвинуться с мертвой точки.

Кроме того, вы должны использовать разные индуктивные смещения для разных задач из-за Теоремы о бесплатном обеде. Другими словами, нет единого метода индуктивного обучения, превосходящего все остальные; все преуспевают или терпят неудачу одинаково хорошо, учитывая правильные наблюдения (данные).

Индукция также сильно ограничена другими способами. Например, он дает только вероятностные результаты, и результаты будут неправильными (с высокой вероятностью), если распределение вероятностей, которое вы использовали для своего обучающего набора (исходные наблюдения), не соответствует распределению вероятностей реального мира. Поскольку мир постоянно меняется, это создает проблему для машинного обучения, а именно необходимость постоянно обновлять свои наблюдения и переобучаться, чтобы используемая вами модель (гипотеза) соответствовала тому, как выглядит мир сегодня. [5]

Эйнштейн и общая теория относительности

Итак, индукция реальна, но она не имеет ничего общего, скажем, с тем, как Эйнштейн придумал общую теорию относительности.

Когда Эйнштейн придумал общую теорию относительности (ОТО), он сначала начал с проблемы: скорость света кажется максимальной. Как это вообще было возможно?

Ему нужно было хорошее объяснение того, как понимать реальность так, чтобы свет всегда был максимальной скоростью. Он также знал, что любая предполагаемая гипотеза, которую он выдвинул, должна была объяснить, почему ньютоновская физика, казалось, работала так хорошо на протяжении веков, и никто не замечал, что она была не совсем правильной. Другими словами, новая теория должна была охватывать старую, включая все наблюдения, которые работали для этой старой теории, а также производить новые критические проверки, когда старая теория давала неверные предсказания, а новая — правильные предсказания.

Несомненно, Эйнштейн также знал, что предложенная им гипотеза не должна нарушать другие известные физические теории, скажем, законы термодинамики. (Хотя я не знаю ничего, что указывало бы на то, что он специально использовал термодинамику для вдохновения своей теории.)

Таким образом, Эйнштейн придумал свою теорию не на основе какого-то большого тренировочного набора наблюдений, которые он затем обобщил, а в результате попытки решить проблему и ограничения против прошлых и существующих теорий.

Затем он подверг свою теорию серии критических тестов, которые старая теория не могла правильно предсказать, а новая теория могла. Он выставил свою теорию на критику других физиков. (Кто изначально отверг это!)

Его окончательная теория была не вероятностной в отношении того, делает ли она хорошие прогнозы. И хотя нам, несомненно, в конечном итоге придется отказаться от ОТО в пользу лучшей теории (например, чтобы согласовываться с квантовой теорией), эта обновленная теория не будет иметь ничего общего с миром, изменяющим свое распределение вероятностей. На самом деле процесс, который использовал Эйнштейн, не имеет ничего общего с распределением вероятностей чего бы то ни было, в отличие от реального использования индукции.

Таким образом, легко увидеть, что научный процесс Эйнштейна полностью отличался от индукции, используемой в статистике и машинном обучении, и что этот процесс индукции действительно ничему не учит нас в науке.

Индуктивизм Кирена не связан со статистической индукцией

Теперь я подозреваю, что Кирен возразит здесь, что, когда он говорит об индукции, он не говорит об индукции, используемой сегодня в машинном обучении и статистике. Я ожидаю (основываясь на его ответе мне выше), что он выскажет мне два основных замечания: 1) что свет — это максимальная скорость, все еще является наблюдением, и 2) все теории, ограничивающие ОТО, сами по себе имели наблюдения — включая все те наблюдения, которые веками соответствовали ньютоновской физике.

Таким образом, Кирен, вероятно, все равно пришел бы к выводу, что процесс, который Эйнштейн использовал для создания ОТО, по-прежнему является «индуктивизмом», даже если он не имеет ничего общего с индукцией в статистике и машинном обучении.

Но я думаю, что ключевым моментом здесь является то, что первоначальный индуктивизм Бэкона не имеет никакого отношения к тому, как Эйнштейн придумал ОТО (за исключением, как указывает Кирен, того факта, что наблюдения были каким-то образом задействованы). Тем не менее, подход Эйнштейна к открытию ОТО почти идеально соответствует критическому рационализму, включая теперь и критерии HTV Дойча.

Действительно ли «индуктивизм» Кирена просто крипокритический рационализм?

До сих пор Кирен лишь настаивал на том, чтобы понимать индуктивизм как не что иное, как ограничение прошлым наблюдением. Я открыто признаю, что проблема, как правило, также является наблюдением в обычном английском смысле этого слова, хотя и не в том смысле, в каком я обычно думаю об этом, думая о реальной индукции. Я также признаю, что все теории, которые мы используем сегодня, когда-то имели свои собственные проблемы, которые вдохновляли эти теории, которые, следовательно, также были наблюдениями. Итак, учитывая определение Кирена индуктивизма (которое явно не совпадает ни с бэконовским индуктивизмом, ни с фактической индукцией, используемой в машинном обучении и статистике), что CR является формой индуктивизма, если это то, как мы собираемся его определить. .

Поэтому я думаю, что моим первым ответом на возражения Кирена здесь было бы процитировать Поппера, у которого не было никаких проблем с тем, чтобы назвать метод критического рационального мышления, который он предлагал, «индуктивизмом», если мы хотим его так назвать:

Поэтому я должен сказать, что я не верю в существование такой вещи, как индуктивный метод или индуктивная процедура, — если только вы не решите использовать название «индукция» для того метода критического обсуждения и попытки опровержения, который я описал здесь. . Я никогда не спорю о словах и, конечно, не имею серьезных возражений, если вы хотите назвать метод критической дискуссии «индукцией». когда-либо называли «индукцией» в прошлом. [6]

Что Кирен Фактически подразумевает под индуктивизмом?

Я предполагаю, что Кирена это не удовлетворит, потому что это будет означать, что то, что он называет «индуктивизмом», на самом деле является просто крипто-критическим рационализмом (а не наоборот, поскольку все понимание происходит от CR, а не от индуктивизма). Если бы это было все, что он имел в виду, это было бы в лучшем случае довольно вводящим в заблуждение утверждением, и, конечно же, оно не могло бы предложить нам никакого понимания.

Так что я думаю, Кирен на самом деле имеет в виду что-то другое. Но что он, возможно, имеет в виду?

Всегда ли наблюдения предшествуют теории?

Честно говоря, даже после повторного просмотра исходного поста Кирена и его ответов мне я все еще не совсем понимаю, к чему он ведет.

Кирен заявил: «Я просто сделал дополнительный шаг, чем вы, чтобы увидеть, где наша теория ограничена наблюдениями».

Но зачем останавливаться на достигнутом? Почему бы тогда не заметить, что все наблюдения пропитаны теорией, и, следовательно, отметить, что мы можем вернуться еще на один шаг назад к теории? Докажет ли это что-то? Если нет, то почему его способность вернуться на шаг назад к наблюдению что-то доказывает?

Одна возможность здесь состоит в том, что Кирен не принимает идею о том, что все наблюдения пропитаны теорией. Если это так, я согласен — я чувствую, что даже такие, как Кун, убедительно продемонстрировали, что наблюдение всегда пропитано теорией. Но если это не то, что принимает Кирен, то я вижу в этом фактическую точку разногласий между ним и критическими рационалистами, и именно поэтому его статья на самом деле не показывает, что критерии HTV подразумевают индуктивизм. Чтобы доказать это, ему пришлось бы на самом деле выяснить, почему наблюдения не пропитаны теорией, чего он не делает.

Другая возможность, которая приходит на ум, заключается в том, что он считает интуитивно очевидным, что наблюдения играют первостепенную роль по сравнению с теорией, то есть что природа курицы и яйца теории и наблюдения должна начинаться с наблюдения, а не с теории. Однако, если это и было его точкой зрения, он никогда этого не делал. Кроме того, если это его точка зрения, я не думаю, что он прав.

Что на первом месте: теория или наблюдения?

Ответ Поппера на фактическую проблему курицы и яйца состоит в том, чтобы сослаться на биологическую эволюцию: каждая курица и каждое яйцо, которые появились раньше, были более ранним видом «яйца» или «курицы», пока они больше не перестали быть курицей (или, может быть, даже яйцом). [7]

Это также ответ Поппера на парадокс теории и наблюдения. Если каждая известная нам теория исходит из наблюдений (как минимум проблема, являющаяся своего рода наблюдением) и каждое наблюдение пропитано теорией, мы можем вернуться назад во времени, пока не обнаружим, что больше не имеем дело с «теориями». науки, а всего лишь миф. Вернитесь еще дальше, и в конце концов мы имеем дело даже не с мифом, а с биологическими теориями, встроенными в наш геном еще до того, как люди появились.

Интересно, что это означает, что Кирен ошибается в том, что «теория HTV — это теория, в которой каждое из ее понятий ограничено некоторыми прошлыми наблюдаемыми явлениями», если только он не хочет расширить слово «наблюдаемый», включив в него процесс биологического естественного отбора без наблюдателя.

Теперь, возможно, Кирен не согласен с этой формулировкой, но опять же, его статья никогда не касается этого. Учитывая, что это существенная часть того, как критический рационалист видит мир, это то, что ему действительно нужно затронуть в своей аргументации.

Выводы

Мне кажется, особенно с учетом пункта № 2 Кирена, что Кирен просто приводит аргумент по кругу. Он считает, что наблюдение посредством индукции дает объяснения/теории. Следовательно, пока он может показать, что критерии Дойча «Трудно измениться» ограничен прошлыми наблюдениями, он считает, что этого достаточно, чтобы доказать свою точку зрения, потому что очевидно (для него), что наблюдения, а не индукция, приводят к объяснениям/теориям. Другими словами, его вывод и исходная посылка совпадают.

Для сравнения, критический рационалист не отрицает, что теории возникают из наблюдений — особенно если это наблюдение на самом деле представляет собой проблему, требующую решения, как, например, с Эйнштейном и скоростью света, — но, скорее, он полагает, что наблюдения и теория — это проблема курицы и яйца. где проблемы (которые являются наблюдениями), которые порождают теорию, порождают наблюдения и т. д. Это объясняет, почему критический рационалист до сих пор не впечатлен аргументом Кирена.

Я бы посоветовал Кирену обратиться к фактическим различиям между индуктивизмом и критическим рационализмом, объяснив, почему он не согласен с тем, что наблюдения пропитаны теорией, или почему он считает, что теория и наблюдение — это не просто проблема курицы и яйца, которая, по сути, останавливается на теория, а не наблюдение.

Примечания

[1] «Итак, теперь я должен сказать, что не верю в существование такой вещи, как индуктивный метод или индуктивная процедура…» Я цитирую это в другом месте статьи. См. Миф о структуре, с. 104.

[2] «Идея о том, что мы можем по желанию очистить свой разум от предрассудков и таким образом избавиться от всех предвзятых идей или теорий… наивна и ошибочна. Правило «Очисти себя от предрассудков!» поэтому может иметь только опасный результат, заключающийся в том, что, предприняв одну-две попытки, вы можете подумать, что вам это удалось, - в результате, конечно, вы будете более упорно держаться своих предрассудков и догм, особенно тех, из которых вы находятся без сознания». (Миф, стр. 86)

[3] «...даже наблюдения и отчеты о наблюдениях находятся под влиянием теорий... Действительно, не существует неинтерпретированного наблюдения, наблюдения, не пропитанного теорией». (Миф, стр. 58)

[4] См. Машинное обучение Тома Митчелла, с. 42: «Бесполезность беспристрастного обучения».

[5] Я хотел бы также отметить, что, когда Кирен первоначально использовал термин «наблюдение», я имел в виду индуктивный смысл этого термина. т.е. своего рода набор наблюдений, который я затем должен обобщить. Первоначально я не имел в виду, что ограничения какой-либо другой теории учитывают также наблюдения (проблемы), которые привели к этой теории. Мне это совсем не кажется индукцией, как я объясню в оставшейся части этой статьи.

[6] См. Миф о структуре, с. 104. Далее Поппер говорит: «Ибо всегда предполагалось, что индукция устанавливает теорию или обобщение, в то время как метод критического обсуждения ничего не устанавливает. Его вердикт всегда и неизменно «недоказан». Это еще одно место, где я хотел бы, чтобы Кирен лучше рассмотрел то, что он считает «индукцией». Я не вижу, чтобы он настаивал на том, что наблюдения могут подтвердить или установить доказанную истину теории. Следовательно, его версия «индукции» может быть совершенно иной, чем то, как этот термин использовался в прошлом.

[7] Пример взят из книги Брайана Маги Карл Поппер, с. 26–27.