Расскажите своему котенку, как вы думаете внутри – эффект черного ящика

Тот факт, что продвинутые алгоритмы искусственного интеллекта подобны черному ящику (1), который выбрасывает результат, не раскрывая, как он к нему пришел, беспокоит одних и огорчает других.

В 2015 году исследовательскую группу из больницы Mount Sinai в Нью-Йорке попросили использовать этот метод для анализа обширной базы данных местных пациентов (2). Эта огромная коллекция содержит океан информации о пациентах, из результатов анализов, врачебных назначений и т.д.

Ученые назвали разработанную в ходе работы аналитическую программу. Он обучался на данных примерно 700 тыс. человек. человек, и при тестировании в новых реестрах он оказался чрезвычайно эффективным в прогнозировании заболеваний. Без помощи специалистов-людей он обнаружил закономерности в больничных записях, которые указывают, какой пациент находится на пути к заболеванию, например раку печени. По мнению специалистов, прогностическая и диагностическая эффективность системы была намного выше, чем у любых других известных методов.

2. Медицинская система искусственного интеллекта на основе баз данных пациентов

В то же время исследователи заметили, что он работает загадочным образом. Оказалось, например, что он идеально подходит для распознавание психических расстройствтаких как шизофрения, которая чрезвычайно сложна для врачей. Это было удивительно, тем более что никто понятия не имел, как система ИИ так хорошо видит психическое заболевание на основании только медицинских карт пациента. Да, специалисты были очень довольны помощью такого эффективного машинного диагноста, но они были бы гораздо больше удовлетворены, если бы понимали, как ИИ приходит к своим выводам.

Слои искусственных нейронов

С самого начала, то есть с того момента, как концепция искусственного интеллекта стала известна, существовало две точки зрения на ИИ. Первая предположила, что наиболее разумным будет построить машины, которые рассуждают в соответствии с известными принципами и человеческой логикой, сделав их внутреннюю работу прозрачной для всех. Другие полагали, что интеллект возникнет легче, если машины будут учиться посредством наблюдения и повторяющихся экспериментов.

Последнее означает обращение типичного компьютерного программирования. Вместо того, чтобы программист писал команды для решения задачи, программа генерирует собственный алгоритм на основе выборочных данных и желаемого результата. Методы машинного обучения, которые позже превратились в самые мощные системы ИИ, известные сегодня, только что пошли по пути, по сути, машина сама программирует.

Этот подход в 60-х и 70-х годах оставался на обочине исследований систем ИИ. Только в начале предыдущего десятилетия, после некоторых новаторских изменений и усовершенствований, «Глубокие» нейронные сети стали демонстрировать радикальное улучшение возможностей автоматизированного восприятия. 

Глубокое машинное обучение наделило компьютеры необычайными способностями, такими как способность распознавать произносимые слова почти так же точно, как человек. Это слишком сложный навык, чтобы программировать его заранее. Машина должна иметь возможность создавать свою собственную «программу» путем обучение на огромных наборах данных.

Глубокое обучение также изменило распознавание компьютерных изображений и значительно улучшило качество машинного перевода. Сегодня он используется для принятия всевозможных ключевых решений в медицине, финансах, производстве и многом другом.

Однако при всем этом вы не можете просто заглянуть внутрь глубокой нейронной сети, чтобы увидеть, как работает «внутри». Процессы сетевых рассуждений встроены в поведение тысяч смоделированных нейронов, организованных в десятки или даже сотни сложно взаимосвязанных слоев..

Каждый из нейронов в первом слое получает входной сигнал, например интенсивность пикселя в изображении, а затем выполняет вычисления перед выводом выходного сигнала. Они передаются в сложной сети к нейронам следующего слоя — и так далее, до окончательного выходного сигнала. Кроме того, существует процесс, известный как корректировка вычислений, выполняемых отдельными нейронами, таким образом, чтобы обучающая сеть давала желаемый результат.

В часто цитируемом примере, связанном с распознаванием изображений собак, нижние уровни ИИ анализируют простые характеристики, такие как очертания или цвет. Более высокие имеют дело с более сложными проблемами, такими как мех или глаза. Только верхний слой объединяет все это, идентифицируя полный набор информации как собаку.

Тот же подход может быть применен к другим типам входных данных, которые приводят машину в действие для самообучения: звуки, из которых состоят слова в речи, буквы и слова, из которых состоят предложения в письменном тексте, или, например, руль. движения, необходимые для управления транспортным средством.

Машина ничего не пропускает

Сделана попытка объяснить, что именно происходит в таких системах. В 2015 году исследователи из Google модифицировали алгоритм распознавания изображений на основе глубокого обучения, чтобы вместо того, чтобы видеть объекты на фотографиях, он их генерировал или модифицировал. Запустив алгоритм в обратном направлении, они хотели обнаружить характеристики, которые программа использует для распознавания, скажем, птицы или здания.

Эти эксперименты, известные публично как название, породили удивительные изображения (3) гротескных, причудливых животных, пейзажей и персонажей. Раскрыв некоторые секреты машинного восприятия, например факт многократного возврата и повторения определенных паттернов, они также показали, чем глубокое машинное обучение отличается от человеческого восприятия — например, в том смысле, что оно расширяет и дублирует артефакты, которые мы игнорируем в процессе нашего восприятия без размышлений. .

3. Изображение, созданное в проекте

Bi awayê с другой стороны, эти эксперименты раскрыли тайну наших собственных когнитивных механизмов. Возможно, именно в нашем восприятии есть различные непонятные компоненты, которые заставляют нас сразу что-то понимать и игнорировать, в то время как машина терпеливо повторяет свои итерации на «неважных» объектах.

Другие тесты и исследования были проведены в попытке «понять» машину. Джейсон Йосински он создал инструмент, который действует как зонд, застрявший в мозгу, нацеливающийся на любой искусственный нейрон и ищущий изображение, которое наиболее сильно его активирует. В последнем эксперименте абстрактные образы появлялись в результате «подглядывания» сети с поличным, что делало происходящие в системе процессы еще более загадочными.

Однако для многих ученых такое исследование является недоразумением, поскольку, по их мнению, для того, чтобы понять систему, распознать закономерности и механизмы более высокого порядка принятия сложных решений, все вычислительные взаимодействия внутри глубокой нейронной сети. Это гигантский лабиринт математических функций и переменных. На данный момент для нас – непостижимо.

Компьютер не принимается за работу? Почему?

Почему важно понимать механизмы принятия решений передовых систем искусственного интеллекта? Математические модели уже используются, чтобы определить, кого из заключенных можно освободить условно-досрочно, кому дать кредит, а кому устроиться на работу. Кому интересно, хотелось бы знать, почему было принято именно такое, а не другое решение, каковы его основания и механизм.

– признался он в апреле 2017 года в «MIT Technology Review» Томми Яаккола, профессор Массачусетского технологического института, работающий над приложениями для машинного обучения. -.

Существует даже юридическая и политическая позиция, согласно которой способность тщательно исследовать и понимать механизм принятия решений системами ИИ является фундаментальным правом человека.

С 2018 года Евросоюз работает над требованием к компаниям предоставлять своим клиентам пояснения по поводу решений, принимаемых автоматическими системами. Оказывается, иногда это невозможно даже с системами, которые кажутся относительно простыми, такими как приложения и веб-сайты, которые используют глубокую науку для показа рекламы или рекомендации песен.

Компьютеры, на которых работают эти службы, сами программируют себя, и они делают это способами, которые мы не можем понять… Даже инженеры, создающие эти приложения, не могут полностью объяснить, как это работает.