Модель проливает свет на вычислительную роль запрещающих нейронов: Вычислительная роль для нейронов, которые препятствуют тому, чтобы другие нейроны стреляли, сообщите об ученых

Модель описывает нервную схему, состоящую из множества входных нейронов и эквивалентного количества нейронов продукции. Схема выполняет то, что называют нейробиологи, операция «победитель берет все», в которых сигналы от многократных входных нейронов вызывают сигнал во всего одном нейроне продукции.Используя инструменты теоретической информатики, исследователи доказывают, что в контексте их модели определенная конфигурация запрещающих нейронов обеспечивает, наиболее действенные средства предписания операции «победитель берут все».

Поскольку модель делает эмпирические предсказания о поведении запрещающих нейронов в мозгу, это предлагает хороший пример пути, которым вычислительный анализ мог помочь нейробиологии.Исследователи представят свои результаты на этой неделе на конференции по Инновациям в Теоретической Информатике.

Нэнси Линч, профессор NEC Науки программного обеспечения и Разработки в MIT, является ведущим автором на бумаге. К ней присоединяются Merav Parter, postdoc в ее группе, и Кэмерон Маско, аспирант MIT в электротехнике и информатике.В течение многих лет группа Линча изучала коммуникацию и распределение ресурсов в одноранговых сетях – сети, участники которых все время уезжают и возражают.

Но недавно, команда начала использовать инструменты сетевого анализа, чтобы исследовать биологические явления.«Есть близкая корреспонденция между поведением сетей компьютеров или других устройств как мобильные телефоны и той из биологических систем», говорит Линч. «Мы пытаемся найти проблемы, которые могут извлечь выгоду из этой распределенный вычисленной перспективы, сосредотачивающейся на алгоритмах, для которых мы можем доказать математические свойства».Искусственная невралгияВ последние годы искусственные нейронные сети – компьютерные модели примерно на основе структуры мозга – были ответственны за часть самого быстрого улучшения систем искусственного интеллекта от речевой транскрипции до программного обеспечения распознавания лиц.

Искусственная нейронная сеть состоит из «узлов», которые, как отдельные нейроны, ограничили силу обработки информации, но плотно связаны. Данные поданы в первый слой узлов.

Если данные, полученные данным узлом, соответствуют некоторому пороговому критерию – например, если он превышает конкретную стоимость – узел «огни» или посылает сигналы вдоль всех его коммуникабельных связей.У каждой из тех коммуникабельных связей, однако, есть связанный «вес», который может увеличить или уменьшить сигнал.

Каждый узел в следующем слое сети получает нагруженные сигналы от многократных узлов в первом слое; это добавляет их вместе, и снова, если их сумма превышает некоторый порог, это стреляет. Его коммуникабельные сигналы проходят к следующему слою и так далее.В приложениях искусственного интеллекта нейронная сеть «обучена» на типовых данных, постоянно регулируя его веса и запустив пороги, пока продукция его заключительного слоя последовательно не представляет решение некоторой вычислительной проблемы.

Биологическое правдоподобиеЛинчуйте, Parter, и Musco сделал несколько модификаций к этому дизайну, чтобы сделать его более биологически вероятным.

Первым было добавление запрещающих «нейронов». В стандартной искусственной нейронной сети значения весов на связях обычно положительные или способные к тому, чтобы быть или положительным или отрицательным. Но в мозгу, некоторые нейроны, кажется, играют чисто запрещающую роль, препятствуя тому, чтобы другие нейроны стреляли.

Исследователи MIT смоделировали те нейроны как узлы, у связей которых есть только отрицательные веса.Много приложений искусственного интеллекта также используют «передовые подачей» сети, в которых сигналы проходят через сеть только в одном направлении от первого слоя, который получает входные данные к последнему слою, который обеспечивает результат вычисления. Но связи в мозгу намного более сложны. Линчуйте, Parter, и круг Маско таким образом включает обратную связь: Сигналы от нейронов продукции проходят к запрещающим нейронам, продукция которых в свою очередь пасует назад к нейронам продукции.

Передача сигналов нейронов продукции также возвращается на себе, который оказывается важным для предписания стратегии «победитель, берут все».Наконец, сеть исследователей MIT вероятностная. В типичной искусственной нервной сети, если входные ценности узла превышают некоторый порог, огни узла.

Но в мозгу, увеличивая силу сигнала, едущего по входному нейрону только, увеличивает возможности, что нейрон продукции будет стрелять. То же самое верно для узлов в модели исследователей. Снова, эта модификация крайне важна для предписания стратегии «победитель, берут все».

В модели исследователей зафиксировано количество нейронов входа и выхода, и выполнение вычисления «победитель берет, все» являются просто работой банка вспомогательных нейронов. «Мы пытаемся видеть компромисс между вычислительным временем, чтобы решить данную проблему и количество вспомогательных нейронов», объясняет Партер. «Мы полагаем, что нейроны ресурс; мы не хотим, также тратят большую часть его».Достоинства запрещенияParter и ее коллеги смогли показать, что только с одним запрещающим нейроном, это невозможно в контексте их модели, чтобы выполнить стратегию, «победитель берет все».

Но два запрещающих нейрона достаточны. Уловка – то, что один из запрещающих нейронов – который исследователи называют нейроном сходимости – посылает сильный запрещающий сигнал, если больше чем один нейрон продукции стреляет. Другой запрещающий нейрон – нейрон стабильности – посылает намного более слабый сигнал, пока любые нейроны продукции стреляют.

Нейрон сходимости заставляет схему выбирать единственный нейрон продукции, в который пункт это прекращает стрелять; нейрон стабильности препятствует тому, чтобы второй нейрон продукции стал активным, как только нейрон сходимости был выключен. Схемы самообратной связи от нейронов продукции увеличивают этот эффект. Чем дольше нейрон продукции был выключен, тем более вероятно он должен оставаться выключенным; чем дольше это шло, тем более вероятно это должно остаться на. Как только единственный нейрон продукции был отобран, его схема самообратной связи гарантирует, что он может преодолеть запрещение нейрона стабильности.

Без хаотичности, однако, схема не будет сходиться к единственному нейрону продукции: Любая настройка весов запрещающих нейронов затронет все нейроны продукции одинаково. «Вам нужна хаотичность, чтобы сломать симметрию», объясняет Партер.Исследователи смогли определить минимальное количество вспомогательных нейронов, требуемых гарантировать особую скорость сходимости и максимальную скорость сходимости, возможную, учитывая конкретное количество вспомогательных нейронов.Добавление большего количества нейронов сходимости увеличивает скорость сходимости, но только в какой-то степени.

Например, с 100 входными нейронами, два или три нейрона сходимости – все, в чем Вы нуждаетесь; добавление одной четверти не повышает эффективность. И всего один нейрон стабильности уже оптимален.

Но возможно более интригующе, исследователи показали, что включая возбудительные нейроны – нейроны, которые стимулируют, вместо того, чтобы запретить, увольнение других нейронов – а также запрещающие нейроны среди вспомогательных нейронов, не могут повысить эффективность схемы. Точно так же любое расположение запрещающих нейронов, которое не наблюдает различия между нейронами сходимости и стабильности, будет менее эффективным, чем тот, который делает.

Предположение, тогда, что эволюция имеет тенденцию находить эффективные решения технических проблем, модель, предлагает и ответ на вопрос того, почему запрещающие нейроны найдены в мозгу и дразнящем вопросе для эмпирического исследования: реальные запрещающие нейроны показывают то же самое подразделение между нейронами сходимости и нейронами стабильности?


Блог обо всем