Стал известен вероятный состав бразильцев на товарищеский матч с россиянами
https://rsport.ria.ru/20180322/1134438186.html
Стал известен вероятный состав бразильцев на товарищеский матч с россиянами
Стал известен вероятный состав бразильцев на товарищеский матч с россиянами — РИА Новости Спорт, 04.09.2020
Стал известен вероятный состав бразильцев на товарищеский матч с россиянами
Главный тренер сборной Бразилии по футболу Тите на тренировке в Москве в четверг предположительно наигрывал стартовый состав команды на товарищеский матч с командой России.
2018-03-22T18:17
2018-03-22T18:17
2020-09-04T12:35
/html/head/meta[@name=’og:title’]/@content
/html/head/meta[@name=’og:description’]/@content
https://cdnn21.img.ria.ru/images/rsport/113443/13/1134431345_0:0:3024:1702_1920x0_80_0_0_bcc32516a4a9fad88b64bc4955bae425.jpg
РИА Новости Спорт
7 495 645-6601
ФГУП МИА «Россия сегодня»
https://xn--c1acbl2abdlkab1og. xn--p1ai/awards/
2018
Вероника Столбунова
Вероника Столбунова
Новости
ru-RU
https://rsport.ria.ru/docs/about/copyright.html
https://xn--c1acbl2abdlkab1og.xn--p1ai/
РИА Новости Спорт
7 495 645-6601
ФГУП МИА «Россия сегодня»
https://xn--c1acbl2abdlkab1og.xn--p1ai/awards/
https://cdnn21.img.ria.ru/images/rsport/113443/13/1134431345_196:0:2884:2016_1920x0_80_0_0_555c9d80fade452043159365af2aa4cd.jpgРИА Новости Спорт
7 495 645-6601
ФГУП МИА «Россия сегодня»
https://xn--c1acbl2abdlkab1og.xn--p1ai/awards/
Вероника Столбунова
спорт, товарищеские матчи, товарищеский матч сборной россии по футболу против команды бразилии, 23 марта 2018 года, бразилия, габриэль жезус, филиппе коутиньо, дани алвес, сборная россии по футболу
18:17 22.03.2018 (обновлено: 12:35 04.09.2020)Вероника Столбунова
Р-Спорт
Все материалыГлавный тренер сборной Бразилии по футболу Тите на тренировке в Москве в четверг предположительно наигрывал стартовый состав команды на товарищеский матч с командой России.
Самый вероятный стартовый состав «Локомотива» на матч против «Баварии» | Sport_spirit
Всем привет! Sport_spirit на связи. Уже завтра нас ожидает очень интересный и важный для «Локомотива» матч с мюнхенской «Баварией». Конечно, шансы минимальны. Я напомню, что в прошлом туре Лиге Чемпионов немцы обыграли «Атлетико» (4:0). В любом случае, будем верить в нашу команду. Сегодня же я вам представлю свой вариант стартового состава «Локомотива» на этот матч. Будет интересно, не пожалеете)))
Перед тем, как сказать состав, давайте все-таки немного поговорим о самом предстоящем матче. «Локомотив» на прошлой неделе сотворил две сенсации: сыграл вничью с «Ред Буллом» и проиграл «Ротору». Последнее скорее из-за сложного графика. Если вы не заметили, то в прошедшем туре РПЛ буквально все команды, которые выступают в Лиге Чемпионов, проиграли. Надо привыкать.
Что же касается «Баварии», то там все попроще. Никаких сенсаций не было. На прошлой неделе они обыграли «Атлетико» в ЛЧ и «Айнтрахт» в Бундеслиге. Будем надеяться, что их беспроигрышная серия приостановится в матче с «Локо», в чем я, конечно, сильно сомневаюсь. Но верить кто-то запрещал? Всегда нужно поддерживать наши клубы в еврокубках.
На самом деле, «Локо» действительно всю эту неделю упорно готовился к клубу из Мюнхена. Это признал и сам тренер. Им лучше отдать матч с «Ротором» и зацепиться хоть за какие-то очки в Лиге Чемпионов завтра. Вряд ли получится, однако, уверен, будут видны старания. Пусть выходят хоть с шестью футболистами в защите, но если они сотворят чудо… Ими будет гордиться вся Россия.
Да и кстати, не забывайте про моих хороших друзей с сайта GOAL+. Там вы сможете найти много чего интересного, включая разнообразные постеры с крутыми стадионами (здесь и та же «РЖД-Арена» есть), одежду, кружки, календари-в общем, все, что необходимо для каждого болельщика. Будет приятнее смотреть завтрашний матч с атрибутикой любимого футболиста, стадиона или клуба. Самое главное, что GOAL+ доставит понравившуюся вам вещь в любой уголок нашей необъятной родины. Да, что я вам рассказываю, если вы просто можете пройти по ссылке и посмотреть)
Ладно, что-то я заговорился. Предлагаю, начать по составу. Особых проблем, по сравнению с прошлой игрой против Зальцбурга, нет. Как и тогда, у «Локомотива» сейчас травмированы Борис Ротенберг, Дмитрий Баринов, Михаил Лысов и Владислав Игнатьев. Так что, мой вариант состава таков:
Максимально спорный состав получился. Но это «Бавария», что уж тут. Играют, правда, дома. Однако с таким клубом не так важно место встречи. Значит, по составу. Изменений по травмам и дисквалификациям, по сравнению с прошлым матчем в ЛЧ, нет, как я и говорил уже.
Привычная схема для Николича: 4-4-2. Что-то мне подсказывает, что именно в этом матче он переключится на другую. Мой вариант 4-5-1. Честно, не знаю, что придумает главный тренер. На позицию опорника, как по мне, должен выйти Магкеев. Есть еще Лисакович, но он хорошо выходит на замену, да и вообще, скорее фланговый игрок или нападающий.
По остальному все вроде бы понятно. По поводу Эдера… Он сейчас в форме. Хорошо убегает от защитников. Если, при такой схеме, не его, тогда Смолова наверное поставят. Но я больше склоняюсь к своему варианту.
А так, состав практически идентичный, как и в матче с Зальцбургом. Не удивлюсь, если выйдет точно такой же. Все возможно. Желаю «Локомотиву» хорошей игры. Это наверное главное. Сейчас все понимают, что шансов нет, но поддержать футболистов явно надо. Кстати, завтра выйдет выпуск о стартовом составе «Зенита» на матч против «Боруссии». Загляните)))
Надеюсь вам понравилось! Ставьте лайки, комментируйте, делитесь в соц.сетях и подписывайтесь на мой канал Sport_spirit. А главное, если есть какие-нибудь вопросы, спрашивайте либо через вк, либо через эл. почту, ссылки на которые вы сможете найти на основной странице канала.
Заходите в чат нашего канала по этой ссылке. Буду рад каждому вступившему)))
Возможно вам будет интересно:
Олег Блохин, как лучший футболист и просто легенда советского спорта
Какой Дортмунд? Им бы «Рубин» победить. Почему у «Зенита» нет шансов даже на Лигу Европы???
Спасибо тебе, Хабиб! А что будет дальше???
Морфологический разбор слова «вероятно»
Слово можно разобрать в 4 вариантах, в зависимости от того, в каком контексте оно используется.
1 вариант разбора
Часть речи: Наречие
2 вариант разбора
Часть речи: Вводное слово
3 вариант разбора
Часть речи: Предикатив
4 вариант разбора
Часть речи: Краткое прилагательное
ВЕРОЯТНО — слово может быть как одушевленное так и неодушевленное, смотрите по предложению в котором оно используется.
Начальная форма слова: «ВЕРОЯТНЫЙ»
Слово | Морфологические признаки |
---|---|
ВЕРОЯТНО |
|
Все формы слова ВЕРОЯТНО
ВЕРОЯТНЫЙ, ВЕРОЯТНОГО, ВЕРОЯТНОМУ, ВЕРОЯТНЫМ, ВЕРОЯТНОМ, ВЕРОЯТНАЯ, ВЕРОЯТНОЙ, ВЕРОЯТНУЮ, ВЕРОЯТНОЮ, ВЕРОЯТНОЕ, ВЕРОЯТНЫЕ, ВЕРОЯТНЫХ, ВЕРОЯТНЫМИ, ВЕРОЯТЕН, ВЕРОЯТНА, ВЕРОЯТНО, ВЕРОЯТНЫ, ВЕРОЯТНЕЕ, ВЕРОЯТНЕЙ, ПОВЕРОЯТНЕЕ, ПОВЕРОЯТНЕЙ, ВЕРОЯТНЕЙШИЙ, НАИНЕВЕРОЯТНЕЙШИЙ, ВЕРОЯТНЕЙШЕГО, НАИНЕВЕРОЯТНЕЙШЕГО, ВЕРОЯТНЕЙШЕМУ, НАИНЕВЕРОЯТНЕЙШЕМУ, ВЕРОЯТНЕЙШИМ, НАИНЕВЕРОЯТНЕЙШИМ, ВЕРОЯТНЕЙШЕМ, НАИНЕВЕРОЯТНЕЙШЕМ, ВЕРОЯТНЕЙШАЯ, НАИНЕВЕРОЯТНЕЙШАЯ, ВЕРОЯТНЕЙШЕЙ, НАИНЕВЕРОЯТНЕЙШЕЙ, ВЕРОЯТНЕЙШУЮ, НАИНЕВЕРОЯТНЕЙШУЮ, ВЕРОЯТНЕЙШЕЮ, НАИНЕВЕРОЯТНЕЙШЕЮ, ВЕРОЯТНЕЙШЕЕ, НАИНЕВЕРОЯТНЕЙШЕЕ, ВЕРОЯТНЕЙШИЕ, НАИНЕВЕРОЯТНЕЙШИЕ, ВЕРОЯТНЕЙШИХ, НАИНЕВЕРОЯТНЕЙШИХ, ВЕРОЯТНЕЙШИМИ, НАИНЕВЕРОЯТНЕЙШИМИ
Разбор слова по составу вероятно
Основа слова | вероятно |
---|---|
Корень | вероят |
Суффикс | н |
Суффикс | о |
Разбор слова в тексте или предложении
Если вы хотите разобрать слово «ВЕРОЯТНО» в конкретном предложении или тексте, то лучше использовать
морфологический разбор текста.
Примеры предложений со словом «вероятно»
1
Этот человек, вероятно, – он подчеркнул слово «вероятно», – умер от коронарного тромбоза.
Клиника: анатомия жизни, Артур Хейли, 1959г.2
Может, если бы я смог поговорить с ней, действительно поговорить с ней, то, вероятно, – вероятно, ничего не изменилось бы.
Дорогой Эван Хансен, Стивен Левенсон, 2018г.
3
В постели он, вероятно, крепенький, заваливающий оргазмами грубиян он, вероятно, в ней.
Оставь компас себе, Петр Альшевский4
Вероятно, я уже буду немного пьяна и, вероятно, буду в компании Калисто.
Любовники-полиглоты, Лина Вульфф, 2016г.5
Вы пришли, вероятно, за вашим маленьким беглецом?
Рекенштейны, Вера Ивановна Крыжановская-Рочестер, 1894г.
Найти еще примеры предложений со словом ВЕРОЯТНО
Расчётное время:15 календарных днейРезультат предоставления услуги:Заключение о согласовании расчёта вероятного вреда с указанием размера вероятного вреда в денежном выражении, а также подписанные Министром экологии и природных ресурсов Республики Татарстан или заместителем министра по недропользованию титульные листы расчёта вероятного вреда, скреплённые гербовой печатью Министерства и с указанием даты согласования;Основания для отказа:1) несоответствие расчета вероятного вреда положениям нормативных правовых актов;![]() Способы обжалования:Получатели государственной услуги имеют право на обжалование действий (бездействий) Министерства, должностного лица Министерства, либо государственного служащего Министерства в досудебном порядке – в Министерство. Жалобы на решение принятые Министром в связи с предоставлением государственной услуги подаются в Кабинет Министров Республики Татарстан.Заявитель может обратиться с жалобой, в том числе в следующих случаях: 1) нарушение срока регистрации запроса заявителя о предоставлении государственной услуги; 2) нарушение срока предоставления государственной услуги; 3) требование у заявителя документов, не предусмотренных нормативными правовыми актами Российской Федерации, нормативными правовыми актами Республики Татарстан для предоставления государственной услуги; 4) отказ в приеме документов, представление которых предусмотрено нормативными правовыми актами Российской Федерации, нормативными актами Республики Татарстан для предоставления государственной услуги у заявителя; 5) отказ в предоставлении государственной услуги, если основания отказа не предусмотрены федеральными законами и принятыми в соответствии с ними иными нормативными правовыми актами Российской Федерации, нормативными правовыми актами Республики Татарстан; 7) отказ должностного лица Министерства, в исправлении допущенных опечаток и ошибок в выданных в результате предоставления государственной услуги документах либо нарушение установленного срока таких исправлений. ![]() Жалоба подается в письменной форме на бумажном носителе или в электронной форме. Жалоба может быть направлена по почте, через МФЦ, с использованием информационно-телекоммуникационной сети «Интернет», официального сайта Министерства (http://eco.tatarstan.ru), Единого портала государственных и муниципальных услуг Республики Татарстан (http://uslugi.tatar.ru/), Единого портала государственных и муниципальных услуг (функций) (http://www.gosuslugi.ru/), а также может быть принята при личном приеме заявителя. Консультирование заявителя
Заявитель вправе обратиться в отдел гидрогеологии и регулирования водопользования Министерства лично, по телефону и (или) электронной почте, в письменной форме для получения консультаций о порядке получения государственной услуги. Специалист Отдела консультирует заявителя, в том числе по составу, форме представляемой документации и порядку получения государственной услуги. Прием и регистрация заявления и документовПрием и регистрация заявления и документов Заявитель лично на бумажном носителе, в электронном виде через Портал государственных и муниципальных услуг Республики Татарстан, либо по почте заказным почтовым отправлением с уведомлением о вручении подает (направляет) заявление с приложением необходимых документов в отдел делопроизводства. При направлении заявления в электронной форме прилагаются сканированные копии запрашиваемых документов, при направлении заявления заказным почтовым отправлением — документы, заверенные получателем государственной услуги. Специалист отдела делопроизводства проверяет представленные документы на соответствие перечню документов и материалов, осуществляет прием заявления и документов и вручает заявителю копию заявления с отметкой о дате приема документов Рассмотрение документов, принятие решения о согласовании расчета вероятного вреда
Специалист Отдела проверяет соответствие исходных данных, принятых при расчете вероятного вреда, сведениям, имеющимся в распоряжении Министерства, осуществляет проверку представленных документов на соответствие требованиям природоохранного законодательства, проверяет материалы на наличие оснований для отказа в предоставлении госуслуги; подготавливает проект заключения о согласовании расчёта вероятного вреда и подписывает его и титульные листы расчета вероятного вреда у заместителя министра. После регистрации в Отделе делопроизводства заключение о согласовании расчёта вероятного вреда с тремя экземплярами расчёта вероятного вреда выдается заявителю.
|
Проблемы раздвоения мэров — Ведомости
Недавние конфликты в городском самоуправлении трех региональных центров – Нижнего Новгорода, Тулы и Смоленска – на первый взгляд имеют разную природу и отличаются по составу действующих лиц. В Нижнем Новгороде отказавшийся от прямых выборов мэр Вадим Булавинов лишился места из-за конфликта с губернатором Валерием Шанцевым. Избранный из числа депутатов гордумы мэр города оружейников, самоваров и пряников Алиса Толкачева потеряла пост из-за конфликта с местными единороссами, недовольными ее критикой в адрес сити-менеджера. Наконец, депутаты смоленского горсовета вышли из фракции «Единая Россия» после дискуссий вокруг претендентов на должность сити-менеджера и исключения из партии председателя совета Николая Алашеева. Протест – следствие навязывания «партийных» кандидатов.
Но все эти конфликты объединяет общая особенность. Они вызваны создаваемой (если не сказать – насаждаемой) Москвой и губернаторами новой моделью управления городами. Замена избранных горожанами мэров тандемом – председатель городской думы плюс сити-менеджер, назначенный теми же депутатами при участии региональных властей, – современная тенденция отечественного госстроительства. В последние два-три года всенародные выборы градоначальников отменены в Перми, Иванове, Калуге, Владимире, Оренбурге, Челябинске, Благовещенске, Элисте и многих менее крупных городах. Руководители регионов, не раз жестко конфликтовавшие с мэрами и терявшие пост в противостоянии с ними, после отмены губернаторских выборов почувствовали дефицит легитимности по сравнению с мэрами. Удаление очень даже вероятного и доказательно популярного конкурента с политического пространства, как им кажется, повышает управляемость, устраняет очаг вероятного конфликта, укрепляет их собственное положение и контроль над общественно-политическими процессами и финансовыми потоками. Сторонники отмены прямых выборов мэров полагают также, что разделение полномочий между мэром из числа депутатов и сити-менеджером снижает риск коррупции.
Действительно, избрать, пользуясь партийной дисциплиной, лояльного председателя гордумы и продавить кандидатуру нужного сити-менеджера не составляет труда.
Однако, снимая очень вероятные противоречия между выборным мэром и назначенным губернатором, строители вертикали власти на местах не замечают, что собственноручно создают новый очаг конфликта на муниципальном уровне, нередко более запутанного, чем прежний. При новой структуре управления налицо три центра власти: сами депутаты, избранный из их числа мэр и назначенный ими же управдом. Эта конструкция более или менее ритмично работает, когда преобладающую роль в городе играют одна-две группы влияния, работающие под теми или иными партийными флагами. Однако в провинции, в том числе и в крупных городах, добровольно-принудительный прием в ряды доминирующей партии часто не может смягчить противоречия между интересами соперничающих бизнесменов, их лоббистов или фамильных кланов. Границы между полномочиями мэра и сити-менеджера размыты. Градоначальнику в случае конфликта с сити-менеджером или депутатами приходится лавировать, подобно сталинскому наркому Анастасу Микояну, которому молва приписывала способность проходить между струй дождя. В нынешней России такие мастера маневра тоже есть, но их единицы. А ведь еще и губернатор не может быть подлинным арбитром, разрешающим конфликт или банальную склоку, – он, как правило, представляет одну из заинтересованных сторон и разруливает спор в ее пользу.
Поэтому нередко противоречия между городскими властями заканчиваются громкими обвинениями и неурядицами для простых горожан. Скандалы в Смоленске и Туле – наглядное тому подтверждение.
Мэрам, избранным прямым голосованием, легче гасить конфликты между исполнительной властью, депутатами и бизнесом. Возможно, губернаторам и Кремлю стоит прислушаться и к мнению самих горожан: 79% пермяков в мае нынешнего года высказались за сохранение выборного градоначальника. Правда, это ни на что не повлияло.
Болезнь, вызванная вирусом Эбола — Демократическая Республика Конго
За период с 1 по 7 января в ходе продолжающейся в провинциях Северное Киву и Итури вспышки болезни, вызванной вирусом Эбола (БВВЭ), было зарегистрировано 12 новых пациентов с подтвержденным диагнозом. Подтвержденные случаи на этой неделе были зарегистрированы в девяти медико-санитарных районах в составе четырех медико-санитарных зон: Бутембо (42%, n=5), Мамбаса (33%, n=4), Манжина (17%, n=2), и Бени (8%, n=1). В Бени зарегистрирован новый случай, связанный с цепочкой передачи инфекции, возникшей в медико-санитарном районе Алоя медико-санитарной зоны Мабалако.
За последний 21 день (18 декабря 2019 г. — 7 января 2020 г.) на территории 13 медико-санитарных районов в составе шести все еще затронутых вспышкой медико-санитарных зон провинций Северное Киву и Итури был зарегистрирован 41 подтвержденный случай болезни (рисунок 2, таблица 1): в Мабалако (49%, n=20), Бутембо (22%, n=9), Калунгуте (12%, n=5), Мамбасе (10%, n=4), Катве (5%, n=2), и Бени (2%, n=1). Медико-санитарная зона Мабалако остается основным очагом вспышки, на территории которого за последний 21 день было зарегистрировано 49% подтвержденных случаев. Большинство случаев (76%, n=31) имеют отношение к установленным цепочкам передачи инфекции, однако беспокойство вызывает возвращение болезни в такие густонаселенные медико-санитарные зоны, такие как Бутембо, Катва и Бени, ранее ликвидировавшие передачу инфекции. В настоящее время расследуются источники инфицирования пяти новых заболевших, зарегистрированных за последний 21 день в медико-санитарной зоне Калунгута, и четырех новых случаев, зарегистрированных в медико-санитарной зоне Мамбаса.
По состоянию на 7 января было зарегистрировано в общей сложности 3392 случая БВВЭ, включая 3274 подтвержденных и 118 вероятных, из которых 2235 случаев закончились летальным исходом (общий коэффициент летальности – 66%) (таблица 1). Из общего числа подтвержденных и вероятных случаев 56% (n=1903) случаев составляли пациенты женского пола и 28% (n=956) дети в возрасте до 18 лет, а 169 (5% всех зарегистрированных случаев) были работниками здравоохранения.
Рисунок 1. Подтвержденные и вероятные случаи болезни, вызванной вирусом Эбола, с указанием недели появления симптомов и медико-санитарных зон. Данные на 7 января 2020 г.*
*На 7 января 2020 г. численность подтвержденных и вероятных случаев составила 3392 случая. В это число не входит 173 случая, по которым не были указаны даты появления симптомов. Данные за последние недели могут быть неточными ввиду задержек в подтверждении заражения и подачи уведомлений, а также в связи с текущей работой по очистке данных. К другим медико-санитарным зонам относятся: Алимбонго, Аривара, Биена, Бунья, Гома, Кайна, Команда, Кьондо, Лолва, Луберо, Мандима, Мангуруджипа, Масерека, Музиенене, Мутванга, Мвенга, Ньянкунде, Ньирагонго, Ойча, Пинга, Рвампара, Чомья и Вухови.
Рисунок 2. Подтвержденные и вероятные случаи болезни, вызванной вирусом Эбола, с указанием недели появления симптомов и медико-санитарных зон. Данные на 7 января 2020 г.*
Таблица 1. Подтвержденные и вероятные случаи болезни, вызванной вирусом Эбола, и число затронутых медико-санитарных районов в медико-санитарных зонах провинций Северное Киву и Итури, Демократическая Республика Конго, данные по состоянию на 7 января 2020 г.**
**Общее число случаев и затронутых районов за последний 21 день определяется по датам первого уведомления о случаях и может отличаться от данных, определенных исходя из дат подтверждения случаев и ежедневных уведомлений Министерства здравоохранения.
ВОЗ постоянно отслеживает изменения эпидемиологической обстановки и контекста развития вспышки для обеспечения соответствия объемов предоставляемой поддержки конкретным обстоятельствам. В ходе последней оценки был сделан вывод о том, что уровень риска на национальном и региональном уровнях остается очень высоким, в то время как глобальный риск остается на низком уровне.
Развитие наиболее вероятного сценария МО и противоборство локальных человеческих цивилизаций в XXI веке
Цивилизационный фактор становится все более нарастающей силой, оказывающей влияние на все мировые, региональные и даже локальные дела, он также определяет основныеправила игры сегодняшней мировой политики…[1]
А Владимиров
Самое глубокое противоречие современной североатлантической цивилизации вызвано отступлением от своих собственных религиозных, духовных и нравственных начал… что затем ведет к общей социальной деградации[2]
И. Андрушкевич, русский историк и философ
Современный сценарий развития МО в авторской концепции формируется под сильным влиянием противоборства ЛЧЦ. В не меньшей степени, на мой взгляд, он будет формироваться под этим влиянием в будущем. Я бы назвал это влияние «стратегическим»[3] потому, что именно оно определяет будущие контуры сценария развития МО. Поэтому изначально важно попытаться определить, насколько сильно это влияние противоборства ЛЧЦ на процесс формирования новой структуры и конкретного сценария развития МО не только в настоящее время, но и в долгосрочной перспективе, например, до 2040 года и далее. Ещё конкретнее – насколько это влияние ЛЧЦ будет сказываться на развитии базового сценария МО «Эскалация военно-силового давления со стороны западной военно-политической коалиции». Особенно в соотношении с другими факторами.
В принципе С. Хантингтон в свое время вывел своего рода «формулу» влияния ЛЧЦ на формирование МО, которая заключалась в двух положениях (ниже и буду ещё не раз её повторять): во-первых, столкновение цивилизаций представляют собой наибольшую угрозу миру, а, во-вторых, самый надежный мир – основан на учете интересов ЛЧЦ[4]. Эта формула характеризует значение и роль ЛЧЦ в формировании МО в принципе, но для анализа и прогноза сценария (и его вариантов) развития МО и ВПО её недостаточно. Нужны детали, поэтому, отталкиваясь от концепции и формулы С. Хантингтона, требуется рассмотреть влияние ЛЧЦ конкретнее, во многих, в том числе не описанных прежде, аспектах.
Напомню, что выше я уже описывал сценарии и варианты развития отношений между ЛЧЦ. В частности, я писал, что базовый сценарий развития МО – «Военно- силовое противоборство ЛЧЦ» – рассматривается мною в 3-х своих наиболее вероятных вариантах, каждый из которых имеет высокую степень вероятности в 20-е годы нашего столетия (хотя потенциально сохраняются и иные сценарии и варианты развития МО). Условно они обозначены как «Вариант № 1» – глобального военно- силового противоборства (т.е. мировая коалиционная война), «Вариант № 2» – региональное военно-силовое противоборство (т.е. региональные конфликты и войны) и «Вариант № 3» – наиболее вероятный вариант, кеоторый полностью подтвердился в 2014-2021 годы, – сценарий «Эскалация военно-силового противоборства в целом по отношению ко всем центрам силы и ЛЧЦ».
При этом, для каждой из ЛЧЦ и центров силы степень вероятности развития этих вариантов одного и того же сценария – разная. Для китайской, исламской ЛЧЦ наиболее вероятен «региональный» вариант сценария развития МО («Вариант № 2»), более того, такой региональный сценарий может быть сужен до локального варианта военно-силового противостояния, например, в форме открытого противоборства «Запад – КНДР», или существующий в настоящее время вариант «замороженного противоборства по линии «Запад – Иран». Географически и пространственно, такие варианты ограничены как по масштабам и интенсивности применения военной силы и силы вообще, так и по составу участников, и временному отрезку.
Тем не менее, наиболее вероятный вариант сценария развития МО – «Эскалация военно-силового противоборства в целом по отношению ко всем центрам силы и ЛЧЦ», как следует даже из его названия, прямо зависит от напряжения стратегического противоборства между ЛЧЦ и их коалициями. Соответственно, что чем меньше такое напряжение, тем менее вероятен этот сценарий и туманнее перспективы его развития.
Пока что, будущая МО описывается политиками и исследователями несколько упрощенно, как некая «многополярность». Поэтому суждения о «многополярности» я намеренно ставлю в кавычки, как распространенный журналистский штамп, который не существует в жизни и никогда не будет существовать, но он просто удобен, чтобы показать усиление других ЛЧЦ и центров силы. Ссылки на авторитет Е.М. Примакова и других авторов меня не убеждают. То, что эта конструкция используется во внешнеполитической риторике, означает только одно – определенную политическую необходимость поставить под сомнение, даже оспорить, существующее доминирование в мире именно США.
«Степень напряженности» в отношениях между ЛЧЦ и их коалициями в настоящее время ведет именно к формированию такого сценария МО, когда в центре всей системы сохраняется и будет на среднесрочную перспективу одна-единственная ЛЧЦ, – западная ЛЧЦ и коалиция, вокруг которой на разных «орбитах» будут расположены другие центры силы и ЛЧЦ. Все разговоры и суждения о «многополярности» пока что имеют очень мало реальных политических и военных оснований – превосходство западной коалиции очевидно и не оспоримо.
И оно, вероятно, вполне исторически оправданно. Во всяком случае, так было всегда в истории человеческой цивилизации. Как правило, в цивилизованном мире было два основных соперника, например, Рим и Карфаген, которые были эпицентрами, но вокруг которых формировались разного рода коалиции (в данном случае – Македония, Сирия, с одной стороны, и италийские племена, — с другой). Когда один из них проигрывал, то возникала очередь новых центров силы. После проигрыша Карфагена наступила очередь Македонии, затем Сирии и Египта и т. д. Опять же не случайно, но в истории не возникало только двух коалиций, объединяющих все государства. Часть из них по разным причинам оставались «за скобками» двух главных коалиций.
В нашем веке происходит по сути дела то же самое – США удалось сформировать огромную коалицию, в которую вошло более 60 государств, участвовавших в войне против Афганистана, Ирака Сирии или других акциях в разной форме – от символической до вполне масштабной, военной. Форум «демократии», проведенный Д. Байденом в декабре 2021 года, иллюстрация того как формируется эта коалиция.
Другая формирующаяся сила – Китай, Россия, исламский мир, которые представляют собой противников Запада, но не готовы к объединению между собой. Западная ЛЧЦ умело не допускает усиления ни одной из них, дестабилизируя их как внутриполитически и экономически, так и дестабилизируя их потенциальных союзников. Западная ЛЧЦ выбирает из них наиболее важные приоритеты для соперничества, меняя очередность: сначала был «исламский терроризм», затем «российский оппортунизм», а теперь – «китайский гегемонизм».
Таким образом, наиболее вероятна ситуация, когда в период 2040–2050 годов в МО сохранит своё доминирующее влияние западная ЛЧЦ, которая будет определять параметры развития и их коридоры для других ЛЧЦ и центов силы – исламской, индийской, китайской и пр. Причем, в реальности речь может идти только об одной противостоящей западной ЛЧЦ – китайской ЛЧЦ, хотя последние политические шаги России говорят о том, что начинает формироваться и другой центр силы противостояния с Западом.
Это наиболее вероятное развитие событий может произойти в том случае, если западная ЛЧЦ сможет сохранить и укрепить свой контроль над созданными до настоящего времени финансово-экономическими и военно-политическими системами, объединив вокруг себя (и на своих условиях) другие субъекты и акторы. Именно это в настоящее время и происходит, хотя разговоры и рассуждения о «многополярности», безусловно, вводят в заблуждение. Реальность такова: только западная ЛЧЦ будет продолжать доминировать и объявлять об этом открыто. И только китайская ЛЧЦ может претендовать в обозримой перспективе на то, чтобы оспорить эту ситуацию. Во всяком случае до тех пор пока политическая воля и стратегия России не сформулируют чёткого понимания необходимости силового противоборства с Западом не только вовне, но и, главное, — внутри России.
__________________________________________
[1] Владимиров А.И. Основы общей теории войны в 2 ч. Часть I. Основы теории войны. М.: Синергия, 2013, с. 55.
[3] Стратегическое противоборство — зд.: противоборство между субъектами и акторами МО, которое характеризуется существенной противоположностью политических и иных целей, долгосрочным характером, бескомпромиссностью и широким спектром средств и способов влияния и использования в отношениях друг с другом.
[4] Хантингтон С. Столкновение цивилизаций. М.: АСТ, 2016, с. 6.
Поиск в базе данных белков с использованием композиционно скорректированных матриц замещений
FEBS J. Авторская рукопись; доступно в PMC 2006 20 января.
Опубликовано в окончательной редакции как:
PMCID: PMC1343503
NIHMSID: NIHMS4284
Национальный центр биотехнологической информации, Национальная медицинская библиотека, 94 Bethedas08, Национальные институты
Окончательная отредактированная версия этой статьи доступна бесплатно на сайте FEBS. J См. другие статьи в PMC, в которых цитируется опубликованная статья.Abstract
Почти все методы поиска в базе данных белков используют матрицы аминокислотных замен для подсчета, оптимизации и оценки статистической значимости выравнивания последовательностей. Поэтому при построении матриц замещения было затрачено много усилий и усилий, и качество результатов поиска может сильно зависеть от выбора правильной матрицы. Давней проблемой является сравнение последовательностей со смещенным аминокислотным составом, для которых стандартные матрицы замен не оптимальны.Чтобы решить эту проблему, мы недавно разработали общую процедуру преобразования стандартной матрицы в матрицу, подходящую для сравнения двух последовательностей с произвольными и, возможно, разными составами. Такие скорректированные матрицы дают в среднем улучшенное выравнивание и оценки выравнивания при сравнении белков с заметно смещенными композициями.
Здесь мы рассматриваем применение композиционно скорректированных матриц и рассматриваем возможность их плодотворного применения для поиска в базе данных белковых последовательностей общего назначения, в которых пары родственных последовательностей не обязательно имеют сильные композиционные смещения.Хотя нецелесообразно применять композиционную корректировку без разбора, мы опишем несколько простых критериев, при которых применение такой корректировки в среднем полезно. При типичном поиске в базе данных по крайней мере одному из этих критериев удовлетворяет более половины связанных пар последовательностей. Композиционная корректировка матрицы замещения теперь доступна в белково-белковой версии BLAST от NCBI.
Ключевые слова: матрицы замещений, корректировка состава, поиск в базе данных белков, BLAST, BLOSUM
Введение
С появлением в 1970 году алгоритмов выравнивания белков [1] возникла потребность в матрицах оценок аминокислотных замен.Со временем было выдвинуто множество различных обоснований построения таких матриц [2–8], основанных на различных соображениях, таких как генетический код и физико-химические свойства аминокислот. Однако в течение многих лет наибольшее распространение получили матрицы log-odds [4], полученные на основе PAM-модели эволюции белка [3]. Эти матрицы, как правило, также использовались без изменений с методами локального выравнивания, введенными в 1980-х годах [9], которые в значительной степени вытеснили более ранние алгоритмы глобального выравнивания.
Статистическая теория оценок локального выравнивания без пропусков, описанная в начале 1990-х годов [10, 11], продемонстрировала, что все матрицы локального выравнивания неявно имеют форму логарифмических шансов и оптимизированы для распознавания выравниваний, характеризующихся определенным аминокислотным составом. пара целевых частот [12]. Затем можно было бы признать, что то, что дало матрицам PAM преимущество, было их явным и целенаправленным, а не неявным указанием целевых частот. Соответственно, описанные впоследствии матрицы BLOSUM [13] сохранили формализм логарифмических шансов для построения оценок замещения и заменили только модель PAM для оценки целевых частот.Это справедливо и для других подходов к построению матриц замещения [14–17].
Чувствительность поиска в базе данных белков может сильно зависеть от выбора матрицы замен [18, 19]. BLOSUM и другие широко используемые матрицы, сконструированные из определенных наборов родственных белков, адаптированы к целевым частотам в контексте подразумеваемых стандартных фоновых аминокислотных композиций. При использовании для сравнения белков с явно нестандартным составом эти матрицы имеют новые целевые частоты, которые несовместимы с новым композиционным контекстом, что подразумевает неоптимальную производительность [20].
Белки с нестандартным составом далеко не редкость. Они могут возникать в специализированных (например, гидрофобных или богатых цистеином) белковых семействах или оптом в организмах с AT- или GC-богатыми геномами [21, 22]. Для анализа таких белков мы ранее описали обоснование и усовершенствованный здесь эффективный алгоритм преобразования стандартной матрицы в подходящую для любого заданного нестандартного композиционного контекста [20, 23]. Эта процедура полностью применима для сравнения белков с разным составом, что в этом случае дает асимметричные матрицы замещения.В среднем, при использовании для сравнения белков с явно предвзятым составом скорректированные матрицы дают выравнивания, которые лучше согласуются со структурными данными и имеют более высокие оценки [20].
Важным фактором эффективности программ баз данных белков является расстояние эволюции, для которого предназначена используемая матрица замен. Это удобно измерять относительной энтропией матрицы [12, 24]. При корректировке стандартной матрицы с учетом композиционного смещения можно одновременно контролировать ее относительную энтропию [20, 23], и здесь мы обсуждаем различные причины для этого.Среди рассматриваемых нами стратегий относительной энтропии наилучшей в среднем является фиксация относительной энтропии скорректированных матриц на стандартном значении.
Наконец, мы изучаем эффективность композиционной корректировки в контексте поиска в базе данных белков общего назначения, в котором не ожидается всепроникающих сильных композиционных предубеждений. Хотя нецелесообразно использовать корректировку состава повсеместно, мы описываем несколько простых критериев для применения такой корректировки, которые предсказывают ее полезность для большинства попарных сравнений родственных белков. Корректировка матрицы композиционной оценки была добавлена в качестве опции к программе NCBI по белковым запросам белковой базы данных BLAST [25, 26].
Статистическая основа
Для локальных выравниваний без пропусков была разработана статистическая теория матриц замещений, которая предполагает модель случайного белка, в которой двадцать аминокислот появляются независимо с фоновыми вероятностями р→ [10, 11]. Матрица замещения должна иметь отрицательное ожидаемое значение, и ее всегда можно записать в виде
, где неявные q ij — положительные целевые частоты, сумма которых равна 1, а положительный параметр λ обеспечивает естественную шкалу для матрица.Эта матрица оптимальна для случайного различения тех локальных выравниваний, чьи выровненные пары аминокислот появляются с частотами, характеризуемыми q . На практике уравнение (1) широко используется для построения матриц логарифмических шансов после оценки целевых и фоновых частот непосредственно из тщательно отобранных наборов «истинных» биологических выравниваний. Целевые частоты обычно оцениваются как симметричные, с q ij = q ji , а фоновые частоты обычно выбираются так, чтобы они соответствовали целевым частотам, с
.
Поскольку разные эволюционные расстояния подразумевают разные целевые частоты, наборы матриц замещения, такие как серии PAM [3, 4] и BLOSUM [13], были оптимизированы для разной степени эволюционного расхождения. Относительная энтропия матрицы [12], определяемая как H=∑ijqijln(qij/pipj), с единицей измерения нац , является удобным параметром для характеристики эволюционного расстояния, которому соответствует матрица; чем выше H , тем меньше степень эволюционной дивергенции.
Композиционно скорректированные матрицы
Обобщение для сравнения последовательностей с возможным неравным фоновым составом П→ и P→′, разумно предположить, что целевые частоты Q , наилучшим образом характеризующие истинное выравнивание, будут соответствовать этим фоновым частотам, так что
∑jQij=Pi; ∑iQij=Pj′.
(2)
Мы называем матрицу подстановки действительной в контексте фоновых частот П→ и P→′, если его неявные целевые частоты удовлетворяют уравнениям (2).За исключением некоторых вырожденных случаев, не важных на практике, матрица подстановки может быть действительна только в уникальном контексте [20, 23]. Это означает, что не идеально использовать матрицу замещения, полученную из стандартных целевых и фоновых частот в нестандартном контексте, но оставляет открытым вопрос о том, как построить соответствующую матрицу.
Для сравнения белков со смещенным составом можно воспроизвести процедуру PAM или BLOSUM, построив специальные наборы истинных выравниваний для таких белков, как это было описано для гидрофобных и трансмембранных белков [27, 28].Из таких наборов выравнивания могут быть извлечены целевые и фоновые частоты. Проблемы с этим подходом заключаются в его трудоемкости, в том, что каждый новый контекст требует новых кураторских усилий и в том, что его трудно последовательно применять для сравнения белков с разным аминокислотным уклоном. Соответственно, мы предложили обоснование автоматического преобразования любой стандартной матрицы, построенной с помощью уравнения (1) с уникальным допустимым q , в матрицу, допустимую в нестандартном контексте, заданном новыми фоновыми частотами.
П→ и
П→′ [20].Короче говоря, мы предлагаем найти новые целевые частоты Q , которые минимизируют расстояние Кульбака-Либлера от стандартного Q , т.е.
∑ijQijln(Qij/qij), но с учетом ограничений непротиворечивости уравнений (2). Кроме того, можно ограничить относительную энтропию новой матрицы замещения равной некоторой константе H :
∑ijQijlnQijPiPj′=H.
(3)
Ранее для этой цели мы описали ньютоновскую процедуру [23].Здесь мы реализовали модифицированную процедуру с улучшенной скоростью и стабильностью, которую мы подробно рассмотрим ниже.
Контроль относительной энтропии
Если кто-то корректирует матрицу замещения для композиционного смещения, почему может потребоваться ограничить ее относительную энтропию и как это сделать? Мы изучим этот вопрос, проанализировав производительность четырех режимов построения матрицы замещения (). Для этих оценок мы используем 143 пары гомологичных последовательностей с проверенными выравниваниями, описанными в [20], которые мы называем набором данных «biaspair143»; эти пары были выбраны специально для оценки композиционной корректировки матрицы замещения и включают различные композиционные смещения.
Таблица 1
Режимы корректировки матрицы композиционного замещения.
Mode | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
Описание | Описание | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Стандартная матрица без композиционной регулировки | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
B | Относительная энтропия, оставлена неограниченная | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
C | Относительная энтропия, ограниченная равной постоянной значение | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
D | Относительная энтропия ограничена равной энтропии стандартной матрицы в композиционном контексте двух сравниваемых последовательностей версии BLOSUM-62, скорректированные по составу для каждой пары последовательностей ().![]() Для сравнения любой конкретной пары связанных последовательностей лучше всего использовать матрицу, относительная энтропия которой отражает степень эволюционной дивергенции последовательностей [12, 24]. Когда состав BLOSUM-62 корректируется для данной пары последовательностей, нет гарантии, что его относительная энтропия останется близкой к 0,44 нат. Если относительная энтропия уменьшается, то это хорошо, если сравниваемые последовательности очень отдаленно связаны друг с другом, и плохо, если они тесно связаны. Поскольку относительная энтропия является ключевым элементом эффективности матриц замещения, она может быть искажающим фактором при попытке установить, что композиционная корректировка имеет ценность сама по себе. В частности, когда в [20] мы сравнили производительность стандартной матрицы BLOSUM-62 с характеристиками композиционно скорректированных версий BLOSUM-62, мы столкнулись с возможным возражением, что любое наблюдаемое улучшение связано не с самой композиционной корректировкой, а скорее с случайные изменения относительной энтропии. В [20] мы использовали режим D для всех композиционных корректировок и поэтому смогли показать, что такая корректировка сама по себе плодотворна. Однако после того, как это установлено, аргументов в пользу режима D по сравнению с режимами B или C как общего подхода к сравнению последовательностей мало. Таблица 2Эффективность матриц замещения для связанных пар последовательностей набора данных пары смещения143.
Для набора данных смещения143 средний битовый показатель режимов B и C превышает средний показатель режима A примерно на 3 бита, тогда как режим D дает среднее улучшение только примерно на 2 бита. Режим B проще режима C как концептуально, так и алгоритмически, и в некоторых контекстах может быть предпочтительнее. Тем не менее, предполагается, что режим C (с H = 0,44 нат) имеет небольшое преимущество перед режимом B по критериям средней битовой оценки и улучшения в каждом конкретном случае по сравнению с режимом A. Search Program Evaluation Protocol Большинство сравнений пар смещения143 включают по крайней мере одну последовательность, которая, как известно, имеет значительное композиционное смещение [ 20].Однако сравнения, которые возникают при поиске сходства в базе данных белков общего назначения, в среднем, вероятно, будут иметь гораздо меньшую предвзятость. Соответственно, чтобы оценить полезность композиционной корректировки для таких поисков, мы используем два отдельных набора данных, созданных ранее. Первый — это курируемый экспертами набор данных «aravind103» [29], состоящий из 103 последовательностей запросов и связанных с ними списков истинных положительных результатов из неизбыточной версии протеома дрожжей ( S. cerevisiae ). Второй — набор данных «astral40» [30, 31], основанный на классификации белков по структуре SCOP [32, 33].Только те 3586 последовательностей astral40, которые связаны по крайней мере с одной другой последовательностью в наборе, были включены в качестве запросов; все 4013 последовательностей astral40 служили связанной тестовой базой данных. Для оценки точности методов поиска в базе данных популярной мерой стала усеченная характеристика приемник-оператор ROC n для n ложных срабатываний [34]. Здесь мы сравниваем все запросы с соответствующими тестовыми базами данных, а затем вычисляем кривые ROC n и баллы для объединенных результатов, упорядоченных по E -значению [29].Наше применение статистики на основе состава для поиска в базе данных требует некоторой настройки параметров, поэтому мы используем меньший набор aravind103 для разработки и набор astral40 для оценки. Хотя изменение состава матрицы замещения может быть выполнено за малую долю секунды, обширные базы данных белковых последовательностей теперь содержат сотни тысяч последовательностей. Это чрезмерно замедлило бы программу поиска, если бы такую настройку нужно было выполнять для каждого из них.Соответственно, и в соответствии с эвристическим характером BLAST и связанных с ним программ, мы корректируем матрицы замещения только в качестве последнего шага. Критерии для включения композиционной корректировкиПри сравнении стандартного BLOSUM-62 (режим A) с композиционно скорректированным BLOSUM-62 (режим C) на наборе данных aravind103 наши первоначальные результаты были бесперспективными.Однако мы обнаруживаем, что несколько простых свойств последовательностей, предложенных теоретическими соображениями, как правило, характеризуют те пары последовательностей, которые выигрывают от корректировки оценок. Эксперимент дает три конкретных критерия для включения композиционной корректировки. СООТНОШЕНИЕ ДЛИНДля родственных белков с очень разной длиной более длинный может иметь тенденцию содержать домены, отсутствующие в более коротком, достаточные для того, чтобы композиционное регулирование стало ненадежным. Мы обнаружили, что композиционная корректировка в среднем предпочтительнее, если отношение длины более длинной последовательности к более короткой меньше 3.0. СОСТАВНОЕ РАССТОЯНИЕ Если аминокислотный состав двух последовательностей очень похож, это может отражать общую предвзятость организма или семейства белков. D2(r→,s→)=12∑i(riln2riri+si+siln2siri+si). (4) Используя эту меру, мы находим, что корректировка композиции в среднем предпочтительнее для двух последовательностей, если их композиции г→ и s→ иметь расстояние D меньше 0.16. КОМПОЗИЦИОННЫЙ УГОЛОбщее композиционное смещение в двух последовательностях может отражаться в сходном композиционном дрейфе по сравнению со стандартной белковой композицией. п→. Учитывая метрику уравнения (4), мы можем использовать закон косинусов для вычисления угла θ, образованного векторами из п→ к г→ и из п→ к s→: θ=cos-1D2(p→,r→)+D2(p→,s→)-D2(r→,s→)2D(p→,r→)D(p→,s→ ). (5) Мы обнаружили, что композиционная корректировка в среднем предпочтительнее для двух последовательностей, композиции которых составляют угол со стандартной композицией менее 70°.Обратите внимание, что в 19-мерном пространстве состава аминокислот случайные отклонения от стандартного состава, вероятно, будут почти перпендикулярными, так что 70° на самом деле представляет собой сильную корреляцию. Критерии, которые мы описали в пользу композиционной корректировки, ни в коем случае не являются независимыми. Однако существует как теоретическая, так и эмпирическая основа для использования каждого критерия в отдельности, и поэтому мы применяем композиционную корректировку для пар последовательностей, которые проходят любой из трех критериев.Мы называем эту процедуру условной корректировкой . На практике для изучаемых нами наборов данных единственным критерием, который, скорее всего, инициирует композиционную корректировку, является соотношение длины. Для связанных пар последовательностей из набора данных aravind103 примерно 69% проходят тест на условную корректировку, а для связанных, но не идентичных пар из набора данных astral40 — примерно 98%. В значительной степени гораздо больший процент для astral40 обусловлен «обработанным» характером SCOP [32, 33]: поскольку эта база данных содержит отдельные домены, а не полные белки, пары родственных последовательностей, как правило, имеют одинаковую длину. В , мы показываем кривые ROC n для BLAST, примененные к наборам данных aravind103 и astral40. Для каждого набора данных показаны кривые для BLOSUM-62 (BL62) и для условно скорректированного по составу BLOSUM-62 (CA-BL62). Для aravind103 показатель ROC 100 равен 0.521 ± 0,005 для BL62 и 0,530 ± 0,003 для CA-BL62, где стандартные ошибки рассчитываются, как описано в [29]. Для astral40 показатель ROC 10 000 составляет 0,1148 ± 0,0001 для BL62 и 0,1214 ± 0,0001 для CA-BL62. Различное количество ложных срабатываний, разрешенных для объединенных результатов поиска, отражает относительный размер тестовых наборов. Для набора тестов astral40 разница в баллах ROC n между CA-BL62 и BL62 является статистически значимой. Программа BLAST [25, 26, 29] использовалась для сравнения наборов тестовых запросов с тестовыми базами данных , с последовательностями базы данных, отфильтрованными от сегментов низкой сложности с помощью программы SEG [36] с параметрами (10, 1.8, 2.1). Результаты поиска были объединены и ранжированы по E -значению, а кривые ROC n [29, 34] были получены путем построения графиков истинно положительных и ложноположительных результатов для увеличения E -значений.Для каждого набора тестов были рассчитаны оценки локального выравнивания [9] с использованием оценок замещения BLOSUM-62 [13] и стоимости аффинных разрывов [40, 41]. Проверка предполагает, что для заданного количества истинных положительных результатов условное использование композиционной корректировки матрицы оценок снижает количество ложных срабатываний примерно на 50%; это соответствует среднему увеличению примерно на 1 бит оценки истинных, но незначительно значимых выравниваний. Производительность композиционной корректировки в этом тесте, хотя и положительная, слабее, чем описанная в .Это связано с преднамеренным выбором для тестового набора пар смещения143 пар последовательностей, для которых композиционная корректировка особенно подходит. Внедрение Мы добавили корректировку композиционной матрицы замещения в качестве опции к программе NCBI белковых запросов, базы данных белковых данных BLAST, названной blastpgp, доступной на http://www.ncbi.nlm.nih.gov/BLAST/. По умолчанию программа не выполняет композиционную корректировку, но пользователь может вызвать корректировку универсально или условно, т.е.е. только для тех пар последовательностей, которые соответствуют одному из трех критериев, описанных выше. Ранее мы описали многомерный ньютоновский метод расчета композиционно скорректированных матриц [23]. Однако мы внедрили модифицированную процедуру для достижения большей стабильности и скорости, особенно в худшем случае. Вместо того, чтобы выражать искомые целевые частоты в терминах множителей Лагранжа, а затем находить множители [23], вместо этого мы используем метод Ньютона для одновременного нахождения целевых частот и множителей Лагранжа. Используя один процессор Xeon 3,2 ГГц (внутри четырехпроцессорного ПК Pentium 4 с 4 ГБ ОЗУ), мы обнаружили, что однократное изменение состава стандартной матрицы замещения требует в среднем чуть более одной миллисекунды. В контексте одного поиска BLAST может потребоваться выполнение сотен корректировок, в зависимости от количества найденных выравниваний с достаточно низким начальным значением E .Кроме того, некоторые корректировки могут добавить дополнительную нагрузку в виде дополнительного попарного локального выравнивания. Используя набор данных aravind103 в качестве репрезентативных запросов, мы выполнили BLAST на машине, описанной выше, для поиска в базе данных замороженных неповторяющихся белковых последовательностей, содержащей 1 242 768 последовательностей и 395 571 179 аминокислот. Заключение Корректировка матрицы композиционной оценки изначально была разработана для сравнения последовательностей с сильно смещенными композициями, и в этом контексте может быть полезно ее универсальное применение. Здесь мы показали, что композиционная корректировка полезна также в контексте поиска сходства в базе данных белков общего назначения.Мы описали несколько простых критериев, в соответствии с которыми рекомендуется вызывать корректировку, и показали, что добавление композиционной корректировки в программу поиска базы данных BLAST дает улучшенные результаты поиска при номинальных затратах времени выполнения. Приложение Наша задача состоит в том, чтобы найти набор целевых частот Q , который минимизирует расстояние Кульбака-Лейблера от стандартного q , оставаясь при этом совместимым с заданной парой фоновых композиций.
П→ и
П→′. Кроме того, мы стремимся ограничить относительную энтропию H результирующей матрицы замещения. Мы используем метод Ньютона для решения нелинейной системы уравнений. Эта система состоит из 39 линейно независимых ограничений согласованности (2), ограничения (3), фиксирующего относительную энтропию, и набора из 400 уравнений, определяющих, что градиент функции Лагранжа равен нулю [23].Это дает набор из 440 уравнений с 440 переменными. Метод Ньютона включает решение линейной системы на каждой итерации для создания новой итерации. Желательно уменьшить размер линейной системы, но эта цель должна быть уравновешена целью уменьшения общего числа вычисляемых итераций [37]. В целом метод Ньютона хорошо работает с функциями, которые хорошо аппроксимируются своими производными. Ограничение относительной энтропии (3) и расстояние Кульбака-Лейблера включают члены формы x ln x , которые хорошо аппроксимируются своими производными для большинства положительных x , но являются сингулярными при x = 0. .Уменьшение размера системы [23] при наличии ограничения (3) приводит к введению экспоненциальных членов, имеющих особенности и плохо аппроксимируемых своими производными. Поэтому, чтобы уменьшить количество необходимых итераций, мы предлагаем решать систему из 440 уравнений напрямую. К счастью, матрица системы линейных уравнений содержит мало ненулевых элементов, и эти элементы встречаются в регулярном порядке. , где D — положительно определенная и диагональная, A — прямоугольная, а A T — транспонирование A .Можно использовать исключение блоков [38] для преобразования матрицы задачи к виду . Системы с этой матрицей могут быть решены путем разложения на множители симметричная положительно определенная матрица. Для факторизации AD −1 A T требуется примерно вдвое меньше операций, чем для факторизации матрицы, описанной в [23]. Стоимость применения блочной редукции и решения с использованием блочной редуцированной системы меньше, чем стоимость оценки функций и производных в [23], поэтому метод оптимизации требует меньше времени на итерацию. Единственная модификация метода Ньютона, необходимая для этой задачи, заключается в явном обеспечении положительности переменных q ij . Чтобы получить положительную итерацию, мы уменьшаем величину смещения, предложенную методом Ньютона, когда это необходимо [39]. Ссылки1. Needleman SB, Wunsch CD. Общий метод, применимый для поиска сходства в аминокислотной последовательности двух белков.Дж Мол Биол. 1970; 48: 443–53. [PubMed] [Google Scholar]2. Маклахлан АД. Тесты для сравнения родственных аминокислотных последовательностей. Цитохром с и цитохром с 551. J Mol Biol. 1971; 61: 409–24. [PubMed] [Google Scholar]3. Dayhoff, MO, Schwartz, RM & Orcutt, BC (1978) Модель эволюционных изменений белков в Атласе последовательности и структуры белков (Dayhoff, MO, изд.), стр. 345–52. , Natl Biomed Res Found, Вашингтон, округ Колумбия. 4. Schwartz, R. M. & Dayhoff, M. O. (1978) Матрицы для обнаружения отдаленных отношений в Атласе последовательности и структуры белков (Dayhoff, M.O., изд.), стр. 353–58, Natl Biomed Res Found, Вашингтон, округ Колумбия. 5. Фэн Д.Ф., Джонсон М.С., Дулитл Р.Ф. Выравнивание аминокислотных последовательностей: сравнение часто используемых методов.![]() ![]() ![]() ![]() ![]() ![]() 37. Фурер Р., Гей Д. М. и Керниган Б. В. (2002) AMPL: язык моделирования для математического программирования, 2-е изд., Duxbury Press, Pacific Grove, CA. 38. Голуб, Г. Х. и Ван Лоан, К. Ф. (1996) Матричные вычисления, издательство Университета Джона Хопкинса, Балтимор, Мэриленд. 39.Nocedal, J. & Wright, S. (1999) Численная оптимизация, Springer, New York, NY. 40. Готох О. Усовершенствованный алгоритм сопоставления биологических последовательностей. Дж Мол Биол. 1982; 162: 705–8. [PubMed] [Google Scholar]41. Альтшул С.Ф., Эриксон Б.В. Оптимальное выравнивание последовательностей с использованием затрат на аффинные промежутки. Бык Математика Биол. 1986; 48: 603–16. [PubMed] [Google Scholar]42. Альтшул С.Ф., Бундшух Р., Олсен Р., Хва Т. Оценка статистических параметров для локального распределения баллов выравнивания. Нуклеиновые Кислоты Res. 2001; 29: 351–61.[Бесплатная статья PMC] [PubMed] [Google Scholar]Моделирование композиционной неоднородности | Систематическая биологияАннотация Композиционная неоднородность среди линий может поставить под угрозу филогенетический анализ, потому что широко используемые модели предполагают композиционно однородные данные. Модели процессов Маркова, используемые для филогенетического анализа последовательностей ДНК, стали более реалистичными. Простая модель Юкса-Кантора была расширена, чтобы учесть неодинаковый состав нуклеотидов, разные скорости изменения от одного нуклеотида к другому, а также вариации скорости между сайтами в виде доли инвариантных сайтов и дискретные гамма-распределенные скорости вариабельные сайты Swofford et al., 1996; Whelan et al., 2001. Мы хотим отразить важные черты эволюции в наших моделях, не добавляя второстепенных параметров, которые увеличили бы дисперсию и уменьшили бы силу наших выводов. Хотя плохо подобранная модель не гарантирует получение неправильного дерева, отсутствие учета важных признаков является основной причиной невозможности получить правильную топологию (например, Sullivan and Swofford, 1997). Процесс эволюции может различаться по дереву. Как ни странно, общая скорость эволюции может различаться по дереву, и мы часто видим быстрые и медленные линии.Скорость эволюции отдельных участков также может меняться со временем, предположительно отражая изменения функциональных ограничений Penny et al., 2001; Lopez et al., 2002. Тот факт, что мы видим различный состав терминальных таксонов, говорит нам о том, что составная часть процесса эволюции также различается по дереву; настоящее исследование посвящено этому. При ярко выраженной композиционной неоднородности точность филогенетических методов снижается Mooers, Holmes, 2000; Локхарт и др., 1992; Озеро, 1994; Фостер и Хики, 1999 г.; Таррио и др., 2001. Процесс эволюции также может различаться по данным. Филогенетические модели, различающиеся данными, были разработаны Янгом (1996). В этих моделях данные были разделены на классы сайтов, каждый из которых мог иметь свои собственные общие показатели, коэффициенты перехода-перехода и неоднородность показателей между сайтами. В анализе максимального правдоподобия (ML) мы можем сравнивать модели с тестом отношения правдоподобия или с информационным критерием Акаике (AIC) Huelsenbeck and Rannala, 1997; Акаике, 1974 год; Посада и Крэндалл, 1998 г.Однако существуют тесты, которые решают вопрос о том, соответствует ли модель данным в абсолютном смысле, спрашивая, соответствует ли выбранная модель имеющимся данным Yang et al. Мы редко знаем настоящее дерево в филогенетическом анализе; однако в этом исследовании я выбрал два примера, в которых мы можем быть уверены в истинном дереве и тем самым проверить методы. В первом примере используются бактериальные гены 16S, где конвергентное композиционное притяжение заставляет неродственные клоны группироваться вместе Embley et al., 1993; Mooers and Holmes, 2000. Во втором примере укоренение внешней группы в генов Xdh из генов дрозофилы неверно или нестабильно, поскольку составы внешней и внутренней групп различаются Tarrío et al., 2000. Показательно, что дистанционный анализ с использованием LogDet/Паралинейных расстояний Steel, 1994; Локхарт и др., 1994; Lake, 1994 облегчают обе эти проблемы. Однако использование этих расстояний не является панацеей от проблем композиционной неоднородности Foster and Hickey, 1999; Tarrío et al., 2001. Кроме того, использование расстояний LogDet/Paralinear не позволяет нам рассчитать вероятность, и поэтому мы не можем использовать вероятности для сравнения результатов, полученных с помощью этого подхода, с результатами, полученными с помощью марковских моделей. Используемые в настоящее время модели по большей части являются однородными по дереву; однако были предложены некоторые модели, которые позволяют различать состав дерева Yang and Roberts, 1995; Галтье и Гуи, 1998 г.; Galtier et al., 1999. В них состав модели различается на каждой ветви дерева или на каждой конечной ветви. В модели Янга и Робертса N2 оценивается состав каждого нуклеотида на каждой ветви, поэтому для каждой ветви будет три свободных параметра. Модель Янга и Робертса N1 менее богата параметрами, поскольку все внутренние ветви имеют единую композицию.В модели Галтье и Гуи состав описывается содержанием GC и поэтому имеет только один параметр состава на ветвь. Эти подходы плохо масштабируются и в больших деревьях могут привести к чрезмерной параметризации. Здесь я подхожу к анализу бактериальных генов 16S и генов Xdh из Drosophila с использованием новых гетерогенных моделей, которые учитывают различия в составе дерева. Эти модели не требуют, чтобы каждая ветвь имела свой собственный состав, и поэтому могут учитывать неоднородность состава с несколькими дополнительными параметрами. МетодыФилогенетическая модель Я моделирую изменение характера как марковский процесс с непрерывным временем. Используя обозначения, подобные приведенным в Swofford et al. (1996) модель может быть полностью описана его мгновенной матрицей матрицы Q , где Q можно разложить на Q = R π — Diag ( R Π [1]), где [1] — вектор-столбец единиц, где диагональные элементы R равны нулю, а диагональная матрица 0 Π 6 — это diag( π ), где π — вектор пропорций состояний персонажей в модели. Я разрешаю различные параметры модели для данных. Матрица вероятностей P = e Q ν для данной ветви в дереве зависит от длины ветви ν.Вероятность сайта в выравнивании последовательностей ДНК может быть рассчитана по матрицам P для дерева с использованием алгоритма обрезки Фельзенштейна Felsenstein, 1981. Вероятность разделения данных является произведением вероятностей сайта и вероятности данных в целом является продуктом вероятностей разделов данных. Байесовский филогенетический анализАпостериорная вероятность деревьев и параметров модели с учетом данных была аппроксимирована с использованием методов MCMC. Был использован вариант MCMC, связанный с Метрополисом, с четырьмя цепочками, поскольку он дает хорошее смешивание параметров и древовидных топологий Huelsenbeck and Ronquist, 2001. Повсюду использовались плоские априорные значения. MCMC начинался со случайного дерева, и ему разрешалось работать до тех пор, пока значения вероятности цепочки не достигли плато.Сходимость проверяли путем сравнения консенсуса различных диапазонов отобранных деревьев и параметров после прожига. Типы перемещения включают «локальный» обмен ближайшими соседями (NNI), как описано в Larget and Simon, 1999. Здесь предлагаются два новых типа ходов. Композиции могут различаться по дереву, позволяя дереву иметь более одного вектора композиции.В этой реализации количество векторов композиции фиксировано для каждого анализа (очевидным улучшением было бы сделать количество векторов композиции свободным, но здесь этого не было сделано). Оценка соответствия модели В структуре максимального правдоподобия я использую версию теста Кокса Гольдмана для оценки общей адекватности Goldman, 1993; Whelan et al., 2001. Также в ML я использую описанный здесь тест соответствия композиции на основе дерева и модели, чтобы оценить соответствие композиции, подразумеваемой моделью, данным. Тест соответствия композиции на основе дерева и модели Я начну с изучения широко используемого теста X 2 на композиционную однородность. В этом тесте используется таблица непредвиденных обстоятельств или R × C составов таксонов по сравнению со средним составом. Этот тест использует статистику X 2 (в том смысле, в каком его использовали Sokal and Rohlf [1981], cf X 2 , что является распределением), и использует нулевое распределение X 2 df = ( R − 1) × ( C − 1) для оценки значимости.Общеизвестно, что этот тест не принимает во внимание корреляцию из-за родства таксонов на дереве (это предостережение распечатывается, когда этот тест выполняется с использованием PAUP * ; см. также Rzhetsky and Nei [1995]). Масштабы этой проблемы показаны на рисунке 1, где истинное нулевое распределение было создано путем моделирования на дереве из четырех таксонов. Рис. 1 Ошибка типа II в тесте на однородность состава X 2 Столбцы показывают распределение статистики X 2 для состава X 2 для четырех последовательностей ДНК, сгенерированных при моделировании тестов ДНК. Рис. 1 Ошибка типа II в тесте на однородность состава X 2 Столбики показывают распределения статистических данных X 2 для состава X 2 для состава X 1 тестов ДНК, сгенерированных при моделировании последовательностей ДНК 902 четырехтактное дерево с одинаковой длиной ветвей.![]() Поскольку ожидаемый состав исходит из среднего наблюдаемого состава, тест на композиционную однородность, описанный выше (как бы ни оценивалась его значимость), может считаться тестом на соответствие модели только в случае однородных моделей с эмпирическим составом; это не подходящий тест для моделей, допускающих композиционную неоднородность дерева. Композиция, подразумеваемая моделью, рассчитывается для тестируемого дерева, начиная с корня. Дан состав корневой модели. Состав для узлов выше корня может быть получен непосредственно из состава родителя узла и матрицы вероятностей P модели для ветви, ведущей к узлу, с учетом изменения скорости между узлами. Апостериорное прогностическое моделирование, где N – количество выборок i , отобранных во время MCMC, при которых параметры модели θ i , которые используются для моделирования наборов данных X i 9. Филогенетическое программное обеспечение Филогенетические анализы использовали PAUP * версии 4.0b10, MrBayes версии 2.01 и ModelTest версии 3.06 Swofford, 2002; Хюльзенбек и Ронквист, 2001 г.; Posada and Crandall, 1998. Моделирование, машинное обучение и байесовский анализ с гетерогенными моделями, апостериорное прогностическое моделирование, тесты SH и тесты на соответствие модели, используемые p4 (http://www. РезультатыКомпозиционная гетерогенность бактериальных генов 16SЯ начинаю с повторного анализа проблемного набора данных о бактериальных 16S-генах Embley et al., 1993; Mooers and Holmes, 2000. Наилучшей гипотезой для настоящего дерева является то, что Deinococcus и Thermus группируются вместе, исключая Bacillus, Thermotoga и Aquifex (рис. 2а). Deinococcus и Thermus имеют один и тот же тип пептидогликана и менахинона Murray, 1991.Кроме того, сигнатурные последовательности и филогенетический анализ на основе Ef-Tu, Hsp70 и группы RecA Deinococcus с Thermus Gupta, 1998; Эйзен, 1995. Рисунок 2 Композиционная привлекательность в бактериальных последовательностях 16S. Рисунок 2 Композиционная привлекательность в бактериальных последовательностях 16S. Ветви, ведущие к двум мезофилам, обозначены пунктирными линиями. (а) На основании других данных (см. текст) это дерево можно считать правильным. (б) Дерево, полученное с помощью большинства филогенетических методов, дерево «притяжения». Это выравнивание примечательно тем, что оно дает неверные результаты при использовании большинства филогенетических методов. Deinococcus и Thermus должны группироваться вместе, но вместо этого мы находим группу двух мезофилов Deinococcus и Bacillus (рис.2б). Ошибочная группировка этих двух таксонов согласуется с составами, показанными в таблице 1, где три термофила богаты GC, а два мезофила — в меньшей степени. Состав бактериальных генов 16S.
|

Состав бактериальных генов 16S.
. | А . | С . | Г . | Т . | . |
---|---|---|---|---|---|
Aquifex | 0,21 | 0,29 | 0,36 | 0,14 | термофилы |
Thermotoga | 0,21 | 0,28 | 0,36 | 0,15 | термофилы |
Термос | 0.22 | 0,28 | 0,36 | 0,15 | термофилы |
Deinococcus | 0,25 | 0,23 | 0,32 | 0,19 | мезофилы |
Bacillus | 0,25 | 0,24 | 0,32 | 0,19 | мезофилы |
.![]() | А . | С . | Г . | Т . | . |
---|---|---|---|---|---|
Aquifex | 0,21 | 0,29 | 0,36 | 0,14 | термофилы |
Thermotoga | 0,21 | 0,28 | 0,36 | 0,15 | термофилы |
Термус | 0,22 | 0,28 | 0.36 | 0,15 | термофилы |
Deinococcus | 0,25 | 0,23 | 0,32 | 0,19 | мезофилы |
Bacillus | 0,25 | 0,24 | 0,32 | 0,19 | мезофилы |
Выбор модели максимального правдоподобия, филогенетический анализ и оценка соответствия модели
Пять сайтов с пробелами в выравнивании были исключены из анализа, осталось 1287 сайтов. С помощью ModelTest была выбрана модель GTR + Γ (общая обратимая во времени матрица скорости с дискретным гамма-распределением вариации скорости между сайтами), а дерево максимального правдоподобия (ML) для этой модели (рис. 2b) было найдено с использованием исчерпывающего поиск. Разница ln L между истинным деревом и деревом притяжения составляет 1,8, что не является значимым по тесту RELL Симодайры-Хасэгавы (SH) ( P = 0,44). Это дерево не проходит тест на соответствие дереву и модели на основе композиции (см. Методы; P < 0.005), а также данные не проходят тест на однородность состава X 2 . Кроме того, это дерево и модель не проходят тест Голдмана-Кокса (рис. 3; P < 0,005), тест на общую адекватность модели Голдмана, 1993 г.
Рисунок 3
Критерий Гольдмана-Кокса для однородной модели. Было протестировано ML-дерево в рамках однородной модели GTR + Γ (рис. 2б). Статистика δ представляет собой разницу между оптимизированным логарифмическим правдоподобием и неограниченным или полиномиальным логарифмическим правдоподобием данных. Стрелка показывает положение δ для исходных данных. Столбцы представляют собой нулевое распределение, сгенерированное 200 симуляциями в дереве машинного обучения, за каждой из которых следует оптимизация длин ветвей и параметров модели. Поскольку статистика для исходных данных находится далеко за пределами нулевого распределения, дерево машинного обучения не проходит этот тест ( P < 0,005), показывая, что эта однородная модель неадекватно описывает данные
Рисунок 3
Критерий Голдмана-Кокса для однородной модели.Было протестировано ML-дерево в рамках однородной модели GTR + Γ (рис. 2б). Статистика δ представляет собой разницу между оптимизированным логарифмическим правдоподобием и неограниченным или полиномиальным логарифмическим правдоподобием данных. Стрелка показывает положение δ для исходных данных. Столбцы представляют собой нулевое распределение, сгенерированное 200 симуляциями в дереве машинного обучения, за каждой из которых следует оптимизация длин ветвей и параметров модели. Поскольку статистика для исходных данных находится далеко за пределами нулевого распределения, дерево машинного обучения не проходит этот тест ( P < 0.005), показывая, что эта гомогенная модель неадекватно описывает данные
Поскольку данные неоднородны по составу, разумно моделировать их с помощью гетерогенной модели, и я начну с N1-подобной модели Yang and Roberts, 1995. В его первоначальная реализация, модель N1, является производной от модели HKY85 Hasegawa et al., 1985 с гамма-распределенными скоростями и параметром κ перехода-трансверсии для всего дерева. В модели N1 каждой конечной ветви дается свой оптимизируемый вектор состава.Все внутренние ветви вместе получают другой оптимизируемый вектор композиции, а корень — другой. В этой нестационарной модели на вероятность влияет положение корня. Настоящая реализация аналогична, за исключением того, что используется модель GTR + Γ для всего дерева с разветвляющимся корнем (т. Е. Вероятность оценивается с корнем дерева во внутреннем разветвляющемся узле) без отдельной корневой композиции. Когда в этой модели нет отдельной корневой композиции, положение корня среди трех возможных внутренних корней не влияет на вероятность.При оценке только двух деревьев на рисунке 2 дерево ML теперь является истинным деревом, а логарифмическая вероятность дерева притяжения теперь хуже на 19,1, что является значимой разницей ( P = 0,02) по тесту SH. В соответствии с этой моделью дерево машинного обучения проходит как тест на соответствие композиции на основе дерева, так и на основе модели ( P = 0,96), а также тест Гольдмана-Кокса на общую адекватность модели ( P = 0,25), оба из которых данные потерпели неудачу с однородной моделью.
По сравнению с однородной моделью эта модель имеет 15 дополнительных параметров и увеличивает логарифмическую вероятность на 90.7 с использованием настоящего дерева. Поскольку это вложенные модели, значение этого увеличения можно оценить, используя приближение X 2 к нулевому распределению удвоенного логарифмического отношения правдоподобия со степенями свободы, равными разнице в числе свободных параметров. По этому тесту увеличение очень значимо ( P ≈ 0).
Каким бы значительным это ни было, такое увеличение соответствия модели достигается за счет множества дополнительных параметров, и их может быть больше, чем необходимо для адекватного моделирования этих данных.Поскольку композиции делятся на две группы (таблица 1), мы можем задаться вопросом, может ли модель из двух частей адекватно моделировать эти данные. Мы размещаем векторы состава на двух деревьях, используя образец сплошной/пунктирной линии на рисунке 2, так что ветви, ведущие к мезофилам, получают одну оптимизируемую композицию, а оставшиеся ветви (и корень) получают другую. Используя эту модель, дерево ML снова является истинным деревом, дерево притяжения значительно хуже по тесту SH ( P = 0,03), и модель проходит как тест дерева, так и тест на соответствие композиции на основе модели ( P ). = 0.86) и тест Гольдмана-Кокса ( P = 0,09). По сравнению с однородной моделью двухчастная модель имеет только три дополнительных параметра, но дает увеличение логарифмической правдоподобия на 84,2, что опять-таки очень значимо ( P ≈ 0). Если мы сравним модель, состоящую из двух частей, с моделью, подобной N1, увеличение логарифмического правдоподобия составит всего 6,5 за счет 12 дополнительных параметров, что является незначительной разницей ( P = 0,37). Можно сделать вывод, что хотя обе эти гетерогенные модели восстанавливают истинное дерево и обе адекватно моделируют данные, дополнительные параметры модели, подобной N1, в данном случае не стоят затрат.
Размещение параметров композиции на дереве
В приведенном выше примере решение о том, какие ветви связаны с двумя векторами композиции в древовидной гетерогенной модели, было принято путем проверки. Расположение композиций на дереве было таким, как показано на рис. 2, где ветви, показанные пунктиром, получают одну композицию, а оставшиеся ветви — другую. Существуют и другие вероятные варианты расположения композиций на двух деревьях, примеры которых показаны на рисунке 4.Есть много других возможных, хотя и менее правдоподобных, расположений двух векторов композиции на двух деревьях, и если рассматривать другие топологии деревьев, то количество возможностей усугубляется. Полное изучение всех возможностей было бы слишком затратным с вычислительной точки зрения для всех наборов данных, кроме самых маленьких.
Рисунок 4
Расположение параметров композиции на деревьях. Пунктирные линии показывают расположение состава для мезофилов, сплошные линии показывают расположение состава для термофилов (а и б). Это истинная топология с двумя правдоподобными расположениями двух векторов состава.(a) Расположение, показанное на рисунке 2, и расположение, показанное здесь, является расположением ML. (c и d) То же, что (a) и (b), для дерева притяжения.
Рисунок 4
Расположение параметров композиции на деревьях. Пунктирные линии показывают расположение состава для мезофилов, сплошные линии показывают расположение состава для термофилов (а и б). Это истинная топология с двумя правдоподобными расположениями двух векторов состава. (a) Расположение, показанное на рисунке 2, и расположение, показанное здесь, является расположением ML.(c и d) То же, что (a) и (b), для дерева притяжения.
Решение этой проблемы состоит в том, чтобы проанализировать филогению в байесовской структуре с использованием MCMC для аппроксимации апостериорного распределения вероятностей и позволить MCMC разместить векторы состава на деревьях. Предложения в MCMC включают изменения в состав, матрицы скорости, параметры скорости между сайтами, топологию и длину ветвей, как и в случае однородной модели. Дополнительное предложение, позволяющее каждой ветви выбирать среди доступных векторов композиции, решает сложную проблему того, как лучше расположить их на дереве.Параметры композиции свободны, даже если имеется более одного вектора композиции. Такой анализ одновременно исследует плотности апостериорной вероятности топологий деревьев, параметры модели и размещение векторов композиции на деревьях.
Дополнительная сложность заключается в том, что если параметры модели различаются по внутренним ветвям, то вероятность зависит от корня, и по этой причине я использовал дополнительное предложение MCMC об изменении положения корня внутреннего узла с раздвоением.
Байесовский анализ данных бактериального 16S с использованием гомогенной модели приводит к тому, что дерево притяжения (рис. 2b) является наиболее вероятным, при этом разделение на два мезофила имеет апостериорную вероятность 0,86, а другое разделение — на Thermotoga. и Aquifexz с апостериорной вероятностью 1,0. Анализ с двухкомпонентной гетерогенной моделью состава приводит к тому, что истинное дерево (рис. 2а) является наиболее вероятным, причем оба расщепления имеют апостериорную вероятность 1.0. Повторяющиеся прогоны, начиная с разных случайных топологий дерева и начального размещения двух векторов композиции, сходятся к топологии дерева, показанной на рисунке 2а, с двумя векторами композиции, расположенными так, как показано на этом рисунке сплошной штриховой линией. После обжига деревья практически все время сохраняли такое расположение композиции. Это говорит о том, что линия Deinococcus и Thermus была более термофильной, чем мезофилоподобной (рис. 4а, cf , рис.4б).
Байесовские тесты на соответствие модели данным
Соответствие модели можно оценить в рамках байесовской модели, используя апостериорное прогностическое распределение некоторой тестовой величины на основе данных, смоделированных с помощью модели, и сравнивая ее с тестовой величиной на основе исходных данных Gelman et al., 1995; Хюльзенбек и др., 2001; Bollback, 2002. Этот подход основан на идее, что данные, смоделированные в рамках подходящей модели, должны быть аналогичны исходным данным.Для измерения этого сходства были предложены две тестовые статистики: безусловная или полиномиальная вероятность данных и составная статистика X 2 Huelsenbeck et al., 2001; Bollback, 2002.
Моделирование апостериорного прогноза для бактериального анализа 16S показано на рисунке 5. Полиномиальное правдоподобие (рис. 5a и b) не различает однородную и двухкомпонентную модели. Для однородной модели вероятность области хвоста равна 0,26, а для модели, состоящей из двух частей, вероятность области хвоста равна 0. 37. Эта тестовая статистика, по-видимому, указывает на то, что обе модели соответствуют данным; однако из приведенного выше теста Гольдмана-Кокса мы знаем, что однородная модель соответствует , а не . Похоже, что полиномиальное правдоподобие имеет ограниченную полезность в качестве тестовой статистики в этом контексте.
Рисунок 5
Апостериорные прогностические распределения бактериального 16S. Стрелки показывают количество тестов из исходных данных. Панели (a) и (b) показывают тест соответствия модели с использованием неограниченной или полиномиальной вероятности.На панели (а) показано тестовое количество, полученное путем моделирования с использованием однородной модели. На панели (б) показано тестовое количество для гетерогенной модели, состоящей из двух частей. Используя это тестовое количество, поскольку тестовое количество из исходных данных попадает в оба распределения, кажется, что обе модели соответствуют данным. На панелях (c) и (d) показан тест на соответствие модели с использованием X 2 в качестве тестовой величины. На панели (c) показаны тестовые количества для моделирования с использованием однородной модели и заметное отсутствие соответствия модели.На панели (d) показано тестовое количество для моделирования в рамках гетерогенной модели, состоящей из двух частей, которая соответствует данным. Стрелки показывают количество тестов из исходных данных. Панели (a) и (b) показывают тест соответствия модели с использованием неограниченной или полиномиальной вероятности. На панели (а) показано тестовое количество, полученное путем моделирования с использованием однородной модели. На панели (б) показано тестовое количество для гетерогенной модели, состоящей из двух частей.Используя это тестовое количество, поскольку тестовое количество из исходных данных попадает в оба распределения, кажется, что обе модели соответствуют данным. На панелях (c) и (d) показан тест на соответствие модели с использованием X 2 в качестве тестовой величины. На панели (c) показаны тестовые количества для моделирования с использованием однородной модели и заметное отсутствие соответствия модели.
На панели (d) показано тестовое количество для моделирования в рамках гетерогенной модели, состоящей из двух частей, которая соответствует данным
. Подгонка композиции показана на рисунках 5c и d с использованием тестовой статистики X 2 , то же самое. как используется в тесте X 2 на композиционную однородность.Здесь X 2 для исходных данных равно 47,8. Данные, смоделированные по однородной модели, имеют малые значения X 2 и явно отличаются от исходных данных (рис. 5в). Однако при использовании модели, состоящей из двух частей, распределение X 2 из смоделированных данных намного больше, а X 2 из исходных данных находится в пределах апостериорного прогностического распределения (рис. 5d; вероятность области хвоста = 0,35), показывая этим тестом, что состав модели соответствует составу данных.В отличие от полиномиального правдоподобия, X 2 представляется полезной проверочной величиной для определения соответствия состава модели.
Ксантиндегидрогеназа из
Drosophila В качестве второго примера я обращаюсь к анализу Tarrío et al. (2000), которые показали, что укоренение внешней группы с геном Xdh не смогло найти предпочтительный корень групп Drosophila saltans и Drosophila willistoni.Положение корня 1 на фиг. 6 является предпочтительным корнем на основе морфологии и делеции интрона в гене Adh , который специфичен для группы willistoni . Используя только внутреннюю группу, была получена удовлетворительная филогения, подтверждающая известные отношения, полученные из морфологических признаков. Однако при добавлении к анализу таксонов внешней группы положение корня внутренней группы становилось неустойчивым и менялось в зависимости от модели или метода анализа (рис. 6).Вину за эту нестабильность возлагали на различия в составе таксонов, особенно между внешней и внутренней группами, и действительно, данные не прошли тест на состав X 2 . Анализ на основе расстояний с использованием LogDet/паралинейных расстояний, который может преодолеть композиционную неоднородность, находит корень 1.
Рисунок 6
Укоренение групп Drosophila saltans и willistoni . Изменено из Tarrio et al. (2000), рис. 1.Внешняя группа — D. melanogaster, D. pseudoobscura и D. virilis . Различными методами были обнаружены четыре различных корня, точки присоединения чужой группы к своей группе, обозначенные цифрами от 1 до 4. Корни с 1 по 3 были отмечены в Tarrío et al. (2000), а корень 4 взят из настоящего исследования. Предпочтительный корень, как показано, корень 1
Рис. Изменено из Tarrio et al. (2000), рис. 1.Внешняя группа — D. melanogaster, D. pseudoobscura и D. virilis . Различными методами были обнаружены четыре различных корня, точки присоединения чужой группы к своей группе, обозначенные цифрами от 1 до 4. Корни с 1 по 3 были отмечены в Tarrío et al. (2000), а корень 4 взят из настоящего исследования. Предпочтительный корень, как показано, корень 1
. Я начинаю повторный анализ этих данных с выбора модели, произвольно используя дерево с корнем в позиции 1 на рисунке 6, ожидая, что другие корни не повлияют на наш выбор модели.Подтверждая, что Tarrío et al. (2000), из моделей, доступных в PAUP * , модель GTR оказалась наиболее подходящей общей матрицей скорости, а основанная на кодонах сайт-специфическая модель (SS) наилучшим образом учитывала неоднородность скорости между сайтами (табл. 2). Эта модель не проходит тест Гольдмана-Кокса, и ни одно из трех положений кодона не проходит тест соответствия композиции на основе дерева и модели. Используя PAUP * , поиск дерева ML с использованием модели GTR + SS находит дерево с корнем 2, поддерживая Tarrío et al.(2000). Байесовский анализ с использованием MrBayes также находит корень 2 либо с помощью модели GTR + SS, либо с помощью модели GTR + SSΓ; в последнем каждому разделу кодона дается свое собственное гамма-распределение вариации скорости между сайтами.
Выбор модели Xdh . Дерево с внешней группой, укорененной в позиции 1 на рис. 6, оценивалось с различной адаптацией показателей между сайтами, все с использованием матрицы оценок GTR. Δ — разница L между указанной моделью и моделью, в которую он вложен как частный случай.Среди параметров скорости сайтов есть I, доля инвариантных сайтов, Γ, дискретные гамма-распределенные скорости вариабельных сайтов и SS, специфическая для сайта модель, в которой трем классам позиций кодонов разрешены свои собственные скорости. Общий состав оценивался по максимальному правдоподобию во всех случаях. Модель SS, безусловно, является лучшей из представленных на сайте вариантов размещения.
Колебания ставок между площадками . | л л . | Δ . | Параметры . |
---|---|---|---|
— | -15606,8 | 8 | |
Я -14743,5 | 910,6 9 | ||
I + Г | −14673,4 | 22,8 | 10 |
СС | −14264.3 | 1342,5 | 10 |
Варьирование ставок между сайтами . | л л . | Δ . | Параметры . | |
---|---|---|---|---|
— | —15606.8 | 8 | ||
I | -14743.59 | 863.2 | 863.2 | 9 |
γ | -14696.2 | 910,6 91 4719 | ||
I + Γ | -14673,4 22,8 91 471 | 10 | ||
СС -14264,3 | 1342,5 91 47110 |
Таблица 2 XDH модель выбор. Дерево с внешней группой, укорененной в позиции 1 на рис. 6, оценивалось с различной адаптацией показателей между сайтами, все с использованием матрицы оценок GTR. Δ — разница L между указанной моделью и моделью, в которую он вложен как частный случай.Среди параметров скорости сайтов есть I, доля инвариантных сайтов, Γ, дискретные гамма-распределенные скорости вариабельных сайтов и SS, специфическая для сайта модель, в которой трем классам позиций кодонов разрешены свои собственные скорости. Общий состав оценивался по максимальному правдоподобию во всех случаях. Модель SS, безусловно, является лучшей из представленных на сайте вариантов размещения.
Колебания ставок между площадками . | л л . | Δ . | Параметры . |
---|---|---|---|
— | -15606,8 | 8 | |
Я -14743,5 | 863,2 9 | ||
Γ -14696,2 | 22,8 | 10 | |
СС | −14264.3 | 1342,5 | 10 |
Варьирование ставок между сайтами . | л л . | Δ . | Параметры . | |
---|---|---|---|---|
— | —15606.8 | 8 | ||
I | -14743.59 | 863.2 | 863.2 | 9 |
γ | -14696.2 | +910,6 | ||
I + Γ | -14673,4 + | 22,8 | 10 | |
СС -14264,3 | +1342,5 | 10 |
Из таблицы 2 видно, что важно позволить трем позициям кодонов иметь свои собственные специфичные для сайта скорости. Таррио и др. (2000) указали, что три позиции кодонов также заметно различаются по своему основному составу. Поэтому разумно задаться вопросом, стоит ли разрешение различных композиций или даже матриц скоростей в каждой позиции кодона затрат на дополнительные параметры.Если каждому положению кодона разрешен свой собственный состав, за счет шести дополнительных параметров ln L увеличивается на 49,7, что является очень значимым ( P ≈ 0). Если вдобавок мы допустим для каждой позиции кодона свою собственную матрицу скоростей GTR, за счет дополнительных 10 параметров, ln L увеличится на 70,7, что снова является очень значимым ( P ≈ 0). Поэтому каждому положению кодона были даны независимые матрицы скорости GTR и состав, а также скорости разделения.
Изменчивость скорости между сайтами исследовали в трех положениях кодона. Я протестировал все комбинации с использованием доли инвариантных сайтов (I), вариабельных сайтов с гамма-распределением (Γ), как I, так и Γ, а также отсутствия вариаций скорости между сайтами. Комбинация Γ + ΓI + Γ была выбрана потому, что у нее был самый низкий показатель AIC Akaike, 1974.
На данный момент наиболее подходящей моделью является модель, в которой матрица ставок, состав и параметры неоднородности скоростей в разных местах являются свободными в каждой из трех позиций кодона.Теперь эта модель проходит тест Голдмана-Кокса. Граница теста соответствия композиции на основе дерева и модели не проходит для первой позиции кодона ( P = 0,03), проходит для второй позиции кодона ( P = 0,91) и заметно не проходит для третьей позиции ( P < 0,01).
Байесовский анализ с этой моделью показывает, что дерево с корнем 4 имеет наибольшую апостериорную вероятность. Апостериорное прогностическое моделирование можно использовать для проверки соответствия этой модели (рис. 7). Статистика X 2 , используемая для демонстрации соответствия композиции модели, показывает пограничное несоответствие в первой позиции, хорошее соответствие во второй и явно плохое соответствие в третьей, что согласуется с древовидной структурой. и вышеприведенный тест на соответствие композиции на основе модели.
Рисунок 7
Подгонка состава байесовской модели, оцененная с использованием апостериорного прогностического моделирования. В модели использовалась отдельная матрица скоростей GTR, состав и неоднородность скоростей между сайтами в каждом из 3 положений кодона, однородных по дереву. Столбцы показывают распределение X 2 в апостериорном прогнозирующем моделировании (а) для первого положения кодона, (б) второго положения кодона и (в) для третьего положения кодона. Стрелки показывают реализованные X 2 исходные данные для каждой позиции кодона
Рисунок 7
Подгонка состава байесовской модели, оцененная с использованием апостериорного прогностического моделирования.В модели использовалась отдельная матрица скоростей GTR, состав и неоднородность скоростей между сайтами в каждом из 3 положений кодона, однородных по дереву. Столбцы показывают распределение X 2 в апостериорном прогнозирующем моделировании (а) для первого положения кодона, (б) второго положения кодона и (в) для третьего положения кодона. Стрелки показывают реализованные X 2 для исходных данных для каждой позиции кодона
Использование полиномиального логарифмического правдоподобия в апостериорном прогностическом моделировании (не показано) дает вероятность области хвоста p t = 0.311 для первой позиции кодона, 0,18 для второй позиции и 0,052 для третьей позиции, и поэтому не указывает на несоответствие этой модели, хотя значение p t является пограничным для третьей позиции. Однако, как и в приведенном выше бактериальном анализе 16S, мы можем скептически относиться к этому результату, поскольку выше приведены доказательства того, что модельный состав не подходит.
Очевидно, что композиционная неоднородность в третьей позиции должна быть учтена в модели.Это делается, как и в бактериальном анализе 16S выше, путем добавления дополнительных векторов параметров состава, которым разрешено перемещаться между ветвями дерева во время MCMC. Поскольку положение общего корня может повлиять на вероятность неоднородности модели во внутренних ветвях, положение общего корня также было разрешено перемещать во время MCMC. (Здесь общий корень всего анализа отличается от корневой позиции внешней группы, пронумерованной, как на рис.6.) Когда гетерогенный состав был размещен в модели, позиция корня внешней группы 1, предпочтительный корень, была восстановлена (рис. 8) вместе со значительно улучшенным соответствием модели композиции в третьей позиции (рис. 8 ). см. рис. 7).
Рисунок 8
Байесовские тесты соответствия композиции, в которых композиция различается по дереву. В модели использовалась отдельная матрица скоростей GTR, состав и неоднородность скоростей между сайтами в каждом из трех положений кодона.Только для третьего положения кодона композиция соответствовала (а) двум, (б) трем, (в) четырем и (г) пяти векторам параметров композиции. На левых панелях показаны результаты апостериорного прогностического моделирования с использованием статистики композиции X 2 , где статистика для исходных данных показана стрелкой. Вероятности площади хвоста p t для этих анализов составляют 0,002, 0,077, 0,137 и 0,256 для панелей (a), (b), (c) и (d) соответственно.Панели справа показывают процент поддержки апостериорной вероятности корневой позиции 1 внешней группы. Апостериорная вероятность разделения на внешнюю группу во всех случаях составляла 100%.
Рисунок 8
Байесовские тесты соответствия композиции, в которых композиция различается по дереву. В модели использовалась отдельная матрица скоростей GTR, состав и неоднородность скоростей между сайтами в каждом из трех положений кодона. Только для третьего положения кодона композиция соответствовала (а) двум, (б) трем, (в) четырем и (г) пяти векторам параметров композиции.На левых панелях показаны результаты апостериорного прогностического моделирования с использованием статистики композиции X 2 , где статистика для исходных данных показана стрелкой. Вероятности площади хвоста p t для этих анализов составляют 0,002, 0,077, 0,137 и 0,256 для панелей (a), (b), (c) и (d) соответственно. Панели справа показывают процент поддержки апостериорной вероятности корневой позиции 1 внешней группы. Апостериорная вероятность разделения на внешнюю группу во всех случаях составляла 100%.
Когда используются два вектора состава, корень 1 внешней группы восстанавливается с высокой достоверностью, даже если модель показывает несоответствие (рис. 8a). Когда используются три вектора состава, кажется, что состав модели теперь соответствует данным; однако наблюдается неожиданное уменьшение поддержки корня 1 (рис. 8б). Когда добавляются дополнительные векторы композиции, соответствие композиции увеличивается, и поддержка корня 1 снова увеличивается (рис. 8c и d). По мере улучшения соответствия модели можно было бы ожидать постоянного увеличения поддержки правильного корня, и поэтому эта необычная тенденция заслуживает комментария.Как упоминалось выше, корень всего анализа можно было изменить во время MCMC. Когда использовались два вектора состава, общий корень обычно располагался внутри группы saltans , но когда использовались три или более векторов состава, общий корень обычно располагался внутри внешней группы. Следовательно, оказывается, что неожиданно высокая поддержка для корня 1 внешней группы при использовании двух векторов состава зависит от общего корня.
Обсуждение
Предыдущие модели, которые позволяли варьировать композицию по дереву, имели свободные параметры композиции на каждой ветви или на каждой конечной ветви дерева Yang and Roberts, 1995; Галтье и Гуи, 1998 г.Это плохо масштабируется, потому что большие деревья будут иметь много параметров. Основываясь на представлении о том, что если композиционная неоднородность существует, она может быть локализована в части дерева, я разработал модели, которые не требуют, чтобы каждая ветвь дерева имела различный состав. С помощью этого подхода можно создать простую модель, которая имеет только два вектора параметров состава на дереве, как это было сделано с бактериальными данными 16S. Если двух векторов состава недостаточно для адекватного моделирования данных, как в случае с примером Xdh , то можно добавить больше векторов состава, пока модель не будет соответствовать. Сам процесс добавления или удаления параметров может быть частью MCMC, хотя в данном исследовании этого не делалось Huelsenbeck et al., 2000; Сучард и др., 2001; Green, 1995.
Это исследование также было сосредоточено на оценке общего соответствия модели и соответствия состава модели данным с использованием методов машинного обучения и байесовского метода. В контексте машинного обучения тест Голдмана-Кокса использовался для оценки общего соответствия. Этот тест был достаточно чувствительным, чтобы показать отсутствие соответствия гомогенной модели с бактериальным 16S.Однако он не был достаточно чувствительным, чтобы показать несоответствие древовидной однородной модели с использованием Xdh , хотя эти данные не прошли тест композиции X 2 . В байесовском контексте для оценки соответствия модели использовалось апостериорное прогностическое моделирование. В качестве тестовых величин для этой цели были предложены мультиномиальное правдоподобие и состав статистики X 2 Huelsenbeck et al. , 2001; Bollback, 2002. Композиция X 2 статистика была полезна в настоящем исследовании.Однако полиномиальная вероятность не оказалась полезной в этом исследовании и не была чувствительна к отсутствию соответствия модели ни в одном из использованных примеров. Полиномиальное правдоподобие может показать плохо подходящую модель в более крайних случаях, и это, вероятно, имело место в приведенных примерах (например, рис. 3B в Huelsenbeck et al., 2001).
Во многих случаях, когда между линиями наблюдается неоднородность состава, филогенетический сигнал является сильным и не подавляется проблемами с составом Conant and Lewis, 2001; Розенберг и Кумар, 2003 г.Я использовал здесь два примера, когда композиционные проблемы действительно влияют на анализ, действительно подавляют филогенетический сигнал и требуют учета композиционной неоднородности в модели, чтобы можно было увидеть лежащий в основе филогенетический сигнал.
Благодарности
Спасибо Мартину Эмбли за выравнивание бактерий 16S и Франсиско Родригес-Треллесу за выравнивание дрозофилы Xdh . Спасибо Крису Саймону, Теду Шульцу, Майку Стилу и Брету Ларге за множество полезных предложений.Особая благодарность Брету Ларже за уточнение обозначений матриц ставок модели.
Каталожные номера
Акаике
Х.
.1974
.Новый взгляд на идентификацию статистической модели IEEE Trans
.Автомат. контр.
19
:716
–723
.
Боллбэк
J. P.
.2002
.Адекватность байесовской модели и выбор в филогенетике
.мол. биол. Эвол.
19
:1171
–1180
.
Conant
G.C.
,Lewis
P.O.
.2001
.Влияние предвзятости нуклеотидного состава на успех критерия экономии в филогенетическом выводе Mol
.Биол. Эвол.
18
:1024
–1033
.
Эйзен
Дж. А.
.1995
.Белок RecA как модельная молекула для молекулярно-систематических исследований бактерий: сравнение деревьев RecAs и 16S рРНК одного и того же вида
.
Дж. Мол. Эвол.
41
:1105
–1123
.
Эмбли
Т. М.
,Томас
Р. Х.
,Уильямс
Р. А. Д.
.1993
.Уменьшенная термофильная предвзятость в последовательности 16S рДНК из Thermus ruber обеспечивает дополнительную поддержку родства между Thermus и Deinococcus Syst
.Заяв. микробиол.
16
:25
–29
.
Фельзенштейн
Дж.
.1981
.Эволюционные деревья из последовательностей ДНК: метод максимального правдоподобия
.Дж. Мол. Эвол.
17
:368
–376
.
Фостер
П. Г.
,Хикки
Д. А.
.1999
.Смещение состава может влиять как на ДНК, так и на белковую филогенетическую реконструкцию
.Дж. Мол. Эвол.
48
:284
–290
.
Галтье
Н.
,Гуи
М.
.1998
.Схема и процесс вывода: максимально правдоподобная реализация неоднородной модели эволюции последовательности ДНК для филогенетического анализа Mol
.
Биол. Эвол.
15
:871
–879
.
Галтье
Н.
,Турасс
Н.
,Гуи
М.
.1999
.Негипертермофильный общий предок существующих форм жизни Наука
283
:220
–221
.
Гельман
А.Б.
,Карлин
Дж.С.
,Штерн
Х.С.
,Рубин
90.002 Д.03 Б.1995
.Байесовский анализ данных
Лондон
.Чепмен и Холл/CRC
.
Голдман
Н.
.1993
.Статистические испытания моделей замены ДНК
.Дж. Мол. Эвол.
36
:182
–198
.
Goldman
Н.
,Андерсон
Дж. П.
,Родриго
А. Г.
.2000
.Вероятностные тесты топологий в филогенетике Syst
.Биол.
49
:652
–670
.
Зеленый
П. Дж.
.1995
.
Расчет Монте-Карло цепи Маркова с обратимым скачком и определение байесовской модели
.Биометрика
82
:711
–732
.
Гупта
Р. С.
.1998
.Белковые филогении и сигнатурные последовательности: переоценка эволюционных взаимоотношений между архебактериями, эубактериями и эукариотами
.Микробиолог. Мол. биол.
62
:1435
–1491
.
Хасэгава
М.
,Кишино
Х.
,Яно
Т.
.1985
.Датировка расщепления человеко-обезьяны по молекулярным часам митохондриальной ДНК
.Дж. Мол. Эвол.
22
:160
–174
.
Huelsenbeck
J. P.
,Larget
B.
,Swofford
D.
.2000
.Сложный пуассоновский процесс для релаксации молекулярных часов
.Генетика
154
:1879
–1892
.
Хюльзенбек
Дж. П.
Раннала
Б.
.1997
.Филогенетические методы достигают совершеннолетия: проверка гипотез в эволюционном контексте
.Наука
276
:227
–232
.
Huelsenbeck
J. P.
,Ronquist
F.
.2001
.MrBayes: байесовский вывод филогенетических деревьев
.Биоинформатика
17
:754
–755
.
Huelsenbeck
J. P.
,Ronquist
F.
,Nielsen
R.
,Bollback
3 J.02001
.Байесовский вывод о филогении и его влияние на эволюционную биологию
.Наука
294
:2310
–2314
.
Джукс
Т.
,Кантор
К.
.Мунро
Х.
.1969
.Эволюция белковых молекул
.Белковый метаболизм млекопитающих
Нью-Йорк
.Academic Press
,21
–132
.
Озеро
Дж. А.
.1994
.Реконструкция эволюционных деревьев из последовательностей ДНК и белков: паралинейные расстояния
.Проц. Натл. акад. науч. США
91
:1455
–1459
.
Ларгет
Б.
,Саймон
Д. Л.
.1999
.Цепь Маркова Алгоритмы Монте-Карло для байесовского анализа филогенетических деревьев
.мол. биол. Эвол.
16
:750
–759
.
Lockhart
P. J.
,How
C. J.
,C. J.
,BRYANT
D. A.
,BUBLALLAND
T. J.
,LARKUM
A.В.
.1992
.Ошибка замещения искажает вывод о происхождении цианеллы на основании данных о последовательности
.Дж. Мол. Эвол.
34
:153
–162
.
Локхарт
П. Дж.
,Сталь
М. А.
,Хенди
М. Д.
,Пенни
2 Д.

1994
.Восстановление эволюционных деревьев в рамках более реалистичной модели эволюции последовательности
.мол. биол. Эвол.
11
:605
–612
.
Лопес
П.
,Казане
Д.
,Филипп
Х.
.2002
.Гетеротахия, важный процесс эволюции белков
.мол. биол. Эвол.
19
:1
–7
.
Мурс
А. Ø.
,Холмс
Э. К.
.2000
.Эволюция основного состава и филогенетический вывод Тенденции
.Экол. Эвол.
15
:365
–369
.
Мюррей
RGE
.BALAWS
A.
,TRÜPER
,H. G.
,H. G.
,DWORKIN
M.
,SIDER
W.
,SCHLEIFER
K.-H.
.1991
.Семейство Deinococcaceae
.Прокариоты
vol.4
:Лондон
.Спрингер
,3733
–3744
.
Пенни
Д.
,Маккомиш
Б.Дж.
,Чарльстон
М.А.
,Хенди
М.0.3 Д.
2001
.Математическая элегантность в сочетании с биохимическим реализмом: ковариионная модель молекулярной эволюции
.Дж. Мол. Эвол.
53
:711
–723
.
Посада
Д.
,Крэндалл
К. А.
.1998
.ModelTest: Тестирование модели замещения ДНК
.Биоинформатика
14
:817
–818
.
Розенберг
М. С.
,Кумар
С.
.2003
.Неоднородность частот нуклеотидов среди эволюционных линий и филогенетический вывод
.мол. биол. Эвол.
20
:610
–621
.
Ржецкий
А.
,Ней
М.
.1995
.Испытания применимости нескольких моделей замещения для данных о последовательностях ДНК
. мол. биол. Эвол.
12
:131
–151
.
Сокал
Р. Р.
,Рольф
Ф. Дж.
.1981
.Биометрия
2-е изд.Вт.ч. Фримен
.
Сталь
М. А.
.1994
.Восстановление дерева по окраске листьев, которую оно генерирует в рамках марковской модели Прикладной
.Буквы по математике
7
:19
–24
.
Сушард
М. А.
,Вайс
Р. Э.
,Зиншаймер
Дж. С.
.2001
.Байесовский выбор эволюционных моделей цепи Маркова с непрерывным временем
.мол. биол. Эвол.
18
:1001
–1013
.
Салливан
Дж.
,Своффорд
Д. Л.
.1997
.Являются ли морские свинки грызунами? Важность адекватных моделей в молекулярной филогенетике
.J. Млекопитающее. Эвол.
4
:77
–86
.
Своффорд
Д. Л.
2002
.ПУП * . Филогенетический анализ с использованием бережливости (* и другие методы), Версия 4
Сандерленд, Массачусетс
.Синауэр Ассошиэйтс
.
Swofford
D. L.
,Olson
G. J.
,Waddell
P. J.
,Hillis
9.0 M 3 .0 90 D.Хиллис
Д. М.
,Мориц
Г.
,Мейбл
Б. К.
.Филогенетический вывод
.1996
.Молекулярная систематика
2-е изд.Сандерленд, Массачусетс
.Sinauer Associates
,407
–514
..
Tarrío
R.
,Rodriguez-Trelles
F.
,Ayala
F. J.
.2000
.Укоренение дерева с внешними группами, когда они отличаются по своему нуклеотидному составу от внутренней группы: группы Drosophila saltans и willistoni, тематическое исследование
.мол. Филогенет. Эвол.
16
:344
–349
.
Таррио
Р.
,Родригес-Треллес
Ф.
,Айяла
Ф. Дж.
.2001
.Общие отклонения в составе нуклеотидов среди видов и их влияние на филогенетические реконструкции Drosophilidae
.мол. биол. Эвол.
18
:1464
–1473
.
Whelan
S.
,Liò
P.
,Goldman
N.
.2001
.Молекулярная филогенетика: современные методы изучения прошлого
.Тенденции Жене.
17
:262
–272
.
Ян
З.
.1996
.Модели максимального правдоподобия для комбинированного анализа данных нескольких последовательностей
.Дж. Мол. Эвол.
42
:587
–596
.
Ян
З.
,Голдман
Н.
,Пятница
А.
.1994
.Сравнение моделей замены нуклеотидов, используемых в филогенетической оценке максимального правдоподобия
.
мол. биол. Эвол.
11
:316
–324
.
Ян
З.
,Робертс
Д.
.1995
.Об использовании последовательностей нуклеиновых кислот для определения ранних ветвей на древе жизни
.мол. биол. Эвол.
12
:451
–458
.© 2004 Общество систематических биологов
Композиционная кластеризация при изучении структуры задач
Abstract
Люди замечательно умеют обобщать знания между опытом, что может быть сложно для компьютеров.Часто это влечет за собой обобщение составных частей опыта, которые не полностью перекрываются, но, тем не менее, имеют полезные сходства с ранее приобретенными знаниями. Однако часто неясно, как знания, полученные в одном контексте, должны распространяться на другой. Предыдущие вычислительные модели и данные предполагают, что вместо изучения каждого отдельного контекста люди создают латентные абстрактные структуры и учатся связывать эти структуры с произвольными контекстами, облегчая обобщение. В этих моделях структуры задач, более популярные в разных контекстах, с большей вероятностью будут пересматриваться в новых контекстах.Однако эти модели могут повторно использовать политики только в целом и не могут передавать знания о переходной структуре среды, даже если изменилась только цель (или наоборот). Это контрастирует с экологическими настройками, где некоторые аспекты структуры задачи, такие как функция перехода, будут совместно использоваться контекстом отдельно от других аспектов, таких как функция вознаграждения. Здесь мы разрабатываем новый непараметрический байесовский агент, который формирует независимые латентные кластеры для функций перехода и вознаграждения, обеспечивая раздельную передачу их составных частей в разных контекстах.Мы показываем, что относительная производительность этого агента по сравнению с агентом, который совместно объединяет функции вознаграждения и перехода, зависит от статистики задач окружающей среды: взаимной информации между функциями перехода и вознаграждения и стохастичностью наблюдений.
Мы формализуем наш анализ с помощью теоретико-информационного учета априорных данных и предлагаем агент метаобучения, который динамически выбирает между стратегиями в разных областях задач для оптимизации статистического компромисса.
Резюме автора
Музыкант может научиться обобщать поведение инструментов для разных целей, например, повторно используя движения рук, используемые при игре на флейте, для исполнения джаза на саксофоне.И наоборот, он может научиться играть одну песню на многих инструментах, которые требуют совершенно разных физических движений, но, тем не менее, передавать знания между ними. Эта степень композиционности часто отсутствует в вычислительных структурах обучения, вынуждая агентов либо обобщать все изученные политики, либо изучать новые политики с нуля. Здесь мы предлагаем решение этой проблемы, которое позволяет агенту независимо обобщать компоненты политики и сравнивать его с агентом, который обобщает компоненты в целом.Мы показываем, что степень, в которой одна форма обобщения предпочтительнее другой, зависит от особенностей предметной области, при этом независимое обобщение компонентов задачи предпочтительнее в средах со слабой взаимосвязью между компонентами или высоким уровнем шума, а совместное обобщение компонентов задачи предпочтительнее, когда существует четкая, обнаруживаемая взаимосвязь между компонентами задачи. Кроме того, мы показываем, что общая метаструктура среды может быть изучена и использована агентом, который динамически выбирает между этими формами структурного обучения.
Образец цитирования: Франклин Н.Т., Франк М.Дж. (2018) Композиционная кластеризация в изучении структуры задач. PLoS Comput Biol 14(4): е1006116. https://doi.org/10.1371/journal.pcbi.1006116
Редактор: Жан Донизо, Институт мозга и позвоночника (ICM), ФРАНЦИЯ
Поступила в редакцию: 2 октября 2017 г.; Принято: 3 апреля 2018 г.; Опубликовано: 19 апреля 2018 г.
Авторское право: © 2018 Franklin, Frank.Это статья с открытым доступом, распространяемая в соответствии с условиями лицензии Creative Commons Attribution License, которая разрешает неограниченное использование, распространение и воспроизведение на любом носителе при условии указания автора и источника.
Доступность данных: В нашей статье используется исключительно моделирование, все из которых доступны онлайн, в полной форме с сопровождающим кодом в нашем репозитории GitHub: github.com/nicktfranklin/IndependentClusters.
Финансирование: Эта работа была частично поддержана премией Национального института психического здоровья № R01MH080066 для MJF, а также Предложением Национального научного фонда 1460604 для MJF.Спонсоры не участвовали в разработке исследования, сборе и анализе данных, принятии решения о публикации или подготовке рукописи.
Конкурирующие интересы: Авторы заявили об отсутствии конкурирующих интересов.
Введение
По сравнению с искусственными агентами люди демонстрируют замечательную гибкость в нашей способности быстро, спонтанно и надлежащим образом учиться вести себя в незнакомых ситуациях, обобщая прошлый опыт и выполняя символические операции над составными компонентами знаний [1]. Формальные модели человеческого обучения рассматривают обобщение как проблему вывода, в которой люди изучают общую (скрытую) структуру задач в нескольких контекстах, а затем делают вывод, какая причинно-следственная структура лучше всего подходит для текущего сценария [2, 3]. В этих моделях контекст, обычно являющийся наблюдаемой (или частично наблюдаемой) характеристикой среды, связан с обучаемым набором статистических данных или правил задачи. Основываясь на статистике и возможности обобщения, учащийся должен сделать вывод о том, какие характеристики среды (размеры стимулов, эпизоды и т.) должен составлять контекст, который сигнализирует об общей структуре задачи, и, одновременно, какие функции указывают на конкретное подходящее поведение для предполагаемой структуры задачи. Эта стратегия обучения хорошо отражена в байесовских непараметрических моделях и их аппроксимациях нейронных сетей, которые накладывают иерархический процесс кластеризации на структуры задач обучения [3, 4]. Учащийся делает вывод о вероятности того, что два контекста являются членами одного и того же кластера задач с помощью байесовского вывода, и в новых ситуациях имеет априорную возможность повторно применить структуры задач, которые были более популярны в разных контекстах, а также позволяет потенциально создать новая структура по мере необходимости.
Эмпирические исследования предоставили доказательства того, что люди спонтанно приписывают такую иерархическую структуру, которая облегчает будущий перенос, независимо от того, приносит ли она непосредственную пользу — и, более того, даже если это дорого — начальному обучению [3–5].
Эти модели кластеризации могут объяснить аспекты человеческого обобщения, которые плохо объясняются стандартными моделями обучения. Этот подход к обобщению, рассматривающий несколько контекстов как разделяющих общую структуру задач, похож на искусственных агентов, которые повторно используют ранее изученные политики в новых задачах, когда статистика достаточно похожа [6-9].Однако ключевым ограничением этих кластерных моделей обобщения является то, что политики агента обобщаются как единое целое. То есть в новом контексте ранее изученная политика может быть либо повторно использована, либо новая политика должна быть изучена с нуля. Это может быть проблематично, поскольку политики часто неустойчивы к необученным изменениям в структуре задач [10–12]. Таким образом, ранее изученная политика может привести к плохому результату в новом контексте, даже если существует значительная степень общей структуры.
Поскольку структуры задач либо используются повторно, либо не используются целиком, возможности повторного использования и совместного использования составных частей знаний ограничены; то есть они не композиционные .Композиционность, или способность связывать (составлять) информацию вместе в соответствии с правилами, долгое время считалась ключевым аспектом человеческого познания [1, 13]. Важно отметить, что экологические контексты часто имеют частичную структуру, что ограничивает применимость ранее изученных политик, но, тем не менее, дает композиционному агенту преимущество обобщения.
Чтобы привести естественный пример, искусный музыкант может перенести выученную песню между фортепиано и гитарой, даже если два инструмента требуют совершенно разных физических движений, подразумевая, что цели могут быть обобщены и повторно использованы независимо от действий, необходимых для их достижения. Модель кластеризации, которая обобщает целые структуры задач, не может объяснить такое поведение и вместо этого требует, чтобы агент должен был заново выучить песню с нуля, чтобы сыграть ее на новом инструменте. Хуже того, эта схема кластеризации предсказывает маловероятный эффект интерференции, когда одинаковый результат воспроизведения одной и той же песни на двух инструментах приводит к тому, что модель неправильно объединяет моторные политики для разных инструментов.
Здесь мы предлагаем структуру для рассмотрения одного аспекта композиционности путем разложения структур задач — и их разделяемого потенциала для кластеризации — на функции вознаграждения и функции перехода.Эти две независимые функции марковского процесса принятия решений являются подходящими единицами обобщения: если мы предположим, что агент знает пространство состояний и набор доступных действий, то функции вознаграждения и перехода достаточны для определения оптимальной политики. В реальных сценариях функция вознаграждения может соответствовать цели агента (чего он хотел бы достичь и состояниям окружающей среды, которые порождают эти цели). Функция перехода определяет, как действия агента влияют на его среду (т.д., последующие состояния). Например, при воспроизведении музыки функция вознаграждения может соответствовать желаемой последовательности нот (гамме или песне), а функция перехода может соответствовать действиям, необходимым для создания нот на инструменте. При выборе новой формы гитары музыканту может быть достаточно сыграть на одной или двух струнах, что затем может позволить сделать вывод обо всех функциях перехода (настройка: струны и лады, необходимые для получения каждой ноты). Здесь нас интересует, как вывод одной функции (вознаграждения или перехода) влияет на обобщение другой.
Мы рассматриваем два подхода к кластеризации и сравниваем их относительные преимущества обобщения в зависимости от статистики окружающей среды. Агент независимой кластеризации поддерживает обобщение путем кластеризации контекстов в независимые наборы, определяемые статистикой вознаграждения и перехода соответственно. Напротив, объединенных кластеров агентов кластеризуют контексты в единый набор кластеров, который связывает вместе функции перехода и вознаграждения (следовательно, сводится к предыдущим моделям структуры набора задач, которые группируют и повторно используют политики [3–5]).Обязательно независимая кластеризация является композиционной и требует связывания двух независимых функций.
Мы показываем, что эти две модели приводят к различным прогнозам в зависимости от среды задачи, и мы предоставляем теоретико-информационный анализ для формализации и количественной оценки этих преимуществ/недостатков. В средах, где существует четкая, обнаруживаемая связь между переходами и наградами, совместная кластеризация облегчает обобщение, позволяя агенту делать выводы об одной функции на основе наблюдений, которые содержат информацию о другой.Тем не менее, мы показываем, что независимая кластеризация может привести к превосходному обобщению даже в тех случаях, когда взаимосвязь переход-вознаграждение слаба, ее трудно обнаружить или сделать это дорого. Наконец, мы разрабатываем обучающий агент метаструктуры, который может сделать вывод о том, лучше ли общая среда описывается независимой или совместной статистикой.
Модели
Чтобы обеспечить испытательный стенд для характеристики композиционной структуры эффектов, мы рассматриваем серию задач навигации, используя миры сетки как упрощение реальных сред.В этих сетчатых мирах агент учится перемещаться, изучая функции перехода (последствия его действий с точки зрения последующих состояний) и отдельно изучает функцию вознаграждения (значения вознаграждения мест или целей) по мере навигации. В каждый момент времени агенту дается кортеж состояния s = < x , c > где — вектор переменных состояния (например, вектор положения в координатном пространстве), а — вектор контекста. Здесь мы определяем «контекст» как вектор, обозначающий некоторое изменчивое свойство мира (например, наличие или отсутствие дождя, эпизодический период времени и т.), которые ограничивают статистику предметной области, благодаря чему эти статистические данные задачи согласуются для каждого контекста, который указывает на соответствующую задачу. Формально для каждого контекста мы можем определить марковский процесс принятия решений (MDP) с переменными состояния x ∈ X , действиями a ∈ A , функцией вознаграждения, отображающей переменные состояния и действия в вещественное число, и функция перехода, отображающая переменные состояния и действия в вероятностное распределение по преемникам.
Для простоты мы предполагаем, что агент знает пространственные отношения между состояниями (т. е. он имеет доступ к пространственной карте своего текущего положения и соседних положений), но должен узнать, как его действия переводят его из одного состояния в другое. . В частности, мы предполагаем, что агент знает набор из кардинальных движений , где каждое кардинальное движение является вектором, определяющим изменение переменных состояния относительно известной пространственной структуры в единицу времени. (Например, в двумерном сеточном мире мы можем определить Север = 〈 dx / dt , dy / dt 〉 = 〈0, 1〉 как кардинальное движение). Таким образом, мы можем определить функцию перехода через кардинальные перемещения T ( x , A , x ′| c ) = Pr( x ′| x , , 90 c ) и сформулировал проблему навигации как изучение некоторой функции, которая отображает примитивные действия в кардинальные движения, которые, как мы предполагаем, не зависят от местоположения.
Преимущество этого упрощающего допущения состоит в том, что он предоставляет модель навигации человека, который, как мы предполагаем, понимает пространственную структуру.Обратите внимание, что функция, отображающая двигательные действия в основные движения, может зависеть от условий окружающей среды и, следовательно, от контекста (например, состояние ветра может изменить взаимосвязь между примитивными действиями и движениями в пространстве для воздушного дрона). Аналогичное сопоставление между произвольными нажатиями кнопок и движениями в задаче «плавание пальцев» использовалось для получения доказательств планирования действий на основе моделей у людей [14, 15]. Точно так же мы можем выразить функцию вознаграждения в терминах кардинальных перемещений в зависимости от положения в пространстве: , с ).Это позволяет нам рассмотреть, как агент получает вознаграждение при перемещении в координатном пространстве (в отличие от того, как он получает вознаграждение в зависимости от своих действий). В качестве альтернативы мы можем выразить функцию вознаграждения как R ( x , x ′) или, проще говоря, как R ( x ′). Ключевое предположение здесь состоит в том, что функция вознаграждения не является функцией действий агента, а является функцией последствий этих действий.
Задача агента состоит в том, чтобы сгенерировать политику (функция, отображающая переменные состояния в примитивные действия для каждого контекста), которая максимизирует ожидаемое вознаграждение со скидкой в будущем [16].Учитывая известные функцию перехода и функцию вознаграждения, оптимальную политику для этой задачи можно определить как:
(1)
где В c ( x ) функция оптимального значения определяется уравнением Беллмана:
(2)
Поскольку отношения между положениями в пространстве T c известны агенту, достаточно изучить кардинальное отображение функции ) и функция вознаграждения R c ( x , A ) для определения оптимальной политики.
Хотя оптимальная политика зависит как от функции отображения, так и от функции вознаграждения, функция оптимального значения не зависит от них: она зависит только от функции вознаграждения (и известной функции перехода T c ). Следовательно, агент может определить оптимальную политику в зависимости от перемещений в пространстве: (3) Это позволяет агенту узнать, как он может предпринять действие для перемещения в пространстве — функция отображения ϕ c ( a , A ) — независимо от желательности последствий этих перемещений R c ( х ′).Это различие допускает композиционность во время обобщения, как мы обсудим в следующем разделе.
Контекстная кластеризация как обобщение
Распространенной стратегией поддержки обобщения задач является группирование контекстов вместе, предполагая, что они используют одну и ту же статистику задачи, если это приводит к приемлемой степени ошибки [7]. Эта логика лежит в основе моделей павловского обучения и переноса животных [2], инструментального обучения и переноса человека [3, 4] и категориального обучения [17, 18].Кластерные модели человеческого обобщения обычно основаны на непараметрическом процессе Дирихле, широко известном как процесс китайского ресторана (CRP), который действует как априор кластеризации в байесовском процессе вывода. При таком использовании CRP обеспечивает кластеризацию на основе популярности для разделения наблюдений, так что агент, скорее всего, будет повторно использовать те задачи, которые были наиболее популярны в разных контекстах (в отличие от разных событий; [4]), и привлекательное свойство быть непараметрической моделью, которая растет вместе с данными [19].Следовательно, нет необходимости знать количество разделов априори , и CRP будет склонен экономно отдавать предпочтение меньшему количеству разделов.
Как и в предыдущей работе, мы моделируем обобщение как процесс вывода о назначении контекстов k = { c 1: n } в кластеры, которые имеют общую статистику задач. Но здесь мы разлагаем эту статистику задачи, чтобы рассмотреть возможность того, что все контексты c ∈ k совместно используют одну и ту же функцию вознаграждения и/или функцию отображения, так что R k ( x , a ) = R C C ( x , A ) ∀ C ∈ K и / или Φ K ( A , A ) = ϕ c ( a , A ) ∀ c ∈ k .(Мы вернемся к различию «и/или», которое влияет на то, является ли кластеризация независимой или совместной для функций вознаграждения и сопоставления, в следующем разделе). Формально мы определяем обобщение как вывод
(4)
где вероятность наблюдаемых данных с учетом кластера k , а Pr ( c ∈ k ) является априорным по сравнению с назначением кластеризации. Как и в предыдущих моделях обобщения, мы используем CRP в качестве априорного кластера.
Если контексты { C 1: N } кластеризованы на кластеры N ≤ N , затем предыдущая вероятность для любого нового контекста C N +1 ∉ { C 1: n } это:
(5)
где N k — количество контекстов, связанных с кластером k , а K n — количество уникальных кластеров, связанных с n наблюдаемыми контекстами.Если k ≤ k k N N , затем K — ранее столкнувшись в кластере, тогда как если K = K N + 1, затем K — это новый кластер. Параметр α управляет склонностью назначать новый контекст новому кластеру, то есть создавать новую задачу. Более высокие значения α приводят к большей априорной вероятности создания нового кластера и в целом способствуют более расширенному пространству задач, что снижает вероятность повторного использования старых задач.
Таким образом, априорная вероятность того, что новый контекст будет отнесен к старому кластеру, пропорциональна количеству контекстов в этом кластере (популярности), а вероятность того, что он будет отнесен к новому кластеру, пропорциональна α . Как непараметрический генеративный процесс, априор позволяет увеличивать количество кластеров по мере наблюдения новых контекстов. Этот процесс взаимозаменяем, и поэтому порядок наблюдения не меняет вывод агента [19], хотя алгоритмы приближенного вывода могут вызывать эффекты порядка.
Независимая и совместная кластеризация
Как мы отмечали выше, есть два ключевых функция, которые агент учится при навигации в контексте: Φ C C ( A , A ) и R C ( x , А ). Эти функции подразумевают, что агент может кластер Φ C C C C ( A , A ) и R C ( x , a ) совместно, или он может их кластеризовать независимо, так что он узнает популярность каждого маргинализирующего по сравнению с другим. Формально, независимый агент кластеризации (рис. 1, слева) распределяет каждый контекст c на два кластера посредством байесовского вывода, как в (уравнение 4), и используя предварительный CRP для каждого кластера (уравнение 5). Функция правдоподобия для двух заданий — это функции отображения и вознаграждения.
(6)
а также
(7)
соответственно. И наоборот, агент совместной кластеризации (рис. 1, справа) назначает каждый контекст c одному кластеру k с помощью байесовского вывода (уравнение 4) и, подобно независимому агенту кластеризации, использует CRP в качестве априорных назначений. (Уравнение 5).Функция правдоподобия для назначения контекстного кластера является произведением функций отображения и вознаграждения.
(8)
Рис. 1. Схематический пример независимых и совместных агентов кластеризации.
Вверху слева : Независимый агент кластеризации группирует каждый контекст в два кластера, связанных с функцией вознаграждения ( R ) и сопоставления ( ϕ ) соответственно. Планирование включает в себя объединение этих функций для создания политики. Предшествующая кластеризация вызывает предвзятость экономии, так что новые контексты с большей вероятностью будут отнесены к более популярным кластерам.Стрелки обозначают назначение контекста кластерам и создание политик из функций компонентов. Вверху справа : Агент объединенной кластеризации назначает каждый контекст в кластер, связанный с обеими функциями (т. е. предполагает целостную структуру задачи), и, следовательно, политика определяется этим назначением кластера. В этом примере оба агента генерируют одни и те же две политики для трех контекстов, но независимый агент кластеризации обобщает функцию вознаграждения для всех трех контекстов. Bottom : Пример сопоставления ( слева ) и функция вознаграждения ( справа ) для задачи gridworld.
https://doi.org/10.1371/journal.pcbi.1006116.g001
Совместный агент кластеризации очень похож на предыдущие некомпозиционные модели обучения и обобщения структуры задач, которые, как ранее было показано, учитывают поведение человека ( но без специальной оценки вопроса композиционности) [3, 4]. В целях сравнения с независимым агентом кластеризации здесь объединенный агент кластеризации отдельно изучает функции R и ϕ .Предыдущие модели, напротив, изучали политику без моделей напрямую. В общем случае совместная кластеризация не требует ни отдельного представления компонентов политики ( R и ϕ ), ни операции привязки в виде планирования. Однако независимая кластеризация требует отдельного представления компонентов политики, которые должны быть связаны посредством планирования. Следовательно, одним потенциальным различием между этими двумя подходами является алгоритмическая сложность, когда совместная кластеризация может позволить менее сложный и ресурсоемкий алгоритм обучения, чем независимая кластеризация.В приведенных ниже симуляциях мы уравняли агентов по алгоритмической сложности и изучили, как вывод функций вознаграждения и перехода по отдельности или вместе влияет на производительность в разных областях задач.
Результаты
Сначала мы рассмотрим два минимальных набора симуляций, чтобы проиллюстрировать взаимодополняющие преимущества, предоставляемые двумя типами агентов кластеризации в зависимости от статистики предметной области, используя общий набор параметров. Третье моделирование исследует, как преимущества композиционной кластеризации могут сочетаться в модифицированной форме задач комнат , которые ранее использовались для мотивации иерархических подходов RL [20, 21].Мы показываем, что наша независимая модель кластеризации с иерархической декомпозицией пространства состояний может способствовать более быстрой передаче, чем та, которая обеспечивается стандартными подходами. Наконец, мы проводим теоретико-информационный анализ, чтобы формализовать более общие условия, при которых каждая схема является более выгодной. Код для всех представленных здесь симуляций доступен в нашем репозитории GitHub: https://github.com/nicktfranklin/IndependentClusters.
Моделирование 1: независимость статистики задач
В первом наборе симуляций мы смоделировали область задач, в которой четыре контекста включали различные комбинации функций вознаграждения и перехода.В каждом испытании «целевая» локация была скрыта в мире сетки 6×6. Агенты были случайным образом размещены в мире сетки и исследовали выбор действий, пока не была достигнута цель, после чего испытание закончилось и началось следующее испытание, при этом агент снова был рандомизирован в новое место. Задача агента состоит в том, чтобы как можно быстрее найти местоположение цели (закодированное как награда +1 за нахождение цели и награда 0 в противном случае). У агентов был набор из восьми доступных им действий, которые можно было сопоставить с одним из четырех основных движений.Агенты были подвергнуты четырем испытаниям, в которых расположение целей и сопоставление были стационарными для каждого контекста. Каждый из четырех контекстов имел уникальную комбинацию одного из двух целевых местоположений и одного из двух сопоставлений (рис. 2А), и, следовательно, знание о функции вознаграждения или функции сопоставления для любого контекста не было информативным в отношении другой функции. Однако, поскольку функции вознаграждения и отображения были общими для двух контекстов, независимый агент кластеризации может использовать структуру для улучшения обобщения, не привязываясь к совместному распределению отображений и вознаграждений.
Рис. 2. Моделирование 1.
A : Схематическое представление предметной области. Были смоделированы четыре контекста (синие кружки), каждый из которых сочетался с уникальной комбинацией одного из двух целевых местоположений (функции вознаграждения) и одного из двух сопоставлений. B : Количество шагов, предпринятых каждым агентом, показано в испытаниях в одном контексте (слева) и во всех испытаниях (справа). Меньшее количество шагов отражает более высокую производительность. C : KL-расхождение оценок моделей функций вознаграждения (слева) и отображения (справа) как функция времени.Меньшая KL-дивергенция представляет лучшие оценки функции. Время, показанное как количество испытаний в контексте (слева) и количество шагов в контексте, свернутое между испытаниями (справа) для ясности.
https://doi.org/10.1371/journal.pcbi.1006116.g002
В дополнение к независимым и совместным агентам кластеризации, для сравнения, мы также смоделировали «плоскую» (неиерархическую декомпозицию «контекста» и « состояние») агент, который вообще не группирует контексты и, следовательно, должен учиться заново в каждом контексте. (Плоский агент является частным случаем как независимых, так и совместных агентов кластеризации, таких как k i = { c i } ∀ i ). Мы использовали вывод, основанный на гипотезе, где каждая гипотеза включала в себя предложение о назначении контекстов в кластеры, h : c ∈ k , определяемые генеративно, так что при встрече с новым контекстом пространство гипотез увеличивается. Для каждой гипотезы использовалась оценка максимального правдоподобия для получения оценок и .Чтобы поощрить оптимистичные исследования, было инициализировано максимальное наблюдаемое вознаграждение (Pr ( r | x ) = 1) с низкой достоверностью до использования сопряженного бета-распределения Beta (0,01, 0).
Распределение достоверности в пространстве гипотез определяется апостериорной вероятностью кластеризационных назначений (уравнение 4). Вычисление апостериорного распределения по всему пространству гипотез вычислительно сложно, так как размер пространства гипотез растет комбинаторно с количеством контекстов. В качестве приближения мы удалили гипотезы с малой вероятностью (менее 1/10-кратной апостериорной вероятности максимальной апостериорной (MAP) гипотезы) из пространства гипотез. Мы дополнительно аппроксимировали проблему вывода, используя гипотезу MAP, а не выборку из всего распределения во время выбора действия [3, 22]. Итерация значения использовалась для решения системы уравнений, определяемой (уравнение 3), с использованием значений и связанных с гипотезой (гипотезами) MAP. Функция значения состояния-действия, определенная здесь в терминах кардинальных перемещений.
(9)
использовался с политикой выбора действий softmax для выбора кардинальных перемещений:
(10)
где β — обратный температурный параметр, определяющий склонность агентов к использованию наиболее оцененных действий или к исследованию.Примитивные действия более низкого уровня (необходимые для получения желаемого кардинального движения) были сэмплированы с использованием функции сопоставления:
(11)
Сначала мы смоделировали независимых и совместных агентов кластеризации, а также плоского агента на 150 случайных областях задач, используя значения параметров γ = 0,75, β = 5,0 и α = 1,0 (ниже мы рассматриваем более общий параметр — самостоятельный анализ).
Каждый из четырех контекстов повторялся 4 раза, всего 16 испытаний. Независимый агент кластеризации выполнил задачу быстрее любого другого агента, завершив все испытания в среднем за 205.2 (s = 20,2) шага по сравнению с 267,4 (s = 22,4) и 263,5 (s = 17,4) шагами для совместной кластеризации и плоских агентов соответственно (рис. 2B). (Мы подтвердили здесь и в другом месте, что эти различия были очень значимыми (например, здесь соответствующие сравнения составляют минимум p < 1 e −77)). Повторение этих симуляций с агентами, требуемыми для оценки полной функции перехода (вместо только функции отображения), привело к той же схеме результатов: независимый агент кластеризации выполнял задачи за меньшее количество шагов, чем агенты совместной кластеризации или плоские агенты (S1 Text , S1 рис).
В этом случае преимущество независимой кластеризации в производительности в значительной степени обусловлено более быстрым обучением функции вознаграждения, что индексируется KL-расхождением между оценками агентами функции вознаграждения по сравнению с плоским учеником (рис. 2C, слева). Напротив, как совместная, так и независимая кластеризация демонстрируют преимущества обобщения при изучении функции отображения (рис. 2C, справа). Это различие отражает информационную асимметрию: в новом контексте агенту раньше доступно больше информации об отображениях, чем о вознаграждениях, учитывая, что последние в значительной степени переживаются при достижении цели.(Например, в этих средах первое действие в новом контексте дает 2 бита информации об отображениях и в среднем 0,07 бита информации о наградах). Вследствие этой асимметрии наблюдение за элементом отображения может облегчить обобщение остальной части отображения с помощью функции правдоподобия, в то время как наблюдение за невознаграждаемыми квадратами в мире сетки мало что говорит агенту о расположении вознагражденных квадратов.
В целом, как и ожидалось, независимая кластеризация продемонстрировала преимущества по сравнению с совместной кластеризацией в среде задачи, для которой функции перехода и вознаграждения были ортогонально связаны между контекстами.
Моделирование 2: Зависимость в статистике задачи
Затем мы смоделировали всех трех агентов в отдельной области задач, в которой была обнаружена взаимосвязь между функциями вознаграждения и сопоставления в разных контекстах, так что знание одной функции дает информацию о другой. Было четыре ортогональных функции вознаграждения и четыре ортогональных сопоставления в восьми контекстах, при этом каждая пара функции вознаграждения и сопоставления повторялась в двух контекстах, что допускало обобщение (рис. 3А).Как и прежде, для каждой модели было смоделировано 150 случайных областей задач с использованием значений параметров γ = 0,75, β = 5,0 и α = 1,0. Каждый из восьми контекстов повторялся 4 раза, всего 32 попытки. В этих симуляциях оба агента кластеризации демонстрируют преимущество обобщения, выполняя задачу быстрее, чем плоский агент (рис. 3B). Совместный агент кластеризации продемонстрировал наибольшее преимущество генерализации, выполнив все испытания в среднем за 384,2 (s = 23,6) шагов по сравнению с 441. 5 (s = 33,4) для независимого агента кластеризации и 526,0 (s = 26,4) шагов для плоских агентов. Опять же, эти различия были очень значительными, и агенты, которые оценили полную функцию перехода, показали одинаковую картину результатов (S1 Text, S1 Fig).
Рис. 3. Моделирование 2.
A: Схематическое представление второй области задач. Было смоделировано восемь контекстов (синие кружки), каждый из которых сочетался с комбинацией одной из четырех ортогональных функций вознаграждения и одним из четырех сопоставлений, так что каждое сочетание повторялось в двух контекстах, обеспечивая обнаруживаемую связь.B: Количество шагов, предпринятых каждым агентом, показано в испытаниях в одном контексте (слева) и во всех испытаниях (справа). C: KL-дивергенция оценок моделей вознаграждения (слева) и отображения (справа) как функция времени.
https://doi.org/10.1371/journal.pcbi.1006116.g003
Как и в предыдущих симуляциях, различия в производительности между агентами кластеризации в значительной степени были обусловлены изучением функции вознаграждения. Как независимые, так и совместные агенты кластеризации имели сходные оценки функций отображения во времени (рис. 3C, справа), тогда как независимый агент кластеризации однозначно демонстрирует начальный дефицит в обобщении функции вознаграждения, измеренный расхождением KL в первом испытании в контексте. (Рис. 3C, слева).Разница в производительности между двумя моделями кластеризации в основном возникает для первого испытания в новом контексте, в течение которого совместный агент кластеризации имел лучшую оценку функции вознаграждения. Как и прежде, это отражает информационную асимметрию между сопоставлениями и вознаграждениями.
Моделирование 3: комбинированные эффекты в задаче о «дьявольских комнатах»
Обобщение почти синонимично сокращению затрат на разведку: если агент эффективно обобщает, он может определить подходящую политику без полного изучения нового контекста.В приведенном выше моделировании затраты на разведку были одинаковыми во всех контекстах. Но в реальных ситуациях стоимость исследования может увеличиваться по мере того, как человек выполняет задачу. Разведка может стать более дорогостоящей по мере того, как ресурсы становятся дефицитными: например, в долгой поездке гораздо дороже искать заправочную станцию с пустым баком, чем с полным, потому что бензин может закончиться. Точно так же в видеоигре, где неправильное действие может означать начало заново, для агента RL более дорого проводить случайное исследование ближе к концу игры, чем в начале.Таким образом, преимущества и издержки обобщения могут сочетаться в задаче с последовательной структурой нескольких подцелей таким образом, который не всегда очевиден в более узкой области задачи. Здесь мы рассматриваем набор областей задач, в которых каждый контекст имеет разную стоимость исследования, которая со временем увеличивается.
Мы определяем модифицированную задачу «комнаты» как область задач, в которой агент должен перемещаться по ряду комнат (отдельных миров сетки), чтобы достичь целевого местоположения в последней комнате (рис. 4А).В каждой комнате агент должен выбрать одну из трех дверей, одна из которых переместит агента в следующую комнату, а две другие двери вернут агента в исходное положение самой первой комнаты (отсюда и «дьявольский» дескриптор). ). Кроме того, сопоставления, которые связывают действия с кардинальными перемещениями, могут варьироваться от комнаты к комнате, так что агент должен обнаруживать эту функцию сопоставления отдельно от местоположения награды (целевой двери). Все комнаты посещаются по порядку, так что если агент выбирает дверь, которая возвращает его в исходное местоположение, ему нужно будет посетить каждую комнату, прежде чем он сможет исследовать новую дверь.Следовательно, стоимость исследования двери в новой комнате увеличивается с каждой вновь обнаруженной комнатой.
Рис. 4. «Проблема дьявольских комнат».
A : Схематическая диаграмма проблемы комнат. Агенты входят в комнату и выбирают дверь, чтобы перейти в следующую комнату. Выбор правильной двери (зеленой) ведет в следующую комнату, а выбор двух других дверей приводит к началу задания. Агент изучает три сопоставления по комнатам B : Распределение шагов, предпринятых для решения задачи тремя агентами (слева) и медианы распределений (справа). C,D : Регрессия количества шагов для выполнения задачи в зависимости от площади сетки (C) и количества комнат в задаче (D) для объединенных и независимых агентов кластеризации.
https://doi.org/10.1371/journal.pcbi.1006116.g004
Botvinick et al. [21] ранее использовали исходную проблему «комнат», представленную Sutton et al. [20], чтобы мотивировать преимущества иерархической структуры «опций» RL как метода сокращения вычислительных шагов.Однако в традиционной структуре опций нет метода повторного использования опций в разных частях пространства состояний (например, из комнаты в комнату). Каждая опция должна быть определена независимо для той части пространства состояний, которую она охватывает. Напротив, иерархические агенты кластеризации, которые разлагают пространство состояний, могут облегчить обобщение проблемы комнат за счет повторного использования структур задач, когда это необходимо [3]. Однако, поскольку это был совместный агент кластеризации, эта предыдущая работа не допускала отдельного повторного использования функций сопоставления и вознаграждения.
В этом новом, дьявольском варианте задачи о комнатах мы предоставили возможность повторного использования подцелей в разных комнатах, но изменили задачу не только для того, чтобы учесть различные функции отображения, но и там, где есть большие затраты, когда правильно изученное подцель (выбор правильной двери) не используется повторно, и где эта стоимость варьируется параметрически путем изменения размера или количества комнат. Проблема комнат здесь качественно похожа на «среды RAM с кодовым замком», используемые Леффлером и его коллегами [9], чтобы показать, что организация состояний в классы с многократно используемыми свойствами (аналогично кластерам, представленным в настоящей работе) может резко снизить затраты на исследование.В средах RAM с кодовым замком агенты перемещались по линейному ряду состояний, в которых одно действие переводило агентов в следующее состояние, другое — в целевое состояние, а все остальные возвращались в исходное состояние. Представленная здесь среда задач комнат очень похожа, но позволяет нам параметрически варьировать стоимость исследования каждой комнаты, изменяя ее размер.
Мы моделировали независимый агент кластеризации, совместный агент кластеризации и плоский агент на серии задач о комнатах с параметрами α = 1.0, γ = 0,80 и β = 5,0. Каждая комната была представлена как новый контекст (например, для имитации различий в особенностях поверхности). В углах комнаты было три двери, и одна и та же дверь переводила агента в следующую комнату для каждой комнаты (для простоты, но без потери общности — т. е. те же выводы применимы, если дверь с вознаграждением будет меняться в зависимости от контекста). . Агенты получали бинарное вознаграждение за выбор двери, ведущей в следующую комнату.
В первом наборе симуляций мы смоделировали агентов в 6 комнатах, каждая из которых представляет собой сетку 6×6, с тремя отображениями ϕ 3 }, каждое повторяется один раз.Поскольку стоимость исследования увеличивается, поскольку агент продвигается по задаче, порядок комнат влияет на стоимость исследования. Для простоты мы смоделировали фиксированный порядок отображений, встречающихся в помещениях, определенных последовательностью x = Φ 1 Φ 1 Φ 2 Φ 2 ϕ 3 ϕ 3 . В этой области задач независимая кластеризация показала наилучшие результаты, при этом оба агента кластеризации показали преимущество обобщения по сравнению с плоским агентом (рис. 4B), при этом плоский агент выполнил задачу примерно за 1.Общее количество шагов в 9 и 4,5 раза больше, чем при совместной и независимой кластеризации соответственно.
Далее мы изучили, как эти затраты на разведку параметрически меняются в зависимости от геометрии окружающей среды. Во-первых, мы изменили размеры каждой комнаты от 3х3 до 12х12. В то время как обе модели кластеризации показывают увеличение затрат на разведку по мере увеличения площади мира сетки, затраты на разведку для модели совместной кластеризации растут с большей экспоненциальной скоростью, чем для модели независимой кластеризации (рис. 4C).Точно так же мы можем увеличить затраты на исследование, увеличив количество комнат в области задач. Мы варьировали количество комнат в комнатах в области задач от 3 до 27 с шагом в три. Как и прежде, одна и та же дверь во всех комнатах продвигала агента, и три сопоставления повторялись в разных комнатах. Порядок встречающихся отображений определяется последовательностью , где k — количество повторений отображения. Опять же, оба агента кластеризации сталкиваются с увеличением стоимости исследования по мере увеличения количества комнат, но стоимость исследования увеличивается с большей линейной скоростью для совместного агента кластеризации, чем для независимого агента кластеризации (рис. 4D).
Таким образом, в среде, где преимущества обобщения возрастают с течением времени, разница между стратегиями может быть существенной. Здесь мы смоделировали среду, в которой независимая кластеризация приводит к лучшему обобщению, чем совместная кластеризация, но мы могли бы аналогичным образом создать пример, в котором совместная кластеризация приводит к лучшей производительности (например, совместная кластеризация работала бы лучше, если бы каждое сопоставление однозначно предсказывало правильную дверь). ). Следовательно, любая фиксированная стратегия может столкнуться с затратами на разведку, которые экспоненциально растут вместе со сложностью предметной области.
Теоретико-информационный анализ
До сих пор мы исследовали эффективность вариантов иерархической кластеризации в конкретных ситуациях, чтобы продемонстрировать компромисс между стратегиями. Однако, несмотря на то, что эти примеры являются иллюстративными, они накладывают серьезные предположения о предметной области, знании агентами ее структуры, политике исследования и планировании. Напротив, нас больше интересует пригодность обобщения для экологических сред, а не конкретные области задач, которые мы смоделировали, и допущения планирования и исследования.
Чтобы сделать более общее нормативное требование, желательно абстрагироваться от реализации и строго обратиться к нормативной основе кластеризации на основе контекстной популярности как к алгоритму обобщения. Хотя для решения проблемы оптимальности требуется знание генеративного процесса экологической среды, что выходит за рамки текущей работы, мы можем более формально и в целом оценить, когда и при каких условиях каждая из моделей кластеризации может быть более подходящей, чем другая.
Для этого мы можем сформулировать обобщение как проблему классификации и количественно определить, насколько хорошо агент правильно идентифицирует кластер, к которому принадлежит контекст, не обращая внимания на изучение связанной статистики задачи. Это упрощающее предположение позволяет нам исследовать CRP как механизм обобщения и абстрагироваться от влияния функции правдоподобия на обобщение. Пусть это будет кластер, связанный с марковской проблемой принятия решений, и пусть контекст будет контекстом, с которым сталкивается агент.Учитывая историю опытных контекстов и связанных кластеров { c 1: n , k 1: m }, мы формулируем проблему обобщения как изучение функции классификации k = f ( c ), что сводит к минимуму риск неправильной классификации. (Риск неправильной классификации здесь определен нечетко: некоторые ошибки неправильной классификации хуже, чем другие, и неправильная идентификация кластера и, следовательно, его MDP может привести или не привести к плохой политике, если лежащие в основе MDP достаточно похожи. Таким образом, функция потерь в экологических условиях может быть сильно нелинейной, зависящей от предметной области функцией, как мы показываем на примере дьявольской проблемы комнат.)
Более формально, мы определяем риск как ожидание , где L ( p , f ) — функция потерь при неправильной классификации, а p — порождающее распределение по новым контекстам p = Pr( k | c t +1 ). Для наших целей здесь мы абстрагируемся от доменной специфичности в функции потерь L ( p , f ).Поскольку CRP представляет собой распределение вероятностей, разумная независимая от предметной области функция потерь представляет собой прирост информации между оценкой CRP вероятности k и реализованным результатом, или (12) где q k — оценка CRP вероятности наблюдаемого кластера k в контексте c . Таким образом, риск неправильной классификации представляет собой перекрестную энтропию между CRP и генеративным распределением: (13)
Таким образом, рассматривая обобщение как классификацию и предполагая получение информации как общую функцию потерь предметной области, мы, по сути, оцениваем степень, в которой CRP оценивает генеративное распределение. Риск минимизируется, когда q = p , то есть когда CRP идеально оценивает генеративный процесс. Не существует верхней границы плохой производительности, но во многих предметных областях можно сделать наивное предположение о пространстве кластеров (например, равномерное распределение по известному набору кластеров). Поскольку любая полезная модель обобщения будет лучше, чем наивная догадка, мы можем оценить, приведет ли CRP к меньшему приросту информации, чем наивная оценка, в различных предметных областях в зависимости от их статистики.Мы рассматриваем это более количественно в приложении (Текст S2), но результат интуитивно понятен: в целом, CRP будет способствовать обобщению, когда процесс обобщения более предсказуем (менее энтропийный), и CRP может привести к худшим, чем случайность, результатам в достаточно непредсказуемых условиях. домены (S2 рис.).
Независимая и совместная кластеризация.
Основной интерес представляет вопрос, при каких условиях лучше группировать аспекты структуры задачи (например, функции вознаграждения и функции перехода или отображения) независимо или вместе. Для этого мы полагаемся на предположение, что функция вознаграждения обычно существенно разрежена, чем функция перехода: когда агент взаимодействует с задачей, он получит больше информации о функции перехода в начале задачи, чем о функции вознаграждения. если среда не очень богата наградами в большинстве мест, и в этом случае любой случайный агент будет работать хорошо).
Следовательно, для агента, который группирует вознаграждения и переходы вместе, информация, полученная о переходах, будет доминировать в функции правдоподобия, так что вывод о вознаграждениях можно рассматривать как приблизительно зависящий от знания структуры перехода.И наоборот, агент, который кластеризует награды и осуществляет переход независимо друг от друга, не будет учитывать информацию об отображении при прогнозировании функции вознаграждения. Таким образом, мы можем сравнить двух агентов, оценив последствия кластеризации вознаграждений, зависящих от переходов, по сравнению с кластеризацией вознаграждений, не зависящих от переходов. Формально мы можем рассматривать сравнение независимой и совместной кластеризации как сравнение двух разных классификаторов: R = f ( c ) и R = f ( c , T ), один из них классифицирует функции вознаграждения исключительно как функцию контекста, а другой — как функцию контекста и наблюдаемой статистики переходов.
Интересно, что это приближение приводит к выводу, что независимая кластеризация является более простой статистической моделью, чем совместная кластеризация. Оценка предельного распределения является более простой статистической задачей, чем оценка входящего в его состав набора условных распределений. Таким образом, мы могли бы ожидать компромисса, при котором независимая кластеризация обеспечивает лучшее обобщение при небольшом опыте, тогда как совместная кластеризация обеспечивает лучшее обобщение асимптотически. Мы можем оценить последнее утверждение, отметив, что заданные случайные величины R и T , H ( R | T ) ≤ H ( R ). Это утверждение подразумевает, что при известном совместном распределении двух случайных величин знание одной из случайных величин не может увеличить неопределенность другой; агент может просто узнать, когда между ними нет связи, и в этом случае совместное распределение не повредит. Интуитивно это утверждение основано на представлении о том, что чем больше информации, тем лучше (или, по крайней мере, не хуже) в долгосрочной перспективе.
Обратите внимание, что эта связь гарантируется только в том случае, если известен истинный порождающий процесс, и поэтому важную роль играет опыт в предметной области.Как мы обсудим в следующем разделе, необходимо иметь достаточный опыт, чтобы определить, полезно ли совместное распределение или нет (и фактически предположение об условной зависимости, когда такой связи нет, может резко замедлить обучение). Тем не менее, априорный CRP будет асимптотически сходиться на условном и предельном распределениях Pr( R | T ) и Pr( R ) для объединенных и независимых агентов кластеризации соответственно. Если мы считаем, что CRP является оценкой, мы можем определить его смещение как
(14)
где N c — общее количество наблюдаемых контекстов, а α — параметр концентрации, управляющий новыми кластерами.Асимптотически CRP является несмещенным как lim N c →∞ Bias p [ q ] = 0 и генеративное распределение CRP сходится к 0. Как следствие, совместная кластеризация имеет меньший прирост информации, чем независимая кластеризация асимптотически, поскольку CRP для агента совместной кластеризации будет сходиться к условному распределению Pr( R | T ), тогда как CRP для независимого агента кластеризации будет сходиться к условному распределению предельное распределение Pr( R ).
Взаимная информация.
Как упоминалось выше, то, что совместная кластеризация гарантированно дает лучшую оценку, верно только при N c → ∞, тогда как здесь мы имеем дело с областями задач, в которых у агента мало опыта. Интуитивно мы могли бы ожидать, что независимая кластеризация будет благоприятна в областях задач, где нет связи между переходами и наградами. И наоборот, мы могли бы ожидать, что совместная кластеризация будет более благоприятной, если существует связь между переходом и вознаграждением.Хотя мы рассматривали два крайних случая этих случаев в моделировании 1 и 2, мы также можем параметрически изменять отношения. Формально мы можем рассматривать связь между переходами и наградами с взаимной информацией. Пусть каждый контекст c связан с функцией вознаграждения и функцией перехода, и пусть Pr( R , T ) будет совместным распределением R и T в ненаблюдаемых контекстах. Взаимная информация между R и T определяется
(15)
Взаимная информация представляет собой степень, в которой знание одной переменной снижает неопределенность (энтропию) другой, и может использоваться в качестве показателя степени, в которой среда задачи должна считаться независимой или нет.
Таким образом, он удовлетворяет 0 ≤ I ( R ; T ) ≤ min ( H ( R ), H ( T ))
Чтобы оценить, как взаимная информация влияет на относительную производительность независимой и совместной кластеризации, мы построили ряд областей задач, которые позволяют нам монотонно увеличивать I ( R ; T ) с одним параметром m , в то время как сохраняя все остальное постоянным. Мы определяем и определяем две последовательности X R и X T такие, что и являются функцией вознаграждения и перехода для контекста c i
i .Мы определяем последовательность x R = A (2 N ) B (2 N ) , где A ( k ) относится к K повторов A , а последовательность x T = 1 ( N + м ) 2 (2 N ) 1 ( N — m ) , где 1 ( k ) относится к k повторений 1.
Мы оценили относительную эффективность независимых и совместных агентов кластеризации, используя CRP для предсказания последовательности X R , либо независимой от X T (моделирование независимой кластеризации), либо условно зависимой на X T (моделирование совместной кластеризации) для значений n = 5 и m = [0, 5]. Для этих симуляций мы сначала предполагаем обе последовательности X R и X T бесшумными, но ниже мы покажем, что шум параметрически влияет на эти выводы. Для низких значений 90 005 м 90 006 ( 90 005 м 90 006 ≤ 2) независимая кластеризация обеспечивает большее преимущество обобщения (рис. 5, слева). Интуитивным объяснением этого является то, что по мере того, как признаки предметной области становятся более независимыми, независимая кластеризация обеспечивает лучшее обобщение.Важно отметить, что есть случаи, в которых независимая кластеризация обеспечивает лучшее доказательство, даже если имеется ненулевая взаимная информация [0 < I ( R ; T ) ≲ 0,2 бита].
Рис. 5. Производительность независимой и совместной кластеризации при прогнозировании последовательности X R , измеренная в битах информации, полученной при наблюдении за каждым элементом.
Слева : Относительная производительность независимой кластеризации по сравнению с совместной кластеризацией в зависимости от взаимной информации между наградами и переходами. Справа : Шум при наблюдении последовательностей X T параметрически увеличивает преимущество независимой кластеризации. Зеленая линия показывает относительную производительность в последовательностях без остаточной неопределенности в R при заданных T (полное соответствие), оранжевая линия показывает относительную производительность для последовательности с остаточной неопределенностью H ( R | T ) > 0 бит.
https://doi.org/10.1371/журнал.pcbi.1006116.g005
Шум при наблюдении переходных функций.
Выше мы предполагали, что переходные функции полностью наблюдаемы без какой-либо неопределенности. Но во многих реальных сценариях соответствующие переменные состояния наблюдаемы лишь частично, а функции перехода могут быть стохастическими. Поэтому в этом разделе мы ослабим это бесшумное предположение, чтобы охарактеризовать влияние зашумленных наблюдений на вывод и обобщение. Как и прежде, мы моделируем обобщение как степень предсказуемости данных либо независимо от X T (независимая кластеризация), либо условно от X T (совместная кластеризация).
Сначала мы строим последовательности вознаграждения и перехода, в которых знание функции перехода полностью уменьшает неопределенность функции вознаграждения ( I ( R ; T ) = H ( R ), и, следовательно, H ( R | T ) = 0). Рассмотрим x R = A (20) BCD и T T = 1 (20) 234, где A (20) и 1 (20) относятся к 20 повторениям A и 1 соответственно.Таким образом, мы ожидаем, что совместная кластеризация даст лучшее обобщение, чем независимая кластеризация, если наблюдения бесшумны. Для имитации шума/частичной наблюдаемости мы предполагаем, что каждое наблюдение ошибочно идентифицируется как некоторая новая функция T * ∉ {1, 2, 3, 4} с некоторой вероятностью. Важно отметить, что эта симуляция требует того, чтобы шум не влиял на сами I ( R ; T ) или H ( R ) (истинные генеративные функции).Мы сравниваем вывод x независимо от x T T T (моделирование независимой кластеризации) или условно зависит от x T (моделирование совместного кластеризации) для различных уровней шума σ = [0, 1,0]. Когда шум достаточно высок ( σ > 0,71), независимая кластеризация дает лучшую оценку X R , чем совместная кластеризация (рис. 5, справа, зеленая линия) даже для этого предельного случая, когда две функции имеют идеальная взаимная информация.
Затем мы оценили, как взаимодействуют взаимная информация и шум, уменьшив соответствие последовательностей. Как отмечалось выше, в последовательностях, используемых выше ( x R = A (20) BCD и x T = 1 (20) 234), там нет остаточной неопределенности R при T . Мы можем уменьшить корреспонденцию между двумя последовательностями с помощью переключения x T к одному, и, таким образом, уменьшить взаимную информацию [ I ( x R ; x T ) ≈ 0.77; ]. Как мы уже отмечали ранее, это снижение взаимной информации снижает пользу от совместной кластеризации, при прочих равных . Тем не менее, по-прежнему существует тесная связь между наградами и переходом, которую можно использовать путем совместной кластеризации.
Моделирование независимой и совместной кластеризации этих новых последовательностей в зависимости от σ = [0, 1,0] показывает более низкий уровень шума, необходимый для того, чтобы увидеть преимущества независимой кластеризации (рис. 5, справа). Как и ожидалось, совместная кластеризация дает лучшую оценку в случае отсутствия шума, а также для низких уровней шума ( σ < 0.33), так как он может использовать преимущества общей структуры, в то время как независимая кластеризация приводит к более точной оценке больших уровней шума. Важно отметить, что эти эффекты являются кумулятивными; в экологических условиях, где наблюдения зашумлены и имеется только слабая взаимная информация, независимая кластеризация, вероятно, обеспечит лучшую оценку априорного вознаграждения.
Мета-агент
Учитывая, что оптимальность каждой фиксированной стратегии варьируется в зависимости от статистики предметной области, возникает естественный вопрос, может ли отдельный агент эффективно оптимизировать свой выбор стратегии, каким-то образом отслеживая эту статистику.Другими словами, может ли агент сделать вывод о том, является ли общая статистика более показательной для совместной или независимой структуры, и соответственно извлечь выгоду? Здесь мы решаем этот вопрос, реализуя метаагент, который выводит правильную политику для двух стратегий (ниже мы также рассматриваем простую эвристику RL без модели для арбитража между агентами, которая дает качественно схожие результаты).
Для любой заданной фиксированной стратегии оптимальная политика максимизирует ожидаемую дисконтированную будущую прибыль и определяется уравнением 1. Пусть оптимальная политика для модели m . Нас интересует, является ли глобальная оптимальная политика π *, которую мы можем определить вероятностно как
(16)
(17)
где свидетельство байесовской модели и где . Доказательства байесовской модели, как обычно,
(18)
где — вероятность наблюдений в рамках модели, Pr( m ) — априорное значение по сравнению с моделями, а Z — нормирующая постоянная. Функция правдоподобия для независимых и совместных моделей кластеризации является произведением функций отображения и вознаграждения (как определено условно для кластера в уравнениях 6, 7 и 8).Однако оценки функции отображения очень похожи для обеих моделей (рис. 2C и 3C). Таким образом, в качестве упрощающего предположения мы можем аппроксимировать данные модели тем, насколько хорошо каждая модель предсказывает вознаграждение:
(19)
где r t — вознаграждение, собранное в момент времени t . Независимую и совместную кластеризацию можно интерпретировать как частные случаи этого метаобучаемого агента с сильным априорным значением Pr( m ) = 1.
При равномерном априорном отношении моделей эта стратегия сводится к выбору агента на основе того, насколько хорошо он предсказывает вознаграждение, подход, неоднократно использовавшийся в метаобучающих агентах [3, 23, 24].
Мы смоделировали агент метаобучения с одинаковым априорным значением для двух моделей и использовали выборку Томпсона [25] для выборки политики из совместной и независимой кластеризации в начале каждого испытания (рис. 6А). В первой области задач, где независимая кластеризация приводит к лучшей производительности, чем совместная кластеризация, производительность метаагента более точно соответствует производительности независимого агента кластеризации (рис. 6B). Метаагент выполнил задание в среднем за 235.2 (s = 35,3) шага по сравнению с 205,2 (s = 20,2) и 267,5 (s = 22,4) шага для независимых и совместных агентов кластеризации. Кроме того, метаагент с большей вероятностью будет выбирать политику независимого агента кластеризации с течением времени (рис. 6D). Во второй области задач, где совместная кластеризация превзошла независимую кластеризацию, метаагент выполнил задачу в среднем за 417,5 (s = 42,0) шагов по сравнению со средним значением 384,2 (s = 21,2) и 441,6 (s = 35,9) шагов. для совместного и независимого агентов кластеризации соответственно.Аналогичным образом, со временем метаагент с большей вероятностью выберет политику агента совместной кластеризации (рис. 6E).
Рис. 6. Мета-агент.
A : В каждом испытании метаагент пробует политику совместного или независимого субъекта на основе образцовых доказательств для каждой стратегии. Оба агента и их модельные свидетельства обновляются на каждом временном шаге. B : Общая производительность независимых, совместных и метаагентов при моделировании 1 C : Общая производительность независимых, совместных и метаагентов при моделировании 2 D,E : Вероятность выбора политики совместной кластеризации во времени при моделировании 1 ( D ) и моделирование 2 ( E ).
https://doi.org/10.1371/journal.pcbi.1006116.g006
Простая в вычислительном отношении аппроксимация оценки ответственности модели заключается в выборе агентов в зависимости от их оценочной стоимости. В этом приближении правило обучения ошибкам прогнозирования вознаграждения оценивает значение для каждой модели, Q m , в соответствии с правилом обновления: (20) где η — скорость обучения и вознаграждение, предсказанное моделью в момент времени t .Эти значения можно использовать для выборки моделей с помощью правила принятия решений softmax. (21) Моделирование с использованием этой стратегии арбитража при значениях параметров β = 5,0, η = 0,2 привело к качественно аналогичной картине результатов. Производительность в обеих симуляциях 1 и 2 не отличалась от байесовского мета-агента: агент завершил симуляцию 1 за 237,2 (s = 41,2) шагов по сравнению с 235,2 (s = 35,3), полученными для байесовской реализации ( p < 0.65) и завершение моделирования 2 за 418,7 (s = 45,9) шагов по сравнению с 417,5 (s = 42,0) шагами для байесовского агента ( p < 0,81).
Таким образом, несмотря на то, что как для версии логического вывода, так и для версии RL, метаагент не сравнялся по производительности с лучшим агентом ни в одной из сред, он превзошел худший из двух агентов в обеих средах. Нормативно это полезное свойство, если агент заботится о минимизации наихудшего возможного результата в неизвестных областях задач (в отличие от максимизации их производительности в одной области), подобно минимаксному правилу принятия решений в теории принятия решений [26].Это может быть выгодно, если у агента мало информации о распределении областей задач и если цена выбора неправильной стратегии велика, как в проблеме «дьявольских комнат». Кроме того, хотя мы использовали одинаковый априор для двух стратегий, изменение априора может привести к лучшей стратегии для данного набора областей задач.
В нашем теоретико-информационном анализе выше мы показали, что статистика задачи определяет нормативную стратегию в зависимости от того, какой агент более эффективен в снижении байесовского удивления по поводу вознаграждения.Агент метаобучения извлекает выгоду из этой же интуиции, используя предсказанные вознаграждения для выбора стратегий. В частности, мы утверждали, что нормативная ценность каждой стратегии зависит от взаимной информации между вознаграждениями и сопоставлениями. Таким образом, мы оценили, чувствителен ли агент метаобучения к взаимной информации, не вычисляя ее напрямую, и, следовательно, с большей вероятностью выберет совместную кластеризацию, когда взаимная информация выше.
В приведенных выше симуляциях 1 и 2 мы рассчитывали взаимную информацию каждый раз, когда добавлялся новый контекст, и использовали ее для прогнозирования вероятности выбора совместного агента в конце этого испытания.В частности, мы определяем (22) где — вероятность того, что каждое местоположение будет вознаграждено во всех контекстах, просмотренных до сих пор, и зависит от текущего сопоставления. Используя логистическую регрессию, мы обнаружили, что это положительно коррелирует с вероятностью выбора совместного агента в обоих моделированиях, что согласуется с ожиданиями [Моделирование 1: β = 3,3, p < 0,003; Моделирование 2: β = 9,4, p < 5 × 10 −41 ].
Обсуждение
В этой статье мы предлагаем две альтернативные модели кластеризации на основе контекста с целью обобщения: агент совместной кластеризации обобщает функции вознаграждения и перехода вместе, а агент независимой кластеризации обобщает функции вознаграждения и перехода по отдельности. .Эти модели мотивированы человеческим обучением и производительностью, которая считается структурированной и композиционной [27-29].
Обобщение можно рассматривать как решение проблемы размерности. В задачах реального мира перцептивное пространство обычно многомерно. Чтобы изучить политику, агенты должны изучить сопоставление между многомерным перцептивным пространством и эффекторным пространством. Изучение этого сопоставления может потребовать большого набора обучающих данных, возможно, намного большего, чем у человека был бы доступ [12, 21].Кластеризация может уменьшить размерность за счет проецирования пространства восприятия на скрытое пространство более низкого измерения, в котором несколько восприятий имеют одно и то же скрытое представление. Таким образом, агенту не нужно изучать политику для всего пространства состояний, а нужно изучать скрытое пространство меньшего измерения. Это явное допущение моделей, представленных здесь, а также других моделей кластеризации человеческого обобщения, позволяющее агентам коллапсировать по нерелевантным признакам и предотвращать интерференцию между отображениями стимул-реакция по скрытым различным правилам [3, 23].Связанные принципы были исследованы в непрерывном обучении [6-8], объектно-ориентированном и символьно-ориентированном подходах [11, 30-33].
Включение композиционности развивает этот аргумент, поскольку несколько политик часто имеют общие компоненты. Например, игра на саксофоне предполагает использование одних и тех же движений для воспроизведения одних и тех же нот с разным эффектом в разных песнях. Изучение политики как прямого сопоставления пространства эффекторов низкого уровня со значениями вознаграждения не позволяет использовать преимущества структуры, даже если эту политику можно повторно использовать в целом с другим инструментом.Таким образом, обучение на уровне компонентов, а не на уровне политик, сводит проблему высокой размерности к множеству проблем меньшей размерности. Хотя это усложняет выбор хорошего набора компонентов, здесь мы утверждаем, что марковский процесс принятия решений обеспечивает естественное разложение на функции вознаграждения и перехода. Важно отметить, что эта декомпозиция структуры задачи не эквивалентна декомпозиции политики, которая сама по себе зависит от совместных функций вознаграждения и перехода.Конечно, возможны и полезны (и не исключают друг друга) и другие разложения. Например, функции состояния-результата и зависящего от действия перехода состояния активной структуры вывода могут быть разложены на аспекты «что» и «где» [34, 35]. Хотя эти функции, аналогичные функциям вознаграждения и перехода, связаны общим представлением латентного состояния, такое разложение облегчает обобщение состояний, имеющих общие черты.
Независимо от выбора компонентов компонентов композиционная модель обобщения должна делать предположения о взаимосвязях между компонентами.Здесь мы утверждаем, что правильный выбор зависит от генеративной структуры, которая с эмпирической точки зрения в значительной степени неизвестна для экологической среды, с которой сталкиваются люди и искусственные агенты. Как мы продемонстрировали в приведенном выше моделировании мира-сетки, когда существует сильная взаимосвязь между компонентами, агент, который предполагает столько же, превосходит агент, который не предполагает никакой взаимосвязи, и наоборот (рис. 2 и 3). Имея достаточный (и стационарный) опыт, мы могли бы ожидать, что модель, которая предполагает обучаемую связь между компонентами (совместная кластеризация), будет работать лучше в новых контекстах, поскольку предположение о потенциальной связи между целями и отображениями может быть асимптотически не хуже, чем предположение о независимости (i .т. е. агент может просто узнать, что корреляция равна нулю). Тем не менее, сколько опыта достаточно для совместной кластеризации, чтобы обеспечить лучшую модель, трудно определить в целом, и это будет зависеть от статистики взаимосвязей и комбинаторного взрыва возникающего пространства состояний. Кроме того, шум или частичная наблюдаемость еще больше усложняют картину: даже при наличии полезной взаимной информации независимая кластеризация может дать более точную оценку при ограниченном опыте (рис. 5).
Почему это так? Это может показаться озадачивающим, учитывая асимптотические гарантии того, что совместная кластеризация не будет хуже в стационарных средах. Здесь поучительно сравнение между классификацией и обобщением. Мы можем думать о совместной кластеризации с точки зрения оценки совместного распределения генеративного процесса и о независимой кластеризации с точки зрения оценки предельного распределения для каждого компонента независимо (аналогично наивному байесовскому классификатору). В этой интерпретации независимая кластеризация компенсирует асимптотически худшую оценку генеративного процесса меньшей дисперсией со смещением, равным взаимной информации между сопоставлениями и целями.В задачах с ограниченным опытом, таких как представленный здесь тип, предвзятый классификатор часто работает лучше, чем асимптотически более точная оценка, потому что риск ошибочной классификации более чувствителен к дисперсии, чем к предвзятости [36]. Таким образом, игнорируя корреляционную структуру и увеличивая предвзятость к обобщению целей, которые являются наиболее популярными в целом, независимая кластеризация может минимизировать свои общие потери.
Интуитивно мы можем думать, что совместная кластеризация потенциально чрезмерно чувствительна к шуму.Хотя всегда лучше оценивать корреляции между компонентами в течение бесконечного времени, на практике это может не стоить затрат на это. Это происходит, когда корреляции между переходами и наградами слабы или их трудно определить. Для человека-ученика примером может быть зависимость между тем, насколько человек голоден, и тем, насколько тяжело нести тарелку с едой из буфета. Изучение этой взаимосвязи гарантированно будет асимптотически лучше, чем ее игнорирование, но, учитывая тривиальность преимущества и частоту контекста, оно, вероятно, не стоит затрат на исследование.
Предыдущие модели композиционного обобщения пытались разложить пространство политик, а не структуру задач, на многократно используемые части, которые можно повторно выполнять [34, 37]. Поскольку изученные стратегии зависят как от функции вознаграждения, так и от функции перехода конкретной задачи, эта декомпозиция неявно обобщает эти два источника информации вместе и, таким образом, не решает набор вопросов, рассматриваемых здесь (т. е. когда функция перехода не зависит от функции вознаграждения). функционировать в разных контекстах).Та же проблема относится к структуре опций и другим иерархическим представлениям задач [10, 32, 38–40]. Как следствие, повторное использование компонентов политики заставит агента исследовать области пространства состояний, которые имели высокую ценность вознаграждения в других контекстах, что, как мы показали, может быть или не быть адаптивной стратегией. Например, успешное обобщение в представленной здесь проблеме «дьявольских комнат» и задаче «плавание на пальцах», представленной Фермином и его коллегами [14, 15], требует отделения вознаграждения от статистики движения.Действительно, обобщение зависимых от политики представлений о состоянии-преемнике хорошо работает только при небольших отклонениях функции вознаграждения или перехода [10, 38, 39]. Таким образом, на выбор компонентов должна влиять устойчивость к изменениям функции вознаграждения и перехода, которая не обязательно будет связана с отдельной политикой.
С точки зрения человеческого познания, композиционное представление обеспечивает гибкость для создания новых политик в новых областях в соответствии с правилами.Эта гибкость, также известная как систематичность или генеративность , долгое время считалась ключевой характеристикой познания [29, 41]. Как отмечают Лейк и его коллеги, человек может повторно использовать полученные знания о структуре задачи для достижения произвольного количества целей, например, для выигрыша определенного количества очков в видеоигре [12]. Сильно связанные свойства компонентов могут препятствовать возможности систематичности, ограничивая гибкость для рекомбинации знаний. Как мы утверждали выше, рекомбинация информации о вознаграждении и переходе может быть особенно ценной, так что агентам, которые могут только обобщать политики и компоненты политики, чувствительные к вознаграждению, может не хватать систематичности.
Совершенно другая возможность состоит в том, что подходит сочетание стратегий. Хотя мы утверждаем, что независимая кластеризация является более простой статистической задачей, чем совместная кластеризация, очевидно, что есть случаи, когда совместная кластеризация выгодна. Как отмечалось ранее, обобщение представления состояния-преемника частично связывает переходы и вознаграждения и, тем не менее, является достаточно гибким, чтобы справляться с небольшими отклонениями в политике [10, 38, 39]. Кроме того, совместная кластеризация поддерживает более простые алгоритмы, такие как форма алгоритмов обучения по временной разнице, которая, как считается, лежит в основе лобно-стриарного обучения человека [3, 42], а также предложенные представления о последующем состоянии, недавно предложенные для планирования на основе гиппокампа [38, 39]. , 43].Как мы предложили с агентом метаобучения, компромисс между совместной и независимой кластеризацией может снизить риск проблемы принятия решения.
Более того, неизвестно, что человек обычно считает контекстной переменной более высокого порядка, отдельной от переменных состояния более низкого порядка [3, 42]. Экологически количество контекстов, с которыми потенциально может столкнуться человек, довольно велико, и в этом случае он сможет сформировать более точную оценку структуры корреляции между компонентами во времени.Если это предположение верно, то одной из потенциальных адаптивных стратегий было бы предположение о слабой взаимосвязи между компонентами на раннем этапе обучения и все большее использование корреляционной структуры по мере того, как ее подтверждают доказательства.
Таким образом, гибридная система поддерживается как вычислительными, так и алгоритмическими соображениями. С точки зрения биологической реализации вывод, необходимый для обобщения на основе контекстной кластеризации, может быть аппроксимирован иерархической системой обучения кортико-базальных ганглиев [3].Эта структура может быть расширена для учета независимой кластеризации за счет нескольких корковых кластеров, отдельно представляющих функции вознаграждения и отображения, каждая из которых может быть изучена с помощью модели нейронной сети [44]. Поскольку совместная кластеризация приводит к одной и той же политике, обобщенной для каждого контекста в кластере, совместная кластеризация не требует отдельной оценки функций вознаграждения и перехода, а вместо этого можно напрямую обобщить изученные политики (такие как значения стимул-действие).Это может устранить планирование, что является проблемой для любой биологической модели любого управления на основе модели. Тем не менее, несколько направлений исследований предполагают, что люди участвуют в управлении на основе моделей [14, 15, 39, 45, 46], а люди могут повторно использовать произвольные сопоставления действия-движения (очень похожие на предложенные здесь) для основанного на модели управления. контроль, предполагая композиционное представление, потенциально опосредованное дорсолатеральной префронтальной корой, дорсомедиальным полосатым телом и мозжечком [14, 15].
Наконец, в то время как мы представили независимую кластеризацию как мотивированную человеческими способностями к обобщению, вопрос о том, лучше ли человеческое обучение объясняется независимой или совместной кластеризацией или их сочетанием, остается открытым.Хотя модели являются обобщением предыдущих моделей, используемых для объяснения человеческого поведения [2–4], они делают отдельные проверяемые прогнозы для человеческого поведения. Совместная кластеризация предсказывает, что в задаче на обобщение люди будут использовать переходную формацию, чтобы сделать вывод о местонахождении неизвестной цели. Независимая кластеризация, напротив, предсказывает, что люди будут игнорировать информацию о переходе при поиске целей и игнорировать цели при выводе функции перехода. Предоставляя людям начальный набор контекстов, в которых популярность функции вознаграждения варьируется в зависимости от контекста в зависимости от отображения, можно выбрать новый набор тестовых контекстов, чтобы различать предсказания модели.Будущая работа будет посвящена этим предсказаниям и лежащим в их основе механизмам работы мозга.
Вспомогательная информация
S1 Рис.
A . Полная переходная функция обучения производительности агентов в моделировании 1. A , Left : Кумулятивное количество шагов, предпринятых каждой моделью, в зависимости от испытаний. Меньшее количество шагов означает лучшую производительность. A , Право : Распределение общего количества шагов, необходимых для выполнения задачи для каждого агента. Б . Функция производительности агентов в Simulation 2.
https://doi.org/10.1371/journal.pcbi.1006116.s001
(TIF)
S2 Рис. Производительность CRP в зависимости от структуры предметной области.
Слева : Относительный информационный прирост наивного предположения по сравнению с CRP как функция энтропии последовательности для CRP с оптимизированным альфа-параметром (зеленый) или фиксированным значением α = 1,0. Справа : Оптимизированное значение альфа (логарифмическая шкала) как функция энтропии последовательности.
https://doi.org/10.1371/journal.pcbi.1006116.s002
(TIF)
Каталожные номера
- 1. Маркус Г., Марблстоун А., Дин Т. Атомы нейронных вычислений. Наука. 2014 г., 31 октября; 346 (6209): 551–2. пмид:25359953
- 2. Гершман С.Дж., Блей Д.М., Нив Ю. Контекст, обучение и исчезновение. Психологический обзор. 2010 Январь; 117 (1): 197. пмид:20063968
- 3. Коллинз А.Г., Фрэнк М.Дж. Когнитивный контроль над обучением: создание, кластеризация и обобщение структуры набора задач.Психологический обзор. 2013 Январь; 120 (1): 190. пмид:23356780
- 4. Коллинз А.Г., Фрэнк М.Дж. Нейронная подпись иерархически структурированных ожиданий предсказывает кластеризацию и передачу наборов правил при обучении с подкреплением. Познание. 2016 31 июля; 152: 160–9. пмид:27082659
- 5. Коллинз А.Г., Кавана Дж.Ф., Фрэнк М.Дж. ЭЭГ человека раскрывает скрытую обобщаемую структуру правил во время обучения. Журнал неврологии. 2014 26 марта; 34 (13): 4677–85. пмид:24672013
- 6.Росман Б., Хавасли М., Рамамурти С. Повторное использование байесовской политики. Машинное обучение. 1 июля 2016 г .; 104 (1): 99–127.
- 7. Махмуд М.М., Хавасли М., Росман Б., Рамамурти С. Кластеризация марковских процессов принятия решений для непрерывной передачи. Препринт arXiv arXiv: 1311.3959. 2013 15 ноября.
- 8. Уилсон А., Ферн А., Тадепалли П. Перенос обучения в задачах последовательного решения: иерархический байесовский подход. В материалах семинара ICML по неконтролируемому и трансферному обучению, 27 июня 2012 г. (стр.217-227).
- 9. Леффлер Б.Р., Литтман М.Л., Эдмундс Т. Эффективное обучение с подкреплением с помощью перемещаемых моделей действий. В AAAI 2007 г., 22 июля (том 7, стр. 572-577).
- 10. Ленерт Л., Теллекс С., Литтман М.Л. Преимущества и ограничения использования функций-преемников для передачи в обучении с подкреплением. Препринт arXiv arXiv: 1708.00102. 2017 31 июля.
- 11. Кански К., Сильвер Т., Мели Д.А., Элдави М., Ласаро-Гредилья М., Лу Х., Дорфман Н., Сидор С., Феникс С., Джордж Д.Сети схемы: передача с нулевым выстрелом с генеративной причинно-следственной моделью интуитивной физики. Препринт arXiv arXiv: 1706.04317. 2017 14 июня.
- 12. Лейк Б.М., Ульман Т.Д., Тененбаум Дж.Б., Гершман С.Дж. Создание машин, которые учатся и думают, как люди. Поведенческие и мозговые науки. 2016 ноябрь: 1–01.
- 13. Джеймс В. Принципы психологии (Том 1). Нью-Йорк: Холт. 1890;474.
- 14. Фермин А., Йошида Т., Ито М., Йошимото Дж., Доя К. Доказательства планирования действий на основе моделей в задаче последовательного движения пальцев.Джей Мот Бехав. 2010;42(6):371–9. пмид:21184355
- 15. Fermin ASR, Yoshida T, Yoshimoto J, Ito M, Tanaka SC, Doya K. Планирование действий на основе моделей включает в себя сети кортико-мозжечка и базальных ганглиев. Научный доклад 2016; 6 (июль): 1–14.
- 16. Кельблинг Л.П., Литтман М.Л., Мур А.В. Обучение с подкреплением: опрос. Журнал исследований искусственного интеллекта. 1996; 4: 237–85.
- 17. Санборн А.Н., Гриффитс Т.Л., Наварро Д.Дж. Рациональные приближения к рациональным моделям: альтернативные алгоритмы обучения по категориям.Психологический обзор. 2010 г., октябрь; 117 (4): 1144. пмид:21038975
- 18. Шафто П., Кемп С., Мансингка В., Тененбаум Дж. Б. Вероятностная модель кросс-категоризации. Познание. 2011 г., 31 июля; 120 (1): 1–25. пмид:21377146
- 19. Олдос диджей. Обмен и связанные темы. В École d’Été de Probabilités de Saint-Flour XIII — 1983 1985 (стр. 1–198). Шпрингер, Берлин, Гейдельберг.
- 20. Саттон Р.С., Прекап Д., Сингх С. Между MDP и полу-MDP: структура временной абстракции в обучении с подкреплением.Искусственный интеллект. 1999 г., 1 августа; 112 (1-2): 181–211.
- 21. Ботвиник М.М., Нив Ю., Барто А.С. Иерархически организованное поведение и его нейронные основы: перспектива обучения с подкреплением. Познание. 2009 г., 31 декабря; 113 (3): 262–80. пмид:187
- 22. Санборн А.Н., Гриффитс Т.Л., Наварро Д.Дж. Более рациональная модель категоризации. Протокол 28-й ежегодной конференции Cogn Sci Soc. 2006; 1–6.
- 23. Франк М.Дж., Бадре Д. Механизмы иерархического обучения с подкреплением в кортико-стриарных цепях 1: вычислительный анализ.Кора головного мозга 2012 март
- 24. Доя К., Самедзима К., Катагири К., Кавато М. Обучение с подкреплением на основе нескольких моделей. Нейронные вычисления. 2002 г., июнь; 14 (6): 1347–69. пмид:12020450
- 25. Томпсон ВР. О вероятности того, что одна неизвестная вероятность превышает другую с учетом показаний двух выборок. Биометрика. 1933 г., 1 декабря; 25 (3/4): 285–94.
- 26. Бергер Дж.О. Статистическая теория принятия решений и байесовский анализ. 2-е изд. Нью-Йорк, штат Нью-Йорк: Springer-Verlag; 1985.
- 27. Гриффитс Т.Л., Чатер Н., Кемп С., Перфорс А., Тененбаум Дж.Б. Вероятностные модели познания: изучение представлений и индуктивных предубеждений. Тенденции Cogn Sci. 2010;14(8):357–64. пмид:20576465
- 28. Ревербери С., Гёрген К., Хейнс Дж.-Д. Композиционность представлений правил в префронтальной коре человека. Кора головного мозга. 2012;22(6):1237–46. пмид:21817092
- 29. Криете Т., Ноэль Д.С., Коэн Д.Д., О’Рейли Р.С. Косвенная и символоподобная обработка в префронтальной коре и базальных ганглиях.Proc Natl Acad Sci. 2013;110(41):16390–5. пмид:24062434
- 30. Диук С, Коэн А, Литтман МЛ. Объектно-ориентированное представление для эффективного обучения с подкреплением. В материалах 25-й международной конференции по машинному обучению, 5 июля 2008 г. (стр. 240-247). АКМ.
- 31. Конидарис Г., Барто А. Создание портативных вариантов: передача навыков в обучении с подкреплением. IJCAI Int Jt Conf Artif Intell. 2007; 895–900.
- 32. Конидарис Г.Построение иерархий абстракций с использованием цикла «навык-символ». В: Международная совместная конференция IJCAI по искусственному интеллекту. 2016. с. 1648–1654 гг.
- 33. Solway A, Diuk C, Córdova N, Yee D, Barto AG, Niv Y, et al. Оптимальная поведенческая иерархия. PLoS Comput Biol [Интернет]. 2014;10(8):e1003779.
- 34. Мирза М.Б., Адамс Р.А., Мэтис К.Д., Фристон К.Дж. Построение сцены, визуальный поиск пищи и активный вывод. Front Comput Neurosci. 2016 г.: 27378899
- 35.Мирза М.Б., Адамс Р.А., Мэтис С., Фристон К.Дж. Визуальное исследование человека снижает неопределенность в отношении воспринимаемого мира. ПлоС один. 2018 5 января; 13 (1): e01. пмид:287
- 36. Фридман Дж. Х. О смещении, дисперсии, 0/1 — потерях и проклятии размерности. Data Min Know Discov. 1997; 77: 55–6.
- 37. Wingate D, Diuk C, Donnell TO, Tenenbaum JB, Gershman S, Labs L, et al. Приоритеты композиционной политики Приоритеты композиционной политики. 2013
- 38.Руссек Э.М., Моменнежад И., Ботвиник М.М., Гершман С.Дж. Прогностические представления могут связать основанное на модели обучение с подкреплением с механизмами, не связанными с моделированием. PLoS Вычислительная биология. 2017. 1–35 с.
- 39. Моменнеджад И., Руссек Э.М., Чеонг Дж. Х., Ботвиник М. М., Доу Н. Д., Гершман С. Дж. Представление преемника в обучении с подкреплением человека. Природа человеческого поведения. 2017 сен;1(9):680
- 40. Мачадо М.С., Беллемаре М.Г., Боулинг М. Лапласианская структура для обнаружения вариантов в обучении с подкреплением.Препринт arXiv arXiv: 1703.00956. 2017 2 марта.
- 41. Фодор Дж., Пилишин З. Коннекционизм и когнитивная архитектура: критический анализ. Познание. 1988 г.: 2450716
- 42. Коллинз Эйдж, Кавана Дж.Ф., Фрэнк М.Дж. ЭЭГ человека раскрывает скрытую обобщаемую структуру правил во время обучения. Дж. Нейроски. 2014;34(13):4677–85. пмид:24672013
- 43. Stachenfeld KL, Botvinick MM, Gershman SJ. Гиппокамп как прогностическая карта. Нат Нейроски.2017;20(11):1643–53. пмид:28967910
- 44. Нагабанди А., Кан Г., Фиринг Р.С., Левин С. Динамика нейронной сети для глубокого обучения с подкреплением на основе моделей с тонкой настройкой без использования моделей. 2017; Доступно по адресу: http://arxiv.org/abs/1708.02596
- 45. Глешер Дж., Доу Н., Даян П., О’Доэрти Дж.П. Состояния против вознаграждения: диссоциирующие нейронные ошибки прогнозирования сигнализируют о базирующемся на модели и без нее обучении с подкреплением. Нейрон. 2010;66(4):585–95. пмид:20510862
- 46.Huys QJM, Eshel N, O’Nions E, Sheridan L, Dayan P, Roiser JP. Деревья бонсай в вашей голове: как павловская система формирует целенаправленный выбор, обрезая деревья решений. PLoS Comput Biol. 2012;8(3). пмид:22412360
3.3 Композиционные принципы — Стратегии для лучшей организации вещей — Основы графического дизайна и полиграфического производства
Алекс Хасс
У нас есть много слов для описания разочарования, которое мы испытываем, когда интерфейс не указывает нам то, что нам нужно знать.Шумно, грязно, захламленно, занято. Эти слова. . . выразить наше чувство визуальной перегруженности контентом на экране или странице. Нам нужно, чтобы они выражали, как неприятно пользователю не знать, куда направить наше внимание дальше. (Портер, 2010 г., п. 1)
Если все равны, ничего не выделяется. (Брэдли, 2011)
Правильная композиция визуальных элементов создает не только визуальную стабильность, она улучшает настроение посредством композиции и создает порядок, предотвращающий визуальный хаос.Дизайнеры используют композиционные правила в своей работе, чтобы заставить читателя войти в их работу и погрузиться в атмосферу дизайна, спокойную, но захватывающую, тихую, но интересную. Дизайнер журнала, например, создает сетку и упорядочивает типографские элементы, создавая понятную иерархию. Эта система дизайна интерпретируется по-разному, на страницах и разворотах, выпуск за выпуском. Если организационная система универсальна и спланирована продуманно и глубоко, ее можно использовать для создания уникальных и интересных макетов, которые остаются верными правилам, определенным для изначально разработанной системы в целом.Организационные принципы создают основу для проектирования, не определяя конечные результаты.
Композиционные правила можно использовать как для создания контента, так и для его организации. Художник и дизайнер Баухауза Ласло Мохой-Надь создал серию картин, позвонив в набор инструкций художнику по вывескам. Вот его отчет об опыте, написанный в 1944 году:
В 1922 году я заказал по телефону на вывесочной фабрике пять картин фарфоровой эмали.Передо мной была фабричная таблица цветов, и я рисовал свои картины на миллиметровой бумаге. На другом конце провода у начальника фабрики была такая же бумага, разделенная на квадраты. Он снял продиктованные формы в правильном положении. (Это было похоже на игру в шахматы по переписке). (Мохой-Надь, 1947, с. 79)
Преобразование визуальных элементов в сильную композицию само по себе является сложной задачей, но все чаще дизайнеров просят создать обширные композиционные системы, которые будут реализовывать другие люди.Подобно Ласло Мохой-Надь, дизайнеры должны уметь создавать сильные композиционные системы, а также объяснять, как работают их системы, как применять их правила и как их применять, чтобы они сохраняли актуальность.
Рисунок 3.17 ВыравниваниеВыравнивание относится к выравниванию сверху, снизу, по бокам или посередине текста, композиции или группировки графических элементов на странице. Часто композиция дизайна включает в себя сетку, где выравнивание текстовых блоков диктуется дизайном столбцов сетки (см.17).
Типографически горизонтальное выравнивание включает выравнивание по левому краю (также называемое выравниванием по левому краю или неровному правому краю), выравнивание по правому краю (также называемое выравниванием по правому краю или выравнивание по левому краю по правому краю), выравнивание по центру и выравнивание по ширине. Вертикальное выравнивание в типографике обычно связано с базовым выравниванием. В цифровом программном обеспечении существует базовая сетка, предназначенная для раскладки шрифта и представляющая собой невидимую линию, на которой располагаются символы шрифта.
Contrast — это визуальное устройство, которое усиливает особый характер обоих элементов, которые были соединены в пару.Контраст помогает композиции, создавая фокусы, а также добавляет энергии и визуального диапазона композиции. Использование контраста позволяет нам различать качества одного объекта, сравнивая различия с другим. Некоторые способы создания контраста между элементами дизайна включают использование контрастных цветов, размеров и форм. Йоханнес Иттен, преподаватель дизайна и художник Баухауса, сосредоточил свои исследования на концепции контраста как в композиции, так и в цвете. Список контрастов Иттена можно применить как к композиции, так и к атмосфере дизайнерской работы.Его список включает следующие пары: большой/маленький, твердый/мягкий, толстый/тонкий, светлый/тяжелый, прямой/изогнутый, непрерывный/прерывистый, много/мало, сладкий/кислый, заостренный/тупой, светлый/темный, громкий/мягкий, черный/белый, сильный/слабый, диагональный/круговой. Ни в одном дизайне не используется только один вид контраста, но обычно один доминирует над другими.
Йоханнес Иттен также работал с контрастом в своей основополагающей теории цвета и определил, что существует семь видов контраста.
- Контрастность оттенка возникает, когда оттенок или цвет отделяются черными или белыми линиями.Белые линии ослабляют «силу» и внешний вид цвета, а цвета вокруг белых линий кажутся темнее. Напротив, черная линия вокруг цвета усиливает впечатление цвета, а цвета вокруг черных линий кажутся светлее.
- Светло-темный контраст — это контраст между светлыми и темными значениями.
- Холодно-теплый контраст относится к контрасту между холодными и теплыми цветами. Теплые цвета — это красный, оранжевый и желтый цвета цветового круга, а холодные — синий, зеленый и фиолетовый.
- Дополнительный контраст — это контраст между цветами, расположенными непосредственно напротив друг друга на цветовом круге.
- Одновременный контраст возникает между двумя почти дополняющими друг друга цветами. Один цвет — это одна часть слева или справа от дополнительного цвета другого.
- Контраст насыщенности относится к контрасту между интенсивными цветами и третичными или приглушенными цветами. Приглушенные цвета кажутся более тусклыми, когда они расположены рядом с интенсивными цветами, а интенсивные цвета кажутся более яркими, когда они соседствуют с приглушенными цветами.
- Контраст расширения относится к контрасту между областями одного цвета и другого. Различные области одного цвета нужны для баланса другого.
Для текста контрастность достигается за счет использования различных цветов, шрифтов с засечками и без засечек, стилей шрифта, которые не часто сочетаются друг с другом, или шрифта вместо изображения. По мере того, как контраст в элементах уменьшается, элементы начинают казаться похожими, и уровень визуального интереса снижается.
Фокус в композиции привлекает к себе внимание раньше, чем остальная визуальная информация.Это называется акцент и достигается за счет привлечения внимания к определенному элементу. Акцент создается в графическом дизайне путем создания только одной фокусной точки и ее четкого выделения путем размещения элементов на странице в местах, где взгляд естественным образом привлекает правильное вхождение в работу. Дизайнеры полагаются на дополнительные композиционные принципы для поддержки иерархии композиции, такие как контраст, повторение или движение.
Дизайнеры используют выделение, чтобы помочь зрителям определить относительную важность каждого элемента в композиции.Акцент тесно связан с визуальной иерархией. И акцент, и визуальная иерархия создают порядок для зрителя, позволяя глазу увидеть первый важный элемент, затем второй, затем третий и так далее. Графические элементы получают или теряют акцент, изменяя размер, визуальную интенсивность, цвет, сложность, уникальность, размещение на странице и отношение к другим элементам.
Рисунок 3.18 Пример движенияДвижение создается путем создания визуальной нестабильности — подобно движению на фотографии, которое размывает изображение, как показано в примере на рисунке 3.18. Создать иллюзию движения фотографически или художественно несложно, потому что размытие преобразуется в движение в сознании зрителя. Однако это не единственный вариант для дизайнера. Композиция также может достигать движения, если графические элементы расположены таким образом, что направляет взгляд в определенном направлении — обычно путем создания диагонали, которая переводит взгляд вверх в правый угол (движение вперед) или вниз в левый угол. (обратное движение). Движение также можно создать с помощью перекрывающихся плоскостей, которые подразумевают глубину и расстояние, становясь все меньше и светлее по тону (имитируя глубину).Использование типографики в качестве визуального средства также является вариантом. Перекрытие текстовых блоков и/или предложений эффективно создает глубину и движение (хотя и ухудшает разборчивость). Дэвид Карсон — дизайнер, который часто использует эту технику для создания движения в своих работах.
Изменение масштаба (размера) — один из основных инструментов в наборе инструментов дизайнера. Изменение масштаба важно на двух уровнях. Первый носит чисто композиционный характер: чтобы композиция была динамичной и эффективной, необходимо разнообразие размеров ее элементов.Если все элементы имеют одинаковый визуальный вес, композиция будет плоской. Еще один аспект разнообразного масштаба — концептуальный. Если дизайн визуально искажает соотношение размеров одного элемента к другому, зритель сразу же выясняет, почему. Это отличный способ привлечь внимание зрителя и добавить изюминку в сообщение, встроенное в дизайн. Прекрасным примером этого является рекламная кампания «думай мало» 1960-х годов для Volkswagen Beetle.
Сериал остроумный и увлекательный, он играет на том, как мы воспринимаем размер.Это искажение остроумно и игриво, и маленькое представление представляется желаемым. Тонкие различия в масштабе не оказывают большого визуального воздействия, но большие очень драматичны. Концепция и контекст проекта должны определять соотношение разностей масштабов композиции. Большие различия в масштабе подходят для драматического и энергичного содержания дизайна, в то время как меньшие различия в масштабе подходят для профессионального и институционального содержания.
Близость элементов является частью гештальт-теории, которая представляет собой структуру пространственных отношений, разработанную в 1920-х годах немецкими психологами Максом Вертгеймером, Вольфгангом Колером и Куртом Коффкой.Термин гештальт означает единое целое, и указывает на лежащую в основе концептуальную структуру этой структуры. Гештальт работает, потому что разум стремится организовать визуальную информацию. Композиция, созданная с использованием гештальт-принципов, предопределяет то, как каждый из ее элементов пространственно взаимодействует с другими. В этой системе отношений непосредственная близость объектов, независимо от формы, размера или содержания, указывает на связь. Существует шесть основных гештальт-принципов: (1) сходство, (2) продолжение, (3) замыкание, (4) близость, (5) фигура/фон и (6) симметрия и порядок.
Подобие
Рис. 3.19 СходствоКогда визуальные элементы имеют схожую форму или внешний вид, зритель часто будет соединять отдельные компоненты и видеть шаблон или группу (см. рис. 3.19). Этот эффект можно использовать для создания одной иллюстрации, изображения или сообщения из ряда отдельных элементов. Сходство среды, формы, размера, цвета или текстуры вызывает ощущение сходства. Чувство группировки будет усиливаться или ослабляться за счет увеличения или уменьшения общности отдельных элементов.
Продолжение
Рис. 3.20 НепрерывностьПродолжение — это склонность ума видеть единую непрерывную линию соединения, а не отдельные компоненты (см. рис. 3.20). Глаз рисуется вдоль траектории, линии или кривой, если для этого достаточно близости между объектами. Эту тенденцию можно использовать, чтобы указать на другой элемент композиции или привлечь внимание к композиции. Взгляд будет продолжать двигаться по пути или направлению, предложенному композицией, даже когда композиция заканчивается, продолжая выходить за пределы страницы.
Затвор
Рис. 3.21. Замыкание. Замыкание — это метод проектирования, в котором используется склонность ума завершать незавершенные формы (см. рис. 3.21). Этот принцип работает, если зрителю предоставляется достаточно визуальной информации, чтобы он мог воспринять полную форму в негативном пространстве. По сути, ум «закрывает» форму, объект или композицию. В приведенном выше примере треугольник формируется сознанием зрителя, который хочет закрыть форму, образованную пробелами и пространствами соседних кругов и линий.Частичный треугольник, обведенный черным, также намекает на недостающую форму.
Близость
Рис. 3.22 БлизостьБлизость — это расположение элементов, создающее ассоциацию или взаимосвязь между ними (см. рис. 3.22). Если отдельные элементы похожи, то они, вероятно, будут восприниматься сначала как целое, а затем как отдельные компоненты. Если, как в приведенном выше примере, некоторые компоненты образуют большое «целое», аналогичные элементы, расположенные вдали от основной формы, также будут связаны с большой формой.В этом случае зритель интерпретирует их как отпадающие или удаляющиеся от основной формы. Используемые формы не обязательно должны быть геометрическими, чтобы создать эффект близости. Любые компоненты, имеющие сильное сходство по форме, цвету, текстуре, размеру или другому визуальному признаку, могут достичь близости. Близость также может быть достигнута с помощью непохожих форм и текстур, если они умно и концептуально составлены.
Фигура/фон
Рисунок 3.23 Фигура/фонФигура/фон обсуждалась ранее, но она является частью гештальт-теории, поэтому мы снова представляем ее здесь.Этот принцип описывает склонность ума видеть как две разные плоскости фокусировки, информацию как в положительном, так и в отрицательном пространстве (см. рис. 3.23). Это работает, если эти пространства достаточно выразительны по своей композиции.
Симметрия и порядок
Рис. 3.24. Симметрия. Симметрия и порядок исходят из предпосылки, что композиция не должна создавать ощущение беспорядка или дисбаланса (см. рис. 3.24), потому что зритель потратит время, пытаясь мысленно переупорядочить ее, вместо того чтобы сосредоточиться на встроенном содержании.Фотографический пример на рис. 3.25 составлен симметрично и позволяет зрителю сосредоточиться на фигуре в центре. Достижение симметрии в композиции также придает композиции баланс и ощущение гармонии.
Рисунок 3.25 Пример симметрии и порядкаРитм является неотъемлемой частью темпа дизайнерской композиции, а также необходим для создания паттерна, как показано в примере на рис. 3.26. Шаг повторяющегося мотива или элемента с регулярными или нерегулярными интервалами в дизайне определяет энергетическое качество композиции; это также создает последовательный и объединяющий фон для введения новых элементов.
Ритм — это эффект, создаваемый в журнале или книге путем изменения размещения элементов в структуре сетки. Изменения плотности элементов и визуальных тонов разворотов превращаются в ритмичную визуальную энергию по мере увеличения или уменьшения энергии каждой страницы. Ритм — это клей, соединяющий одну страницу с другой; он раскрывает повторяющиеся темы и создает в содержании движение, напряжение и эмоциональную ценность. Когда зрители понимают ритм книги, журнала или веб-сайта, они также оценят вариации, которые нарушают или подчеркивают ритм и вызывают интерес, изменение или напряжение.
Рисунок 3.26 Пример ритмаПовторение создает визуальную согласованность в дизайне страниц или визуальной идентификации, например, использование одного и того же стиля заголовка, одного и того же стиля заглавных букв и одного и того же набора элементов или повторение одного и того же базового макета с одной страницы на другую (см. 3.27).
Однако чрезмерное повторение создает монотонность. Это обычно приводит к скуке зрителя и скучным, неинтересным для дизайнера композициям. Обязательно создайте дизайн-систему, позволяющую повторениям внутри нее быть живыми и интересными страница за страницей.В приведенном выше примере используется простой набор правил, но поскольку правила позволяют изменять цвет и композицию, каждый отдельный компонент так же интересен сам по себе, как и в целом. Если вы не можете избежать чрезмерных повторений, попробуйте добавить несколько визуальных перерывов и пробелов, где глаза могут немного отдохнуть.
Рисунок 3.27 Пример повторенияБаланс и симметрия являются важными дизайнерскими качествами, поскольку они глубоко укоренились в ДНК человека. Поскольку наши тела симметричны, у нас есть сильная ассоциация и удовлетворение от сосредоточенного, симметричного дизайна.Уравновешивание визуальных элементов композиционно успокаивает напряженность и обосновывает дизайн (см. рис. 3.28). Это важно, если вы хотите передать ощущение стабильности зрителю. Когда мы смотрим на дизайн, мы используем наше врожденное чувство того, что представляет собой «правильный баланс», чтобы оценить его стабильность. Если эта стабильность отсутствует, мы чувствуем напряжение, которое может противодействовать сути сообщения. Композиции с центрированным дизайном очень хорошо работают для стабильного контента, обеспечивающего безопасность, но что делать с контентом, который требует внимания, напряженности или возбуждения?
Когда центрированная (или стабильная) композиция нежелательна, наилучшей стратегией является разработка асимметричной композиции.Асимметрия исследуется в графическом дизайне последние 150 лет, и дизайнеры продолжают открывать новые стратегии, которые кажутся свежими. Асимметрия не имеет эмпирических правил, а руководствуется неожиданным уравновешиванием распределения основных элементов в пространстве композиции. Контраст и контрапункт — основные средства композиции при асимметрии — крупные формы уравновешивают мелкие; интенсивные цвета уравновешивают нейтральные. Создать асимметричный дизайн непросто, потому что нет четких правил, которым нужно следовать, но по той же причине интересно создавать и интересно видеть.
Рисунок 3.28 Пример балансаПроще говоря, иерархия — это применение порядка важности к набору элементов. Иерархический порядок проявляется во всех аспектах нашей жизни и является определяющей характеристикой нашей современной культуры. Иерархия может быть очень сложной и строгой — хорошим примером этого является руководство по эксплуатации. Он также может быть незамысловатым и свободным. Иерархия в композиции визуально передается через вариации всех элементов — размера, цвета, расположения, тональности и т. д. (см. рис. 3.29).
Рисунок 3.29 Пример иерархииГрафический дизайн не всегда охватывает иерархию. Есть сообщения, которые больше подходят для визуальной анархии и хаоса (хороший пример — панк-дизайн). Эти проекты часто связаны с аудиторией, экспериментируя с универсальными правилами визуальной структуры и нарушая их. Важно, чтобы структура композиции соответствовала потребностям проекта.
Типографская иерархия очень важна в дизайне.Основная часть текста становится более понятной за счет упорядочивания с помощью системы заголовков, подзаголовков, разделов и подразделов. Иерархия создается, когда уровни иерархии ясны и отличимы друг от друга. Тонкие признаки различия неэффективны. Типографика действует как тональный голос для зрителя и должна создавать четкие вариации тона, высоты тона и мелодии.
Иерархия обычно создается с помощью подобия и контраста. Подобные элементы имеют равенство в типографской иерархии.Доминирующая и подчиненная роли присваиваются элементам, когда между ними имеется достаточный контраст. Чем больше и темнее элемент, тем большее значение он имеет. Меньшие и более легкие размеры и тона подразумевают меньшую важность.
Каждая иерархия имеет самый важный уровень и наименее важный уровень. Элементы, находящиеся между ними, ранжируются в соответствии с размером и положением. Однако, если вы разделите текст на слишком большое количество уровней, контраст между разными уровнями смоет их различия в иерархическом порядке.
Хорошей стратегией для дизайна текста является применение трех уровней типографской иерархии.
Титул
Функция заголовка — привлечь внимание читателя к содержанию текстового блока. Часто название визуально «ароматно» и обладает сильной визуальной динамикой и энергией.
Подзаголовок
Типографика второго уровня дает читателю возможность различать типы информации внутри текстового блока. Этот уровень шрифта включает в себя подзаголовки, кавычки, подписи и все остальное, что может помочь детализировать и помочь понять информацию текстового блока.
Текстовый блок
Текстовый блок — это содержимое. В отличие от функции «отображения» заголовка и подзаголовка, функция текстового блока состоит в том, чтобы сделать контент разборчивым и легким для визуального восприятия. Читатели должны иметь возможность решить, хотят ли они читать этот уровень, основываясь на уровнях основного (заголовок) и вторичного (подзаголовок) типа.
Как правило, типографская иерархия передает информацию от общего к частному по мере продвижения от заголовка к текстовому блоку. Общие моменты, представленные в заголовке, будут самыми важными и будут замечены почти всеми.Подумайте о том, как газета сканируется в поисках интересных новостей: если читатели заинтересованы в заголовке, они могут прочитать более подробную и подробную информацию в соответствующем текстовом блоке.
Выявление химических сигнатур градиентов солености посредством композиционного анализа белковых последовательностей белки в масштабах макроэволюции, Nature, 445, 47–52, https://doi.org/10.1038/nature05450, 2007 г.a, b
Akashi, H. and Gojobori, T.: Метаболическая эффективность и аминокислотный состав в протеомах Escherichia coli и Bacillus subtilis , П. Натл. акад. наук, 99, 3695–3700, https://doi.org/10.1073/pnas.062526999, 2002. a, b
Олсоп, Э. Б., Бойд, Э. С., и Рэймонд, Дж.: Объединение метагеномики и геохимия раскрывает экологический контроль над биологическим разнообразием и эволюция, BMC Ecol., 14, 16, https://doi.org/10.1186/1472-6785-14-16, 2014.a
Amend, J. P. и LaRowe, D. E.: Мини-обзор: Демистификация микробных энергетика реакций, Окружающая среда. микробиол., 21, 3539–3547, https://doi.org/10.1111/1462-2920.14778, 2019. a, b, c
Amend, J. P. and Shock, E. L.: Энергетика синтеза аминокислот в гидротермальные экосистемы, Наука, 281, 1659–1662, https://doi.org/10.1126/science.281.5383.1659, 1998. a, b
Amend, J. P., LaRowe, D. E., McCollom, T. M., and Shock, E. L. .: энергетика органического синтеза внутри и вне клетки, Филос.Т. Р. Соц. Б, 368, 20120255, https://doi.org/10.1098/rstb.2012.0255, 2013. a
Андерсон, Г. М.: Термодинамика природных систем, Кембриджский университет Press, Cambridge, 2nd Edn., https://doi.org/10.1017/CBO9780511840258, 2005. a, b
Asplund-Samuelsson, J., Sundh, J., Dupont, C. L., Allen, A. Э., МакКроу, Дж. П., Челепли Н. А., Бергман Б., Ининбергс К., Экман М.: Разнообразие и экспрессия бактериальных метакаспаз в водной экосистеме, Фронт. микробиол., 7, 1043, https://doi.org/10.3389/fmicb.2016.01043, 2016. a
Baudouin-Cornu, P., Surdin-Kerjan, Y., Marlière, P. и Thomas, D.: Молекулярная эволюция атомного состава белков, Наука, 293, 297–300, https://doi.org/10.1126/science.1061052, 2001. a
Бьельквист, Б., Хьюз, Г. Дж., Паскуали, К., Паке, Н., Равье, Ф., Санчес, Ж.-К., Фрутигер С. и Хохштрассер Д.: Фокусирующие позиции полипептидов в иммобилизованных градиентах рН можно предсказать по их аминогруппам. кислотные последовательности, Электрофорез, 14, 1023–1031, https://дои.org/10.1002/elps.11501401163, 1993. a, b
Беллквист, Б., Бассе, Б., Олсен, Э., и Селис, Дж. Э.: Ориентиры для сравнение двумерных карт белков из разных клеток человека типы, определенные по шкале pH, где изоэлектрические точки коррелируют с полипептидные композиции, Электрофорез, 15, 529–539, https://doi.org/10.1002/elps.1150150171, 1994. a, b, c
Boyd, E. S., Hamilton, T. L., Swanson, K. D., Howells, A. E. , Бакстер, Б.К., Меузер, Дж. Э., Позевиц, М.C., и Peters, J. W.: [FeFe]-гидрогеназа изобилие и разнообразие вдоль вертикального окислительно-восстановительного градиента в Большой соли Лейк, США, Междунар. Дж. Мол. наук, 15, 21947–21966, https://doi.org/10.3390/ijms151221947, 2014. a, b, c
Бойер, Г. М., Шуботц, Ф., Саммонс, Р. Э., Вудс, Дж., и Шок, Э. Л.: Углерод степень окисления микробных полярных липидов предполагает адаптацию к горячим источникам температурный и окислительно-восстановительный градиенты, Фронт. микробиол., 11, 229, https://doi.org/10.3389/fmicb.2020.00229, 2020. a, b
Braakman, R.и Смит, Э.: Композиционная и эволюционная логика метаболизм, физ. биол., 10, 011001, г. https://doi.org/10.1088/1478-3975/10/1/011001, 2013. a, b
Бург М. Б., Феррарис Дж. Д., Дмитриева Н. И.: Сотовая связь ответ на гиперосмотические стрессы // Физиол. Обр., 87, 1441–1474, https://doi.org/10.1152/physrev.00056.2006, 2007. a
Кановас III, П. А. и Шок, Э. Л.: Энергетика цикла лимонной кислоты в глубокая биосфера, в: Углерод в недрах Земли, под редакцией: Мэннинг, С.Э., Линь Ж.-Ф. и Мао В.Л., гл. 25 лет, американец Geophysical Union, 303–327, https://doi.org/10.1002/97811129.ch35, 2020. a
Chirife, J., Fontan, C. F., and Scorza, O. C.: Внутриклеточная вода активность бактерий по отношению к активности воды питательной среды, Дж. Заявл. Бактериол., 50, 475–479, https://doi.org/10.1111/j.1365-2672.1981.tb04250.x, 1981. a
ДеБерардинис, Р. Дж. и Ченг, Т.: Следующий вопрос: разнообразные функции глютамин в метаболизме, клеточной биологии и раке, Oncogene, 29, 313–324, https://дои.org/10.1038/onc.2009.358, 2010. a
Дик, Дж. М.: Средняя степень окисления углерода в белках, Дж. Рой. соц. Int., 11, 20131095, https://doi.org/10.1098/rsif.2013.1095, 2014. a, b, c
Дик, Дж. М.: Протеомические индикаторы состояния окисления и гидратации в колоректальный рак, PeerJ, 4, e2238, https://doi.org/10.7717/peerj.2238, 2016. a, b
Дик, Дж. М.: Химический состав и потенциал для протеомных трансформация при раке, гипоксии и гиперосмотическом стрессе, PeerJ, 5, e3421, https://дои.org/10.7717/peerj.3421, 2017. a, b, c
Дик, Дж. М.: Вода как реагент в дифференциальной экспрессии белков при раке, bioRxiv, https://doi.org/10.1101/2020.04.09.035022, 2020a. a
Дик, Дж. М.: JMDplots 1.2.4, Zenodo, https://doi.org/10.5281/zenodo.4111016, 2020б. a
Дик, Дж. М.: канпрот 1.1.0, Zenodo, https://doi.org/10.5281/zenodo.4105653, 2020г. a
Дик, Дж. М. и Шок, Э. Л.: Расчет относительного химического стабильности белков в зависимости от температуры и окислительно-восстановительного химического состава в горячий источник, PLOS One, 6, e22782, https://doi.org/10.1371/journal.pone.0022782, 2011. a, b, c
Дик, Дж. М., Ю, М., Тан, Дж. и Лу, А.: Изменения степени окисления углерода метагеномов вдоль геохимических окислительно-восстановительных градиентов, Фронт. микробиол., 10, 120, https://doi.org/10.3389/fmicb.2019.00120, 2019. a, b, c, d, e, f
Du, B., Zielinski, D. C., Monk, J. M. ., и Палссон, Б. О.: Термодинамические благоприятность и выход пути как эволюционные компромиссы в биосинтетике выбор пути, P. Natl. акад. наук, 115, 11339–11344, https://doi.org/10.1073/pnas.1805367115, 2018. a, b
Dupont, C. L., Larsson, J., Yooseph, S., Ininbergs, K., Goll, J., Асплунд-Самуэльссон Дж., МакКроу Дж. П., Челепли Н., Аллен Л. З., Экман М., Лукас А. Дж., Хагстрём А., Тиагараджан М., Бриндефальк Б., Рихтер, А. Р., Андерссон А. Ф., Тенни А., Лундин Д., Товчигречко А., Нюландер, Дж. А. А., Брами Д., Бэджер Дж. Х., Аллен А. Э., Руш Д. Б., Хоффман Дж., Норрби Э., Фридман Р., Пинхасси Дж., Вентер Дж. К. и Бергман Б.: Функциональные компромиссы лежат в основе обусловленного соленостью расхождения микробных состав сообщества, PLOS One, 9, e89549, https://doi.org/10.1371/journal.pone.0089549, 2014. a, b, c, d, e
Эйлер, А., Заремба-Недзведска, К., Мартинес-Гарсия, М., МакМахон, К. Д., Степанаускас Р., Андерссон С. Г. Э. и Бертилссон С.: Производительность и солёность микропланктона, выявленная сравнительным пресноводным метагеномика, Окружающая среда. микробиол., 16, 2682–2698, https://doi.org/10.1111/1462-2920.12301, 2014. a, b
Фейст, А. М., Генри, К. С., Рид, Дж. Л., Крумменакер, М., Джойс, А. . Р., Карп, П. Д., Бродбелт, Л.J., Hatzimanikatis, V. и Palsson, B. Ø.: A Реконструкция метаболизма в масштабе генома для Escherichia coli K-12 MG1655, на который приходится 1260 ORF и термодинамическая информация, Мол. Сист. Biol., 3, 121, https://doi.org/10.1038/msb4100155, 2007. a
Fernandez, A. B., Ghai, R., Martin-Cuadrado, A. B., Sanchez-Porro, C. ., Родригес-Валера, Ф., и Вентоза, А.: Метагеномное секвенирование прокариотических микробиота из двух гиперсоленых прудов морской солянки в Санта-Поле, Испания, Объявления о геноме, 1, e00933-13, https://doi.org/10.1128/genomea.00933-13, 2013. a, b
Финн С., Роджерс Л., Хендлер К., МакКлюр П., Амезкита А., Хинтон, Дж. К. Д. и Фэннинг С.: Воздействие серовара Salmonella enterica Typhimurium к трем увлажнителям, используемым в пищевой промышленности, вызывает различные системы осмоадаптации, Прикл. Окружающая среда. микробиол., 81, 6800–6811, https://doi.org/10.1128/AEM.01379-15, 2015. a, b, c, d, e, f
Fortunato, C. S., Larson, B., Butterfield, D. . A., и Хубер, J. A.: Пространственно отдельные, стабильные во времени микробные популяции опосредуют биогеохимические круговорот на морском дне и под ним в гидротермальных источниках, Environ.Microbiol., 20, 769–784, https://doi.org/10.1111/1462-2920.14011, 2018. a, b
Гарнер, М. М. и Бург, М. Б.: Макромолекулярная скученность и ограничение в клетки, подвергнутые гипертонусу, Am. J. Physiol., 266, C877–C892, https://doi.org/10.1152/ajpcell.1994.266.4.C877, 1994. a, b
Gasteiger, E., Hoogland, C., Gattiker, A., Duvaud, S., Wilkins , М. Р., Аппель, Р. Д. и Байрох А.: Инструменты идентификации и анализа белков на Сервер ExPASy, в: The Proteomics Protocols Handbook, под редакцией: Walker, Дж.М., Humana Press, Тотова, Нью-Джерси, 571–607, https://doi.org/10.1385/1-59259-890-0:571, 2005. a
Гхай, Р., Пашич, Л., Фернандес, А. Б., Мартин-Куадрадо, А.-Б., Мизуно, К. М., МакМахон, К. Д., Папке, Р. Т., Степанаускас, Р., Родригес-Брито, Б., Ровер Ф., Санчес-Порро К., Вентоса А. и Родригес-Валера Ф.: Новые многочисленные микробные группы в водной гиперсоленой среде, науч. Rep., 1, 135, https://doi.org/10.1038/srep00135, 2011. a, b, c
Гунде-Цимерман, Н., Племениташ, А.и Орен А.: Стратегии адаптации микроорганизмов трех доменов жизни к высоким концентрациям солей, ФЭМС микробиол. Rev., 42, 353–375, https://doi.org/10.1093/femsre/fuy009, 2018. a
Han, D., Link, H., and Liesack, W.: Реакция Methylocystis sp. . штамм SC2 к солевому стрессу: физиология, глобальный транскриптом и аминокислота профили, заявл. Окружающая среда. микробиол., 83, e00866, https://doi.org/10.1128/AEM.00866-17, 2017. a, b
Хань Ю., Чжоу Д., Панг X., Чжан Л., Сонг Ю., Тонг З., Бао Дж., Дай Э., Ван, Дж., Го, З., Чжай, Дж., Ду, З., Ван, X., Ван, Дж., Хуанг, П., и Ян, Р.: Сравнительный анализ транскриптома Yersinia pestis в реакция на гиперосмотический и соленый стресс, Res. микробиол., 156, 403–415, https://doi.org/10.1016/j.resmic.2004.10.004, 2005. a, b
Хавиг, Дж. Р., Раймонд, Дж., Мейер-Домбар, Д. Р. ., Золотова Н., Шок Г. Э. Л.: Слияние изотопов и геномики сообщества в кремнистой Горячий источник для отложения агломерата, J.Геофиз. Рез., 116, G01005, https://doi.org/10.1029/2010JG001415, 2011. a, b
Хуан Х., МакГарви П. Б., Сузек Б. Э., Мазумдер Р., Чжан Дж., Чен, Ю., и Ву, С. Х.: Комплексный сервис картирования идентификаторов, ориентированный на белок, для интеграция молекулярных данных, Биоинформатика, 27, 1190–1191, https://doi.org/10.1093/bioinformatics/btr101, 2011. a
Евтич, В., Столл, Б., Пфайффер, Ф., Шарма, К., Урлауб, Х., Марчфельдер, А., и Ленц, К.: Реакция Haloferax volcanii на соль и температурный стресс: исследование протеома с помощью масс-спектрометрии без меток, Протеомика, 19, 1800491, https://doi.org/10.1002/pmic.201800491, 2019. a
Канесаки Ю., Судзуки И., Аллахвердиев С. И., Миками К. и Мурата Н.: Солевой стресс и гиперосмотический стресс регулируют экспрессию различных наборов генов у Synechocystis sp. PCC 6803, Биохим. Биофиз. Рез. коммун., 290, 339–348, https://doi.org/10.1006/bbrc.2001.6201, 2002. a, b, c, d
Карл, Д. М. и Грабовски, Э.: Важность H в твердых органических частицах стехиометрия вещества, экспорт и поток энергии, фронт. микробиол., 8, 826, https://doi.org/10.3389/fmicb.2017.00826, 2017. a
Kauffman, J. M.: Простой метод определения степени окисления атомов в соединениях, J. Chem. Образовательная, 63, 474–475, https://doi.org/10.1021/ed063p474, 1986. a
Киган, К. П., Гласс, Э. М., и Мейер, Ф.: MG-RAST, служба метагеномики для анализа структуры и функций микробного сообщества, в: Microbial Экологическая геномика (MEG), под редакцией: Мартин Ф. и Уроз С., Спрингер, Нью-Йорк, 207–233, https://doi.org/10.1007/978-1-4939-3369-3_13, 2016. a
Кимбрел, Дж. А., Баллор, Н., Ву, Ю.-В., Дэвид, М. М., Хазен, Т. К., Симмонс, Б. А., Сингер С. В. и Янссон Дж. К.: Структура микробного сообщества и функциональный потенциал по гиперсолевому градиенту, Фронт. микробиол., 9, 1492, https://doi.org/10.3389/fmicb.2018.01492, 2018. a, b
Кочарунчитт, К., Кинг, Т., Гобиус, К., Боуман, Дж. П., и Росс, Т.: Глобальный ответ генома Escherichia coli O157:H7 Sakai во время динамического изменения кинетики роста, вызванные резким снижением активности воды, PLOS One, 9, e, https://doi.org/10.1371/journal.pone.00, 2014. a, b, c
Колер, К., Лоуренсо, Р. Ф., Бернхардт, Дж., Альбрехт, Д., Шулер, Дж., Хекер, М., и Гомеш, С. Л.: Комплексный геномный, транскриптомный и протеомный анализ чувствительного к гиперосмотическому стрессу α -протеобактерии, BMC Microbiol., 15, 71, https://doi.org/10.1186/s12866-015-0404-x, 2015. a, b, c, d
Копылова Э., Ноэ Л. и Тузе Х.: SortMeRNA: быстро и точно фильтрация рибосомных РНК в метатранскриптомных данных, Биоинформатика, 28, 3211–3217, https://doi.org/10.1093/bioinformatics/bts611, 2012. a
Кунин В., Раес Дж., Харрис Дж. К., Спир Дж. Р., Уокер Дж. Дж., Иванова Н., фон Меринг К., Бебут Б. М., Пейс Н. Р., Борк П. и Хугенгольц П.: Генетические градиенты миллиметрового масштаба и молекулярные конвергенция в гиперсолевом микробном мате, Mol. Сист. биол., 4, 198, https://doi.org/10.1038/msb.2008.35, 2008. a, b, c, d
Кайт, Дж. и Дулиттл, Р. Ф.: Простой метод отображения гидропатической характер белка, J.Мол. биол., 157, 105–132, https://doi.org/10.1016/0022-2836(82)-0, 1982. a, b
ЛаРоу, Д. Э. и Ван Каппеллен, П.: Разложение природного органического вещества: Термодинамический анализ, Геохим. Космохим. Ак., 75, 2030–2042, https://doi.org/10.1016/j.gca.2011.01.020, 2011. a
Леуко С., Рафтери М. Дж., Бернс Б. П., Уолтер М. Р. и Нейлан, Б. А.: Глобальные ответы уровня белка Halobacterium salinarum NRC-1 длительным изменениям внешней концентрации хлорида натрия J.Proteome Res., 8, 2218–2225, https://doi.org/10.1021/pr800663c, 2009. a
Ley, R. E., Harris, J. K., Wilcox, J., Spear, J. Р., Миллер С.Р., Бебут, Б. М., Мареска Дж. А., Брайант Д. А., Согин М. Л. и Пейс Н. Р.: Неожиданное разнообразие и сложность гиперсолончака Герреро-Негро микробный коврик, заявл. Окружающая среда. микробиол., 72, 3685–3695, https://doi.org/10.1128/AEM.72.5.3685-3695.2006, 2006. a
Лин, Дж., Лян, Х., Ян, Дж., и Луо, Л.: Молекулярный механизм и посттранскрипционная регуляция, характерная для акклиматизации Tetragenococcus halophilus к осмотическому стрессу, выявленная количественным протеомика, Дж.Протеомика, 168, 1–14, https://doi.org/10.1016/j.jprot.2017.08.014, 2017. a
Линдси, М. Р., Аменабар, М. Дж., Фекто, К. М., Дебес И. И., Р. В. ., Фернандес Мартинс, М. К., Фристад, К. Э., Сюй, Х., Холер, Т. М., Шок, Э. Л. и Бойд, Э. С.: Подповерхностные процессы влияют на доступность окислителей и хемоавтотрофный метаболизм водорода в горячих источниках Йеллоустона, Geobiology, 16, 674–692, https://doi.org/10.1111/gbi.12308, 2018. a
May, P. M. and Rowland, D.: JESS, Совместная экспертная система определения – VI: термодинамически согласованные стандартные энергии Гиббса реакции для водные растворы, New J.хим., 42, 7617–7629, https://doi.org/10.1039/C7NJ03597G, 2018. a
Майло Р., Йоргенсен П., Моран У., Вебер Г. и Спрингер М.: BioNumbers — база данных ключевых чисел в молекулярной и клеточной биологии, Нукл. Кислота. Res., 38, D750–D753, https://doi.org/10.1093/nar/gkp889, 2010. a
Минкевич, П., Даревич, М., и Иваниак, А.: Введение простого уравнения для выражать степени окисления в качестве альтернативы использованию правил, связанных с одни слова, J. Chem. Образовательная, 95, 340–342, https://дои.org/10.1021/acs.jchemed.7b00322, 2018. a
Моровиц, Х. Дж.: Теория биохимической организации, метаболические пути, и эволюция, Сложность, 4, 39–53, https://doi.org/10.1002/(SICI)1099-0526(199907/08)4:6<39::AID-CPLX8>3.0.CO;2-2, 1999. a, b
Möller, M . Н., Ли, К., Чиннарадж, М., Чунг, Х. К., Ланкастер, Дж. Р., и Деникола, А.: Растворимость и диффузия кислорода в фосфолипидных мембранах, Биохим. Биофиз. ак., 1858, 2923–2930, https://doi.org/10.1016/j.bbamem.2016.09.003, 2016. a
О’Лири, Н. А., Райт, М. В., Бристер, Дж. Р., Сиуфо, С., Хаддад, Д., Маквей, Р., Раджпут Б., Роббертсе Б., Смит-Уайт Б., Ако-Аджей Д., Асташин А., Бадретдин А., Бао Ю., Блинкова О., Бровер В., Четвернин В., Чой Ю., Кокс Э., Ермолаева О., Фаррелл С. М., Гольдфарб Т., Гупта Т., Хафт Д., Хэтчер Э., Хлавина В., Джоардар В. С., Кодали В. К., Ли В., Маглотт Д., Мастерсон П., МакГарви К. М., Мерфи М. Р., О’Нил К., Пуджар С., Рангвала, С. Х., Рауш, Д., Риддик Л. Д., Шох К., Шкеда А., Шторц, С. С., Сун Х., Тибо-Ниссен Ф., Толстой И., Талли Р. Э., Вацан А. Р., Валлин К., Уэбб Д., Ву В., Ландрам М. Дж., Кимчи А., Татусова Т., ДиКуччио, М., Киттс, П., Мерфи, Т. Д., и Прюитт, К. Д.: ссылка база данных последовательностей (RefSeq) в NCBI: текущий статус, таксономические расширение и функциональная аннотация, Nucl. Кислота. Рез., 44, Д733–Д745, https://doi.org/10.1093/nar/gkv1189, 2016. a
Оока Х., МакГлинн С. Э. и Накамура Р.: Электрохимия в глубоководных гидротермальные источники: использование термодинамической движущей силы для автотрофное происхождение жизни, ХимЭлектроХим, 6, 1316–1323, https://doi.org/10.1002/celc.201801432, 2019. a
Орен, А.: Жизнь при высоких концентрациях соли, внутриклеточный KCl концентрации и кислые протеомы, Front. микробиол., 4, 315, https://doi.org/10.3389/fmicb.2013.00315, 2013. a, b, c
Пол С., Баг С. К., Дас С., Харвилл Э. Т. и Датта, С.: Молекулярный сигнатура гиперсолевой адаптации: выводы из генома и протеома состав галофильных прокариот, Genome Biol., 9, Р70, https://doi.org/10.1186/gb-2008-9-4-r70, 2008. a, b, c, d, e, f
Poudel, S., Colman, D. R., Fixen, K. Р., Ледбеттер Р. Н., Чжэн Ю., Пенс, Н., Зеефельдт, Л. К., Питерс, Дж. В., Харвуд, К. С., и Бойд, Э. С.: Перенос электрона на нитрогеназу в различных геномных и метаболических фоны, J. Bacteriol., 200, e00757, https://doi.org/10.1128/JB.00757-17, 2018. a, b, c, d, e, f, g, h, i
Qiao, J., Huang, S., Te, R ., Ван Дж., Чен Л. и Чжан В.: Интегрированные протеомный и транскриптомный анализ выявляет новые гены и регуляторные механизмы, участвующие в реакции на солевой стресс у Synechocystis sp.PCC 6803, заявл. микробиол. Биотехнолог., 97, 8253–8264, https://doi.org/10.1007/s00253-013-5139-8, 2013. a, b, c
R Основная группа: R: язык и среда для статистических Computing, R Foundation for Statistical Computing, Вена, Австрия, https://www.R-project.org, последний доступ: 21 октября 2020 года. Дж.: Реакция E. coli на осмотический стресс: большие изменения количества цитоплазматических растворов и воды, Тренд.Биохим. наук, 23, 143–148, https://doi.org/10.1016/S0968-0004(98)01196-7, 1998. a, b
Ривз, Э. П., Макдермотт, Дж. М., и Зеевальд, Дж. С.: Происхождение метантиол в гидротермальных флюидах срединно-океанических хребтов, P. Натл. акад. наук, 111, 5474–5479, https://doi.org/10.1073/pnas.1400643111, 2014. a, b
Ревейо, Дж., Реддингтон, Э., Макдермотт, Дж., Алгар, К., Мейер, Дж. Л., Сильва, С., Зеевальд Дж., Герман К. Р. и Хубер Дж. А.: Поддонные микробы сообщества в богатых водородом жерловых флюидах из гидротермальных систем вдоль Мид-Кайман Райз, Окружающая среда.микробиол., 18, 1970–1987, https://doi.org/10.1111/1462-2920.13173, 2016. a, b
Ро, М., Тан, Х., и Йе, Ю.: FragGeneScan: краткое предсказание генов и подверженные ошибкам чтения, Nucl. Кислота. Рез., 38, е191, https://doi.org/10.1093/nar/gkq747, 2010. a
Родс, М.Э., Фитц-Гиббон, С.Т., Орен, А., и Хаус, К.Х.: Аминокислота признаки солености в масштабе окружающей среды с акцентом на Мертвых Море, Окружающая среда. микробиол., 12, 2613–2623, https://doi.org/10.1111/j.1462-2920.2010.02232.x, 2010. a
Родригес-Брито, Б., Ли, Л., Вегли, Л., Фурлан, М., Энгли, Ф., Брейтбарт, М., Бьюкенен Дж., Деснюс К., Динсдейл Э., Эдвардс Р., Фелтс Б., Хейнс М., Лю, Х., Липсон, Д., Махаффи, Дж., Мартин-Куадрадо, А. Б., Мира, А., Налтон, Дж., Пашич Л., Рэйхок С., Родригес-Мюллер Дж., Родригес-Валера Ф., Саламон П., Сринагеш С., Тинстад Т. Ф., Тран Т., Тербер Р. В., Вилнер Д., Юле М. и Ровер Ф.: Вирусное и микробное сообщество. динамика в четырех водных средах, ISME J., 4, 739–751, https://doi.org/10.1038/ismej.2010.1, 2010. a, b, c, d
Сатинский Б. М., Зелинский Б. Л., Доэрти М., Смит К. Б. , Шарма С., Пол, Дж. Х., Крамп, Б. К., и Моран, М. А.: Континуальный набор данных Amazon: количественные метагеномные и метатранскриптомные инвентаризации Амазонки Речной шлейф, июнь 2010 г., микробиом, 2, 17, https://doi.org/10.1186/2049-2618-2-17, 2014. a, b, c
Сатински Б. М., Фортунато К. С., Доэрти М., Смит С. Б., Шарма С., Уорд, Н. Д., Круше А.В., Ягер, П. Л., Ричи, Дж. Э., Моран, М. А., и Крамп, B. C.: Метагеномная и метатранскриптомная инвентаризация нижней Амазонки Река, май 2011 г., микробиом, 3, 39, https://doi.org/10.1186/s40168-015-0099-0, 2015. a, b, c
Шмидт, А., Кохановски, К., Веделаар, С., Арне, Э., Фолькмер, Б., Каллипо, Л., Кнупс К., Бауэр М., Эберсольд Р. и Хайнеманн М.: Количественные и зависящий от состояния протеом Escherichia coli , Nat. Биотехнолог., 34, 104–110, https://doi.org/10.1038/nbt.3418, 2016. a, b
Шабала Л., Боуман Дж., Браун Дж., Росс Т., Макмикин Т. и Шабала С.: Ионный транспорт и осмотическая адаптация в Escherichia coli в ответ к ионным и неионным осмотикам, Environ. микробиол., 11, 137–148, https://doi.org/10.1111/j.1462-2920.2008.01748.x, 2009. a, b, c, d, e
Шок, Э. Л., Холланд, М., Мейер-Домбар, Д. Р., Аменд Дж. П., Осберн Г. Р., и Фишер, Т. П.: Количественная оценка неорганических источников геохимической энергии в гидротермальные экосистемы, Йеллоустонский национальный парк, США, Geochim.Космохим. Ac., 74, 4005–4043, https://doi.org/10.1016/j.gca.2009.08.036, 2010. a, b
Simon, H. M., Smith, M. W., and Herfort , Л.: Метагеномные взгляды на частицы и связанная с ними микробиота в экосистеме прибрежной окраины, Передний. Microbiol., 5, 466, https://doi.org/10.3389/fmicb.2014.00466, 2014. a, b
Slonczewski, J. L., Fujisawa, M., Dopson, M., and Krulwich, T. А.: Измерение pH цитоплазмы и гомеостаз у бактерий и архей в: Достижения микробной физиологии, под редакцией: Пул, Р.К., Том. 55, Academic Press, Нью-Йорк, 1–79, https://doi.org/10.1016/S0065-2911(09)05501-5, 2009. Т., Снайпен, Л. Г., Нес, И. Ф., и Бреде, Д. А.: Транскриптомный и функциональный анализ стресса, вызванного NaCl в Enterococcus faecalis , PLOS One, 9, e
, https://doi.org/10.1371/journal.pone.00, 2014. a, bSterner, R. and Liebl, W.: Термофильная адаптация белков, Crit. Преподобный Биохим. мол., 36, 39–106, https://дои.org/10.1080/200140174, 2001. a
Swingley, W. D., Meyer-Dombard, D. R., Shock, E. L., Allop, E. B., Falenski, Х. Д., Хавиг Дж. Р. и Рэймонд Дж.: Координация экологической геномики а геохимия раскрывает метаболические переходы в экосистеме горячих источников, PLOS One, 7, e38108, https://doi.org/10.1371/journal.pone.0038108, 2012. a, b, c, d
Консорциум UniProt: UniProt: Всемирный центр знаний о белках, Нукл. Кислота. Рез., 47, D506–D515, https://doi.org/10.1093/nar/gky1049, 2019.a
Тернер, К. Б., Уэйд, Б. Д., Мейер, Дж. Р., Зоммерфельд, Б. А., и Ленски, Р. Э.: Эволюция стехиометрии организма в длительном эксперименте с Escherichia coli , Рой. соц. Открытая наука, 4, 170497, г. https://doi.org/10.1098/rsos.170497, 2017. a
Вавуракис, К. Д., Гхай, Р., Родригес-Валера, Ф., Сорокин, Д. Ю., Тринге, С. Г., Хугенгольц П. и Мюйзер Г.: Метагеномный взгляд на Некультивируемое разнообразие и физиология микробов в четырех гиперсоленых содовых озерах рассолы, фронт.микробиол., 7, 211, https://doi.org/10.3389/fmicb.2016.00211, 2016. a, b
Вагнер, А.: Энергетические ограничения эволюции экспрессии генов, Mol. биол. Evol., 22, 1365–1374, https://doi.org/10.1093/molbev/msi126, 2005. a, b
Walsh, C. T., Tu, B. P., and Tang, Y.: Восемь кинетически стабильны, но термодинамически активированные молекулы, которые приводят в действие клеточный метаболизм, Chem. Rev., 118, 1460–1494, https://doi.org/10.1021/acs.chemrev.7b00510, 2018. a, b
Wang, Y., Bryan, C., Сюй, Х., и Гао, Х.: Наногеохимия: геохимическая реакции и массообмен в нанопорах, Геология, 31, 387–390, https://doi.org/10.1130/0091-7613(2003)031<0387:NGRAMT>2.0.CO;2, 2003. a, b
Уорн, Дж. Р. В. и Питерс, А. П. Х.: Краткая химическая термодинамика, CRC Press, 2nd Edn., 1996. a
Витман, Б., Гунасекера, Т. С., Бисетти, П., Аганс, Р. и Палий, О.: Транскрипционные ответы уропатогенной Escherichia coli на повышенная осмоляльность окружающей среды, вызванная солью или мочевиной, Infect.Иммун., 81, 80–89, https://doi.org/10.1128/IAI.01049-12, 2013. a, b, c
Юэнс-Кларк К., Бомхофф М., Понсеро А. Дж., Вуд-Чарльсон Э. М., Линч Дж., Чой И., Хартман Дж. Х. и Гурвиц Б. Л.: iMicrobe: Инструменты и платформа открытий на основе данных для наук о микробиоме, GigaScience, 8, giz083, https://doi.org/10.1093/gigascience/giz083, 2019. a
Зельдович К.Б., Березовский И.Н., Шахнович Е.И. Белки и Детерминанты последовательности ДНК термофильной адаптации, PLOS Comput.Biol., 3, e5, https://doi.org/10.1371/journal.pcbi.0030005, 2007. a, b
Zhang, Y., Li, Y., Zhang, Y., Wang, Z., Чжао М., Су Н., Чжан Т., Чен Л., Вэй В., Луо Дж., Чжоу Ю., Сюй Ю., Сюй П., Ли В. и Тао Ю.: Количественная протеомика выявляет гиперсалин, опосредованный мембранными белками чувствительность и адаптация у галофилов Nocardiopsis xinjiangensis , J. Proteome Res., 15, 68–85, https://doi.org/10.1021/acs.jproteome.5b00526, 2016. a
Эффективный поиск композиционного пространства для гибридных органо-неорганических перовскитов с помощью байесовской оптимизации
любые тестовые примеры, которые мы, возможно, в конечном итоге захотим изучить, байесовский подход к оптимизации и, наконец, способ, которым код PAL реализует этот байесовский подход.
Тестовые примеры
Вычисления DFT требуют достаточно больших вычислительных ресурсов, поэтому исчерпывающий вычислительный поиск, как правило, невозможен, если композиционное пространство не ограничено достаточно, чтобы сделать возможным проверочное исследование. Мы провели два таких податливых ограничения, подтверждающие концепцию исследования, которые подчеркивают эффективность использования байесовского подхода к оптимизации для ускорения поиска оптимального состава HOIP.
Чистые галогениды
Наше первое доказательство концепции было достаточно небольшим по объему, чтобы позволить нам проверить предсказание байесовской оптимизации оптимального состава HOIP по сравнению с исчерпывающим поиском с использованием DFT.В этом испытательном примере искали оптимальный чистый галогенид перовскита, который максимизирует растворимость ионов свинца. В нашей модели «состав» перовскита состоит из четырех основных компонентов: аниона галогенида, катиона А-позиции, одного чистого растворителя и катиона свинца (В-позиции), который служит центральным ионом кластера. Галогенид-анионы выбирают из I, Br или Cl. Катион A-сайта может быть MA, FA или Cs. В качестве растворителя мы рассмотрели только один из восьми распространенных вариантов чистых растворителей: THTO, DMSO, DMF, NMP, GBL, ацетон, метакролеин и нитрометан.6 {\kern 1pt} x_i = 1\), в котором ненулевое x i указывает на присутствие соответствующего катиона. x 7 и x 8 — 8 8 р ). Поскольку ион свинца присутствует в каждом составе, он опущен здесь в описании x .Обратите внимание, что другие центральные ионы (например, Sn вместо Pb) могут быть добавлены к описанию аналогичным образом. Мы отмечаем, что мы пренебрегаем x 8 , когда сравниваем PAL с другими базовыми методами, что приводит к несколько худшим характеристикам PAL. То есть PAL, описанный в этом разделе, работает даже несколько лучше, чем на графике производительности. Это сделано, чтобы обеспечить справедливое сравнение между PAL и pySMAC, поскольку pySMAC не поддерживает дискретную переменную, которая принимает значение в конечном наборе пар действительных чисел.{12} {\kern 1pt} x_i = 1\) и ненулевое значение x i указывает на присутствие в растворе соответствующего катиона. x 13 и x 14 14 14 144435 x 13 — это относительный диэлектрический ( ε R ) и x 14 р ). Поскольку ион свинца присутствует в каждом составе, он снова исключен из x .Опять же, мы пренебрегаем x 14 при тестировании PAL с помощью современных методов.
Байесовская оптимизация
Байесовская оптимизация стала мощным методом поиска оптимизатора дорогостоящих функций. 28,29 Он состоит из двух компонентов: суррогатной модели для целевой функции и функции сбора данных для выбора следующей точки выборки. Алгоритм байесовской оптимизации работает следующим образом:
-
1.
Используя исходный набор данных, оцените гиперпараметры априорных значений для компонентов модели Linear Belief. При бенчмаркинге начните только с одной точки.
-
2.
Вычислить апостериорное распределение вероятностей по априорным и начальным данным.
-
3.
Пока бюджет на образцы не исчерпан, делать в итерации t :
-
(а)
Выберите следующую комбинацию x ( t ) для выборки с помощью функции сбора данных.
-
(б)
Оценить целевое значение x ( t ) .
-
(с)
Обновите апостериорную картину новым наблюдением.
-
(г)
По регулярному графику снова оцените гиперпараметры, используя все собранные наблюдения.
-
(а)
-
4.
Возвращает наилучшую найденную комбинацию.
Решение рекомендовать комбинацию с лучшим объективным значением среди отобранных кандидатов является консервативным с точки зрения теории принятия решений и естественным для наблюдений без шума.
Далее мы предлагаем статистическую модель, адаптированную для составов перовскитов. Для функции сбора мы выбрали метод ожидаемого улучшения, который, как известно, работает хорошо, когда объективные значения можно наблюдать без шума, как здесь.n {\kern 1pt} \alpha _ix_i + \beta (x) + \zeta + f\left( {x_\varepsilon ,x_\rho } \right).$$
(1)
Здесь n указывает количество бинарных дескрипторов для соли ABX 3 : 6 в чистых галогенидах и 12 в смешанных галогенидах. α i представляет собой вклад в энергию связи x i , вносимый присутствием галогенидов и катионов, и предполагается, что он одинаков для всех галогенидов и катионов. β ( x ) фиксирует отклонение V ( x ) от линейной модели. ζ представляет собой вклад общего свинцового кластера. F ( x ε ε ρ ρ ρ ρ ) Захватывает вклад растворителя S 0 к привязке энергии (в чистых галогенидах x = х 7 и х ρ = х 8 , в смешанных галогенидов х ε = х 13 и х ρ = x 14 ).2} \справа)\).
Мы используем регрессию GP, чтобы зафиксировать вклад смеси растворителей. Мы предполагаем, что f (·) взято из GP с функцией априорного среднего μ 0 (·) и ковариацией Σ 0 (·, ·). Поскольку ζ улавливает инвариантный вклад центрального иона, для нас разумно предположить, что μ 0 (·) = 0. Наконец, мы предполагаем, что разные растворители будут вести себя одинаково, если их дескрипторы схожи. Это формализовано в использовании ядра 5/2 Matérn.{ — \sqrt 5 r}.$$
(2)
Таким образом, предлагаемая генеративная модель имеет гиперпараметры:
$${\mathrm{\Theta}} = \left[ {\mu _\alpha ,\sigma _\alpha ,\sigma _\beta ,\mu _ \zeta ,\sigma _\zeta ,\sigma _m,l_0,l_1,…,l_d} \right].$$
(3)
Наше предыдущее распространение на V 1 1 2 2 , …, V , . 0} \ справа).\prime }} \right)} \hfill \end{массив},$$
(5)
, где I M M — м × м матрица идентичности м м — м × м матрица из них. Здесь мы вводим обозначение скобки для вектор-столбца, | x 〉 или вектор-строку 〈 x |. Таким образом, 〈 x | x 〉 будет скаляром, а | x 〉 〈 x | матрица м × м , где м — длина | x 〉 вектор.Наконец, индексы включаются; то есть 〈 x 1:3 | = ( x 1 , x 2 , x 3 ).
Подгонка гиперпараметров и задняя часть
Гиперпараметры нашей модели, как показано в уравнении. (3), оцениваются по данным. Для экспериментальной оценки мы использовали оценку максимального правдоподобия, используя исходный набор данных, отобранный в соответствии с дизайном латинского гиперкуба и впоследствии оптимизированный с помощью подхода L-BFGS-B.Затем выбираются оптимизированные выборочные гиперпараметры, которые ведут себя лучше всего. Мы предполагаем, что объективное значение любого x можно наблюдать без шума. Тогда апостериорное распределение f (·), вклада смеси растворителей, является многомерным нормальным, как и апостериорное распределение коэффициентов регрессионной модели. 33
Валидация модели
Мы проверяем модель линейного убеждения, описанную выше, методом перекрестной проверки с исключением одного (LOO-CV) (см.4). Кроме того, была также выполнена перекрестная проверка с пропуском p-out (LpO-CV), в которой p = 100 точек данных удаляются из обучающего набора для целей проверки (см. рис. 4). Эти проверки показывают, что предложенная регрессионная модель хорошо представляет энергии межмолекулярной связи из DFT.
Рис. 4Перекрестная проверка с использованием метода LOO-CV (слева) и метода LpO-CV (справа). Черная линия показывает значения, полученные из вычислений DFT. Синяя линия показывает прогностическое среднее для предложенной регрессионной модели, гиперпараметры которой были обучены либо (1) всем точкам данных, кроме прогнозируемой (LOO-CV), либо (2) 140 точкам данных, а затем проверены на 100 оставшихся. .На оси и показана энергия межмолекулярной связи состав материала. Байесовская оптимизация поддается рассмотрению дорогостоящих целевых функций и, как таковая, предоставляет несколько возможностей для вычислений ДПФ. 28,29
Рис. 5Конвейер Physical Analytics.Слева целевые функции из моделирования вводятся в код байесовской оптимизации (середина схемы) для получения ранжированных прогнозов интересующих смесей растворителей ABX 3 (крайний правый рисунок). Экспериментальные источники информации (верхняя схема) в конечном итоге могут быть использованы для дальнейшей проверки, а также дальнейшей тонкой настройки статистической модели
Таким образом, PAL сочетает в себе функциональные возможности байесовской оптимизации, используя генеративную модель, предложенную в разделе «Байесовская оптимизация », с усовершенствованным методом расчета энтальпии сольватации или другого показателя успеха.Чтобы обеспечить надежность PAL, код был написан с учетом расчетов других параметров, включая (1) сольватацию, (2) межмолекулярное притяжение, (3) стерическое затруднение и (4) молекулярные свойства. Таким образом, для целевой функции рассматриваются следующие варианты:
-
1.
Порядок ненасыщенных связей Майера (UMBO) в молекуле растворителя (от наиболее полярного атома до ближайшего внутримолекулярного соседнего атома).
-
2.
Энергии межмолекулярной связи.
-
3.
Объем и эксцентриситет растворителя или растворенного вещества, определяемые эллипсом минимального объема (MVEE). 34
-
4.
Дипольный момент растворителя.
Порядок ненасыщенных связей Майера
Чтобы уловить UMBO между растворителем и растворенным веществом, где растворенным веществом является какой-либо вид HOIP ABX 3 (где A является катионом, B представляет собой Pb или Sn, и X галогенид), мы должны сначала выделить стабильную геометрическую конфигурацию этих молекул.Это достигается путем уравновешивания большого ящика растворителей с использованием MD, из которых меньшая подсистема дополнительно уравновешивается (внутри MD), и, наконец, конкретный мотив (внутри подсистемы) оптимизируется по геометрии в DFT. Первые два шага MD выполняются для того, чтобы автоматизировать создание адекватной начальной конфигурации для последующей оптимизации DFT. Чтобы сделать большую коробку с растворителем, мы использовали программное обеспечение packmol, чтобы упаковать один раствор соли свинца в коробку с растворителем размером 25 × 25 × 25 Å 3 . 35 С этой отправной точки расчеты МД были выполнены в LAMMPS, популярном программном обеспечении МД, с силовым полем OPLS-AA. 36,37 Поскольку мы планируем выполнить точную оптимизацию геометрии DFT предлагаемой конфигурации, мы допускаем следующие допущения в рамках нашего моделирования методом МД:
-
1.
Мы можем выполнить уравновешивание, используя микроканонический ансамбль NVE с ограниченным размером шага, чтобы избежать риска неожиданно плохого начального состояния.
-
2.
Нам нужно только выполнить NVE и изобарно-изотермическое, NPT, уравновешивание для 10 000 итераций (10 ps).
-
3.
Большой ящик (в MD) уравновешен с помощью ансамбля NVE с 0.1 Å с ограниченным размером шага, за которым следует уравновешивание с использованием ансамбля NPT при 300 K и 1 атм.
-
4.
Меньший блок (в MD) уравновешивается с использованием ансамбля NVE с ограниченным размером шага 0,001 Å, за которым следует другое уравновешивание ансамбля NVE с ограниченным размером шага 0,01 Å.
-
5.
Мы аппроксимируем Pb как Ba в OPLS-AA, так как они имеют одинаковую степень окисления (+2). Это связано с тем, что Pb не параметризуется в этом силовом поле.
-
6.
Мы поддерживаем константу ABX 3 , удаляя силы на протяжении всего моделирования МД.
-
7.
Шаг по времени 1,0 фс является разумным, особенно с учетом ограниченного размера шага вычислений NVE.
Меньший блок моделирования MD получается из большего блока моделирования (пост-равновесие) путем сначала определения межмолекулярных расстояний от иона растворенного вещества (в нашем случае Pb) до наиболее полярного атома в растворителях (обычно кислорода). Отсюда можно выбрать либо ближайшие растворители N , либо все растворители в пределах заданного радиуса.В случае, когда мы используем UMBO в качестве основы для нашей целевой функции, мы рассматриваем ближайшую молекулу растворителя.
Затем окончательная геометрия оптимизируется с использованием базового набора B97-D3 GGA с коррекцией дисперсии Гримме. 38,39 Используется базисный набор def2-TZVP с эффективным потенциалом ядра для иона Pb. 40 При моделировании растворителя используются как явная модель растворителя, так и неявная модель растворителя (с использованием пакета COSMO). 41 Это сделано потому, что неявная модель представляет собой недорогой метод улучшения/включения электронной поляризации растворенного вещества. 42 Система, а также отдельные компоненты (растворенное вещество и растворитель) оптимизируются в пакете Orca DFT, при этом на выходе возвращается окончательный UMBO. 43
Энергия связи
Подобно расчету UMBO, мы начинаем с уравновешивания большого ящика с растворителем. Здесь, однако, вместо того, чтобы рассматривать только один растворитель, мы изолируем молекулы N ближайшего соседа растворителя от данного растворенного вещества ABX 3 .Наконец, чтобы выполнить расчет энергии связи, нам также нужна энергия отдельных интересующих систем. В случае ABX 3 или одного растворителя мы просто оптимизируем молекулу независимо в ТФП. Однако в случае смешанных растворителей N мы должны использовать ту же процедуру, что и при выделении стабильной геометрической конфигурации для системы растворитель-растворенное вещество: большое уравновешивание по MD коробки с растворителем, за которым следует уравновешивание с меньшим MD для растворителей N с последующей оптимизацией геометрии конечной системы методом DFT.
Таким образом, PAL позволяет рассчитывать следующие энергии межмолекулярной связи:
-
1.
S 0 против S 0 ,
-
2.
S 0 против S 1 ,
-
3.
S 0 по сравнению с ABX 3 и
-
4.
S 0 , S 1 , …, S n по сравнению с ABX
3 9005
Стерические затруднения
Стерические затруднения, далее сокращенно именуемые «стерическими», охватывают эффект исключения объема из-за присутствия молекул.Это может вызвать проблемы с молекулярной упаковкой и вызвать напряжение в больших молекулярных системах. В случае нуклеации в игру вступают стерические факторы как физические ограничения, возникающие при сближении реактивных частиц друг с другом. Таким образом, определение параметров порядка для захвата эффектов стерических свойств в отношении (а) сольватации или (б) реакционной способности является актуальным. Один из таких подходов состоит в том, чтобы определить MVEE вокруг молекул, чтобы абстрагироваться от шаровидности молекулы и в конечном итоге упростить проблему. 34 Благодаря эллипсу, описывающему молекулу, теперь доступны различные математические представления, включая объем, эксцентриситет и площадь поверхности.Эти значения сами по себе могут быть полезны, но вполне вероятно, что комбинация с другими молекулярными свойствами окажется еще более полезной.
Молекулярные свойства
Помимо расчетов молекулярных взаимодействий (например, UMBO, энергии связи или стерических затруднений), сами молекулы обладают характерными свойствами (такими как поляризация и плотность), которые влияют на их поведение в объеме. Некоторые из этих свойств остаются доступными на уровне DFT, что позволяет нам использовать их в рамках правильно построенных целевых функций (таких как донорное число Гутмана, которое, как недавно было показано, является потенциальным индикатором растворимости Pb). 9 Хотя было показано, что не все обычно используемые молекулярные свойства напрямую коррелируют с интересующими объемными свойствами, целевая функция, связывающая их с молекулярными взаимодействиями, может оказаться полезной. 17
Состав и профиль лекарственной устойчивости возбудителей у больных тяжелым острым панкреатитом: ретроспективное исследование | BMC Gastroenterology
Мурад М.М., Эванс Р., Калидинди В., Наваратнам Р., Дворкин Л., Брэмхолл С.Р. Профилактическое назначение антибиотиков при остром панкреатите: бесконечные споры.Энн Р. Колл Surg Engl. 2017;99:107–12.
КАС пабмед ПабМед Центральный Статья Google ученый
ван Дейк С.М., Халленслебен НДЛ, ван Сантвоорт Х.К., Фокенс П., ван Гур Х., Бруно М.Дж. и др. Острый панкреатит: последние достижения благодаря рандомизированным исследованиям. Кишка. 2017;66:2024–32.
ПабМед Статья КАС ПабМед Центральный Google ученый
Wolbrink DRJ, Kolwijck E, Ten Oever J, Horvath KD, Bouwense SAW, Schouten JA.Ведение инфицированного панкреонекроза в отделении интенсивной терапии: описательный обзор. Клин микробиол инф. 2020;26:18–25.
КАС Статья Google ученый
Ma HX, He L, Cai SW, Xin XL, Shi HD, Zhou L и др. Анализ спектра и резистентности возбудителя, вызывающего сепсис, у больных тяжелым острым панкреатитом. Чжунхуа вай кэ дза чжи [Китайский хирургический журнал]. 2017;55:378–83.
КАС Google ученый
Malledant Y, Malbrain ML, Reuter DA.Что нового в лечении тяжелого острого панкреатита? Интенсивная терапия Мед. 2015;41:1957–60.
ПабМед ПабМед Центральный Статья Google ученый
Тугал Д., Линч М., Худжер А.М., Рудин С., Перес Ф., Бономо Р.А. Клебсиеллезный панкреатит с множественной лекарственной устойчивостью: новая проблема при тяжелой хирургической инфекции. Инф. 2015;16:188–93.
Артикул Google ученый
Петров М.С., Шанбхаг С., Чакраборти М., Филлипс А.Р., Виндзор Дж.А.Органная недостаточность и инфицирование панкреонекроза как детерминанты смертности больных острым панкреатитом. Гастроэнтерология. 2010;139:813–20.
ПабМед Статья ПабМед Центральный Google ученый
ван Сантворт Х.К., Баккер О.Дж., Боллен Т.Л., Бесселинк М.Г., Ахмед Али У., Шрайвер А.М. и др. Консервативный и минимально инвазивный подход к лечению некротизирующего панкреатита улучшает исход. Гастроэнтерология. 2011; 141:1254–63.
ПабМед Статья ПабМед Центральный Google ученый
Доказательные рекомендации IAP/APA по лечению острого панкреатита. Панкреатология 2013; 13: e1–15.
Hu Y, Jiang X, Li C, Cui Y. Результаты различных минимально инвазивных подходов при инфицированном некротическом панкреатите. Медицина. 2019;98:e16111.
ПабМед ПабМед Центральный Статья Google ученый
Ху И, Ли С, Чжао Х, Цуй Ю.Эндоскопический или малоинвазивный хирургический подход к инфицированному некротизирующему панкреатиту: систематический обзор и метаанализ. Revista espanola de enfermedadesdigestivas: organo oficial de la Sociedad Espanola de Patologia Digestiva. 2019; 111: 471–80.
Google ученый
Mowbray NG, Ben-Ismaeil B, Hammoda M, Shingler G, Al-Sarireh B. Микробиология инфицированного панкреонекроза. Hepatob Pancr Dis Int. 2018;17:456–60.
Артикул Google ученый
Барон Э.Дж., Миллер Дж.М., Вайнштейн М.П., Рихтер С.С., Гиллиган П.Х., Томсон Р.Б. мл. и др. Руководство по использованию микробиологической лаборатории для диагностики инфекционных заболеваний: рекомендации 2013 года Американского общества инфекционистов (IDSA) и Американского общества микробиологии (ASM)(a). Clin Inf Dis. 2013;57:e22–121.
Артикул Google ученый
Цзян X, Ши JY, Ван XY, Ху Y, Цуй YF.Влияние инфекционных осложнений на исходы острого панкреатита: ретроспективное исследование. Военная Медицинская Рез. 2020;7:38.
КАС Статья Google ученый
Manes G, Rabitti PG, Menchise A, Riccio E, Balzano A, Uomo G. Профилактика меропенемом септических осложнений при остром панкреатите: рандомизированное контролируемое исследование по сравнению с имипенемом. Поджелудочная железа. 2003;27:e79-83.
ПабМед Статья ПабМед Центральный Google ученый
Trudel JL, Wittnich C, Brown RA.Биодоступность антибиотиков при остром экспериментальном панкреатите. J Am Coll Surg. 1994; 178: 475–9.
КАС пабмед ПабМед Центральный Google ученый
Tian H, Chen L, Wu X, Li F, Ma Y, Cai Y и др. Инфекционные осложнения при тяжелом остром панкреатите: возбудители, лекарственная устойчивость и статус внутрибольничной инфекции в поликлинике при университете. Dig Dis Sci. 2020;65:2079–88.
КАС пабмед Статья ПабМед Центральный Google ученый
Барон Т.Х., ДиМайо С.Дж., Ван А.И., Морган К.А.Обновление клинической практики Американской гастроэнтерологической ассоциации: лечение панкреонекроза. Гастроэнтерология. 2020;158(67–75):e1.
Google ученый
Бэнкс П.А., Боллен Т.Л., Дервенис С., Гусен Х.Г., Джонсон К.Д., Сарр М.Г. и др. Классификация острого панкреатита-2012: пересмотр классификации Атланты и определений на международном уровне. Кишка. 2013;62:102–11.
ПабМед ПабМед Центральный Статья Google ученый
Шапиро Н.И., Вулф Р.Е., Райт С.Б., Мур Р., Бейтс Д.В.Кому нужна культура крови? Проспективно полученное и проверенное правило прогнозирования. J Emerg Med. 2008; 35: 255–64.
ПабМед Статья ПабМед Центральный Google ученый
Canzoneri CN, Akhavan BJ, Tosur Z, Andrade PEA, Aisenberg GM. Последующие посевы крови при грамотрицательной бактериемии: нужны ли они? Clin Inf Dis. 2017;65:1776–9.
Артикул Google ученый
Коберн Б., Моррис А.М., Томлинсон Г., Детский А.С.Нужен ли этому взрослому пациенту с подозрением на бактериемию посев крови? ДЖАМА. 2012; 308: 502–11.
КАС пабмед Статья ПабМед Центральный Google ученый
Вазирани Дж., Вурити С., Али М.Х. Кератит синегнойной палочки с множественной лекарственной устойчивостью: факторы риска, клинические характеристики и исходы. Офтальмология. 2015;122:2110–4.
ПабМед Статья ПабМед Центральный Google ученый
Venier AG, Leroyer C, Slekovec C, Talon D, Bertrand X, Parer S, et al.Факторы риска заражения Pseudomonas aeruginosa в отделениях интенсивной терапии: проспективное многоцентровое исследование. Дж. Хосп Инф. 2014;88:103–8.
Артикул Google ученый
Верге М., Новович С., Роуг С., Кнудсен Д.Д., Фельдагер Э., Глууд Л.Л. и др. Оценка местной инстилляции антибиотиков при инфицированном стенозированном панкреонекрозе. Панкреатология. 2018;18:642–6.
КАС пабмед Статья ПабМед Центральный Google ученый
Сонмезер М.С., Эртем Г., Эрдинч Ф.С., Кая Килич Э., Тулек Н.Оценка факторов риска антибиотикорезистентности у больных внутрибольничными инфекциями, вызванными синегнойной палочкой. 2016;2016:1321487.
Google ученый
Ли Х.С., Ли С.К., Пак Д.Х., Ли С.С., Сео Д.В., Ким М.Х. и др. Возникновение полирезистентной инфекции у больных тяжелым острым панкреатитом. Панкреатология [и др.] 2014;14:450–453.
Бобенчик А.М., Дик Э., Хиндлер Дж.А., Чарльтон К.Л., Хамфрис Р.М.Эффективность Vitek 2 для тестирования чувствительности Enterobacteriaceae к противомикробным препаратам с Vitek 2 (FDA 2009 г.) и контрольными точками CLSI 2014 г. Дж. Клин Микробиол. 2015;53:816–23.
ПабМед ПабМед Центральный Статья КАС Google ученый
Искандер К.Н., Осуховски М.Ф., Стернс-Куросава Д.Дж., Куросава С., Степьен Д., Валентайн С. и др. Сепсис: множественные аномалии, гетерогенные реакции и развивающееся понимание. Физиол Рев.2013;93:1247–88.
КАС пабмед ПабМед Центральный Статья Google ученый
Новотный А.Р., Рейм Д., Ассфальг В., Альтмайр Ф., Фрисс Х.М., Эммануэль К. и др. Смешанный антагонистический ответ и зависящий от тяжести сепсиса дисбаланс про- и противовоспалительных реакций в дебюте послеоперационного сепсиса. Иммунобиология. 2012;217:616–21.
КАС пабмед Статья ПабМед Центральный Google ученый
Юн Ф.Дж., Мао Сюй, Дэн Л.Х., Чжан М.М., Ся Ц.Непрерывная регионарная артериальная инфузия для лечения тяжелого острого панкреатита: метаанализ. Hepatob Pancr Dis Int. 2015;14:10–7.
Артикул Google ученый
da Costa DW, Boerma D, van Santvoort HC, Horvath KD, Werner J, Carter CR, et al. Поэтапное мультидисциплинарное пошаговое лечение некротизирующего панкреатита. Бр Дж Сур. 2014;101:e65-79.
ПабМед Статья ПабМед Центральный Google ученый
Пэн И, Би Дж, Ши Дж, Ли И, Йе С, Чен С и др.Инфекции Pseudomonas aeruginosa с множественной лекарственной устойчивостью представляют растущую угрозу для инфекционного контроля, связанного с оказанием медицинской помощи, в больницах Южного Китая: исследование наблюдения методом случай-контроль. Am J Infect Control. 2014;42:1308–11.
ПабМед Статья ПабМед Центральный Google ученый
Huang X, Li G, Yi L, Li M. [Эпидемиология колонизации полирезистентными бактериями и анализ ее факторов риска в отделении интенсивной терапии].Ван Дж. Чжунхуа вэй чжун бин цзи цзю и сюэ. 2015; 27: 667–71.
ПабМед ПабМед Центральный Google ученый
Фишман Дж. Э., Леви Г., Алли В., Чжэн Икс, Крот ДиДжей, Дейч Э.А. Слой кишечной слизи является критическим компонентом кишечного барьера, который повреждается при остром панкреатите. Шок (Августа, Джорджия). 2014;42:264–70.
КАС Статья Google ученый
Су М.С., Линь М.Х., Чжао К.Х., Лю З.В., Хе Л., Цзя Н.Клиническое изучение распространения и лекарственной устойчивости возбудителей у больных тяжелым острым панкреатитом. Chin Med J. 2012; 125:1772–6.
ПабМед ПабМед Центральный Google ученый
Ховард Т.Дж., Темпл М.Б. Профилактическое назначение антибиотиков изменяет бактериологию инфицированного некроза при тяжелом остром панкреатите. J Am Coll Surg. 2002; 195:759–67.
ПабМед Статья ПабМед Центральный Google ученый
Soares FS, Amaral FC, Silva NLC, Valente MR, Santos LKR, Yamashiro LH и др.Вызванная антибиотиками диссеминация патобионтов ускоряет смертность при тяжелом экспериментальном панкреатите. Фронт Иммунол. 2017; 8:1890.
ПабМед ПабМед Центральный Статья КАС Google ученый
Tan C, Ling Z, Huang Y, Cao Y, Liu Q, Cai T и др. Дисбактериоз кишечной микробиоты, связанный с воспалением, участвует в прогрессировании острого панкреатита. Поджелудочная железа. 2015;44:868–75.
КАС пабмед Статья ПабМед Центральный Google ученый
Трекаричи Э.М., Джулиано Г., Каттанео С., Балланти С., Крискуоло М., Кандони А. и др.Инфекции кровотока, вызванные Escherichia coli у онкогематологических пациентов: факторы риска и смертность в итальянском проспективном исследовании. 2019;14:e0224465.
КАС Google ученый
Лай К.С., Чен К.С., Лу Ю.К., Чуанг Ю.К., Тан Х.Дж. In vitro активность цефоперазона и цефоперазона-сульбактама в отношении резистентных к карбапенемам Acinetobacter baumannii и Pseudomonas aeruginosa. Инфорезистентность к наркотикам. 2019;12:25–9.
КАС Статья Google ученый
Потрон А., Пуарель Л., Нордманн П.Возникновение устойчивости широкого спектра у Pseudomonas aeruginosa и Acinetobacter baumannii : механизмы и эпидемиология. Противомикробные агенты Int J. 2015; 45: 568–85.
КАС пабмед Статья ПабМед Центральный Google ученый
Амброуз П.Г., Ломовская О., Гриффит Д.К., Дадли М.Н., ВанСкой Б. Ингибиторы β-лактамазы: что вам действительно нужно знать. Курр Опин Фармакол. 2017; 36:86–93.
КАС пабмед Статья ПабМед Центральный Google ученый
Ван Д.Т., Чанг С.К., Ван Х.И., Чен П.С., Шиау Ю.Р., Лодердейл Т.Л.Высокие показатели множественной лекарственной устойчивости у Enterococcus faecalis и E. faecium, выделенных от стационарных и амбулаторных больных на Тайване. Диагностика Microbiol Inf Dis. 2013;75:406–11.
КАС Статья Google ученый
Отто М. Патогенез эпидермального стафилококка. Методы Mol Biol (Клифтон, Нью-Джерси). 2014;1106:17–31.
КАС Статья Google ученый
Укаи Т., Шиката С., Иноуэ М., Ногучи Ю., Игараси Х., Исаджи С. и др.Раннее профилактическое назначение антибиотиков при остром некротическом панкреатите: метаанализ рандомизированных контролируемых исследований. J Hepato-Biliary Pancr Sci. 2015;22:316–21.
Артикул Google ученый
Теннер С., Бейли Дж., ДеВитт Дж., Веге С.С. Рекомендации Американского колледжа гастроэнтерологов: лечение острого панкреатита. Am J Гастроэнтерол. 2013;108(14:00–15):16.
Google ученый