Изменения в трудовом законодательстве с 2018 года

В трудовое законодательство внесен ряд поправок, которые вступают в силу с 1 января 2018 года. Об особо важных изменениях читайте в нашей статье.

Ранее мы уже писали об изменениях, внесенных в Трудовой Кодекс. Часть из них вступила в силу еще в июле 2017 года. Подробнее читайте в статье «5 важных изменений в Трудовой Кодекс: как работать по-новому».

Изменения в трудовых договорах с сезонными работниками

Минтруд подготовил проект поправок в Трудовой кодекс РФ, касающихся труда сезонных рабочих. Если изменения примут, то в 2018 году изменятся правила заключения договоров с такими рабочими (ст. 294 ТК РФ), переезжающих на сезонную работу в другую местность. Суть изменений в следующем: работодатель будет обязан прямо указывать в трудовых договорах (в коллективном договоре и др.), будет ли оплачен работнику проезд к месту сезонной работы и обратный проезд к месту жительства или нет. В случае, если компания возьмет на себя такую обязанность, она должна будет выполнять условия договора.

Обязательная индексация зарплаты с 2018 года

Госдума рассмотрит вопрос об обязательстве коммерческих предприятий повышать ежегодно зарплату (законопроект № 1119655-6).  Речь идет о внесении дополнений в ст. 134 и ст. 134.1 Трудового Кодекса РФ.  Суть изменений: чиновники планируют сделать ежегодную индексацию доходов работников коммерческих компаний, в том числе и работающих на ИП, принудительной. Пока такое положение действует только в отношении бюджетников. Исключение будет сделано только для предприятий, которые итак выплачивают зарплату, десятикратно превышающую региональный МРОТ.

Вебинары для бухгалтеров в Контур.Школе: изменения законодательства, особенности бухгалтерского и налогового учета, отчетность, зарплата и кадры, кассовые операции.

Трудовые проверки

С 1 июля 2018 года нас ожидают новые правила проведения трудовых проверок. Теперь применяется риск-ориентированный подход.

В чем суть этого подхода? Интенсивность проверок будет зависеть от степени риска, которую присвоили трудовые инспекторы.

Проверить свой риск можно на сайте Роструда в разделе Планы проверок. На данный момент опубликованы списки компаний с высоким и значительным риском. Перечни работодателей со средним и умеренным риском ведомство разместит на сайте к сентябрю 2017 года.

Если компания не попадет ни в один список, значит, у нее низкий риск и плановую проверку ей не устроят. В исключительном случае компанию ожидает только внеплановая проверка, например, по жалобе работника.

Хотя пока не все списки не опубликованы, но свою категорию все равно можно узнать, если написать запрос трудинспекторам. Они должны ответить в течение 15 календарных дней.

Что влияет на категорию риска:

• долги по зарплате, штрафы,.
• условия труда на предприятии: несчастные случаи

Постановлением Правительства РФ от 16. 02.2017 №19  установлены пять уровней риска. От уровня риска зависит, как часто компанию будут проверять:

• Высокий — раз в два года
• Значительный — раз в три года
• Средний — раз в пять лет
• Умеренный — раз в шесть лет
• Низкий — плановых проверок не будет

Свой уровень риска можно оспорить и этим снизить частоту проверок. Для этого нужно подать в установленном порядке в федеральную инспекцию труда заявление об изменении присвоенной ранее категории риска.

Еще одно новшество 2018 года, касающееся трудовых проверок. С 1 июля 2018 года плановые трудовые проверки работодателей с категорией умеренного риска будут проходить по специальным проверочным листам. А с июля 2018 такая форма инспектирования коснется всех компаний. Проверочные листы ГИТ на 2018 год утверждены приказом Роструда от 10.11.2017 № 655 и содержат вопросы, относящиеся к соблюдению норм трудового законодательства, а также меры реагирования для случаев, если инспекторы выявят нарушения.

В списке — 107 проверочных листов для разных случаев, касающихся:

• порядка оформления на работу;
• требований к содержанию трудовых договоров;
• общих требований по установлению и выплате заработной платы;
• требований по установлению продолжительности рабочего времени;
• требований охраны труда при проведении различных видов работ, иных требований.

Каждый проверочный лист представлен в виде таблицы, состоящей из 3 столбцов: первый включает непосредственно вопрос, второй содержит указание на нормативный акт, которым установлены проверяемые обязательные требования, третий предназначен для указания ответа.

Курсы повышения квалификации для бухгалтеров и главных бухгалтеров на ОСНО и УСН. Учтены все требования профстандарта «Бухгалтер». Систематизируйте или обновите знания, получите практические навыки и найдите ответы на свои вопросы.

Статья 351.2 ТК РФ. Утратила силу с 1 января 2019 года.

Статья 351.2 ТК РФ. Утратила силу с 1 января 2019 года. – Федеральный закон от 07.06.2013 N 108-ФЗ.

Актуально на:

21 сентября 2021 г.

Трудовой кодекс, N 197-ФЗ | ст. 351.2 ТК РФ

Постоянная ссылка на документ

• URL
• HTML
• BB-код
• Текст

URL документа [скопировать]

<a href=””></a>

HTML-код ссылки для вставки на страницу сайта [скопировать]

[url=][/url]

BB-код ссылки для форумов и блогов [скопировать]

—

в виде обычного текста для соцсетей и пр. [скопировать]

Скачать документ в формате

Изменения документа

Постоянная ссылка на документ

• URL
• HTML
• BB-код
• Текст

URL документа [скопировать]

<a href=””></a>

HTML-код ссылки для вставки на страницу сайта [скопировать]

[url=][/url]

BB-код ссылки для форумов и блогов [скопировать]

—

в виде обычного текста для соцсетей и пр. [скопировать]

Скачать документ в формате

Составить подборку

Анализ текста

Идет загрузка…

С 1 января 2021 года вступил в силу закон о регулировании работы на “удаленке”. Федеральный закон от 08.12.2020 N 407-ФЗ “О внесении изменений в Трудовой кодекс Российской Федерации в части регулирования дистанционной (удаленной) работы и временного перев

С 1 января 2021 года вступил в силу закон о регулировании работы на “удаленке”. Федеральный закон от 08.12.2020 N 407-ФЗ “О внесении изменений в Трудовой кодекс Российской Федерации в части регулирования дистанционной (удаленной) работы и временного перевода работника на дистанционную (удаленную) работу по инициативе работодателя в исключительных случаях”. Закон внес поправки в главу 49.1 Трудового кодекса РФ “Особенности регулирования труда дистанционных работников”.

Так, закреплено определение понятия “дистанционная (удаленная) работа”. Предусмотрено, что трудовым договором или дополнительным соглашением к трудовому договору может предусматриваться выполнение работником трудовой функции дистанционно на постоянной основе (в течение срока действия трудового договора) либо временно (непрерывно в течение определенного трудовым договором или дополнительным соглашением к трудовому договору срока, не превышающего шести месяцев, либо периодически при условии чередования периодов выполнения работником трудовой функции дистанционно и периодов выполнения им трудовой функции на стационарном рабочем месте).

Таким образом, на законодательном уровне введен новый вид дистанционной работы – «временный». Под это понятие подпадает удаленная работа непрерывного характера сроком до полугода или чередование дистанционной/офисной работы.

Время взаимодействия работника, осуществляющего трудовые обязанности удаленно, с работодателем, включается в рабочее время. В исключительных случаях работодатель может по своей инициативе временно перевести работников на «дистанционку»:

– катастрофа природного или техногенного характера, производственная авария, несчастный случай на производстве, пожар, наводнение и другие угрожающие жизни ситуации;

– принятие решение органом государственной власти и (или) органом местного самоуправления.

Для перевода на удаленную работу по исключительным обстоятельствам согласия работника не требуется, но должен быть принят локальный нормативный акт. Работодатель (организация) предоставляет удаленщику необходимое оборудование, в том числе и средства защиты информации. Работнику можно использовать и свое оборудование, если работодатель не возражает. В случае, когда оборудование арендуется, ему выплачивается компенсация за расходы по аренде. Если работодатель не может обеспечить необходимым оборудованием для дистанционной работы, или специфика работы связана с необходимостью присутствия на стационарном рабочем месте, время, в течение которого работник не выполняет свои функции, считается временем простоя с соответствующей оплатой (не менее двух третей тарифной ставки, оклада или должностного оклада, рассчитанных пропорционально времени простоя).

Установлена обязательность использования работодателем усиленной квалифицированной электронной подписи, а работником – такой же или усиленной неквалифицированной электронной подписи при заключении (изменении, расторжении) следующих электронных документов:

– трудовой договор и дополнительные соглашения;

– договор о материальной ответственности;

– ученический договор.

Для обмена другими электронными требованиями использование усиленной квалифицированной электронной подписи не является обязательным, но в договоре должно быть предусмотрено, какой именно способ удостоверения документов и взаимодействия принят сторонами.

Выполнение работником трудовой функции дистанционно не может являться основанием для снижения ему заработной платы. Установлены, в том числе дополнительные основания прекращения трудового договора с дистанционным

работником, порядок временного перевода работника на дистанционную работу по инициативе работодателя в исключительных случаях.

Увольнение по инициативе работодателя работника, который трудится удаленно, будет возможно:

– если он не вышел на связь более 2 рабочих дней подряд (в договоре может быть предусмотрен более длительный срок) с момента, когда работодатель направил соответствующий запрос;

– при невозможности продолжать работу в постоянном дистанционном формате из-за переезда работника в другую местность.

Помимо направления работнику приказа (распоряжения) о прекращении трудового договора в электронном виде, в течение трех рабочих дней работодатель обязан направить копию такого приказа (распоряжения) в бумажном виде, по почте заказным письмом.

 

 Старший помощник прокурора Поваляева В.Н

 

Государственный департамент США

Прозрачность системы регулирования

В отчете Всемирного банка «Ведение бизнеса» за 2020 год Бразилия заняла 124-е место из 190 стран с точки зрения общей легкости ведения бизнеса в 2019 году, что на 15 позиций меньше, чем в отчете за 2019 год. По данным Всемирного банка, для открытия бизнеса в Бразилии требуется около 17 дней. Бразилия стремится упростить процесс и сократить время, необходимое для открытия малого или среднего предприятия (МСП) до пяти дней, с помощью своей программы RedeSimples .Точно так же правительство снизило бремя нормативных требований для МСП за счет продолжения использования программы SIMPLES , которая упрощает сбор до восьми налогов на федеральном, государственном и муниципальном уровнях в один платеж.

В исследовании Всемирного банка 2020 года было отмечено, что самый низкий балл Бразилии приходится на годовое административное бремя для среднего бизнеса по соблюдению бразильских налоговых кодексов в среднем 1501 час, что является значительным улучшением по сравнению со средним показателем в 1958 часов в 2019 году, но все же намного выше, чем 160. .Среднее значение за 7 часов для стран ОЭСР с высоким уровнем дохода. Общая налоговая ставка для среднего бизнеса составляет 65,1 процента от прибыли по сравнению со средним показателем в 40,1 процента в странах ОЭСР с высоким уровнем дохода. Бизнес-менеджеры часто жалуются на то, что не могут понять сложные, а иногда и противоречивые налоговые правила, несмотря на то, что в их компаниях есть крупные местные налоговые и бухгалтерские отделы.

Налоговые правила, хотя и обременительны и многочисленны, обычно не проводят различий между иностранными и отечественными фирмами.Однако некоторые инвесторы жалуются, что в некоторых случаях налог на добавленную стоимость, взимаемый отдельными штатами (ICMS), выгоден местным компаниям, которые экспортируют свои товары. Экспортеры во многих штатах сообщают о трудностях с получением скидок ICMS при экспорте их товаров. Налоги на коммерческие и финансовые операции особенно обременительны, и предприятия жалуются, что эти налоги снижают международную конкурентоспособность бразильских товаров.

Из десяти федеральных регулирующих агентств Бразилии наиболее известными являются:

• ANVISA, бразильский аналог U.S. Управление по санитарному надзору за качеством пищевых продуктов и медикаментов, которое имеет регулирующие полномочия в отношении производства и сбыта продуктов питания, лекарств и медицинских устройств;
• ANATEL, телекоммуникационное агентство страны, которое занимается телекоммуникациями, а также лицензированием и предоставлением полосы частот радиочастотного спектра;
• ANP, Национальное нефтяное агентство, которое регулирует нефтегазовые контракты и наблюдает за аукционами по разведке и добыче нефти и природного газа;
• ANAC, агентство гражданской авиации Бразилии;
• IBAMA, бразильское агентство по лицензированию и защите окружающей среды; и
• ANEEL, бразильский орган регулирования электроэнергетики, который регулирует энергетический сектор Бразилии и наблюдает за аукционами по контрактам на передачу, производство и распределение электроэнергии.

Помимо этих федеральных регулирующих агентств, в Бразилии есть по крайней мере 27 регулирующих агентств на уровне штата и 17 регулирующих агентств на муниципальном уровне.

Соединенные Штаты и Бразилия регулярно обсуждают вопросы упрощения процедур торговли, передовой практики регулирования и стандартов. 17-е пленарное заседание Торгового диалога состоялось в сентябре 2019 года, и в течение года происходят регулярные обмены на рабочем уровне между Министерством торговли США, Министерством экономики Бразилии и другими агентствами и регулирующими органами.

Регулирующие органы проводят анализы регулирующего воздействия (АРВ) на добровольной основе. Сенат утвердил законопроект о государственном управлении и подотчетности (PLS 52/2013 в Сенате и PL 6621/2016 в Палате) в качестве Закона 13 848 в июне 2019 года. Среди прочего, закон делает RIA обязательными для нормативных актов, которые влияют на «общее интерес.”

Палата депутатов, Федеральный сенат и Администрация президента поддерживают веб-сайты, предоставляющие публичный доступ как к утвержденным, так и к предлагаемым федеральным законам. Бразилия стремится улучшить процесс общественного обсуждения и участия заинтересованных сторон. В 2004 году Правительство Великобритании открыло онлайн-портал прозрачности с данными о средствах, переведенных в и из федеральных, государственных и городских властей, а также в и из зарубежных стран. Он также включает информацию о заработной плате государственных служащих.

В 2019 году Государственный департамент обнаружил, что Бразилия выполнила минимальные требования финансовой прозрачности в своем ежегодном отчете о финансовой прозрачности. Индекс открытости бюджета ставит Бразилию на один уровень с США с точки зрения прозрачности бюджета в своем последнем (2017) индексе.Правительство Бразилии демонстрирует адекватную фискальную прозрачность в управлении своими федеральными счетами, хотя есть возможности для улучшения с точки зрения полноты документации по федеральному бюджету. Бюджетные документы Бразилии общедоступны, широко доступны и достаточно подробны. Они дают относительно полную картину запланированных расходов и доходов правительства Банка. Информация в общедоступных бюджетных документах считается достоверной и достаточно точной.

Международные нормативные требования

Бразилия является членом Меркосул – южноамериканского торгового блока, в полноправные члены которого входят Аргентина, Парагвай и Уругвай.Хотя Бразилия регулярно применяет общие правила МЕРКОСУла, она по-прежнему придерживается бразильских правил.

Бразилия является членом ВТО, и правительство регулярно уведомляет о проектах технических регламентов, таких как потенциальные сельскохозяйственные торговые барьеры, Комитет ВТО по техническим барьерам в торговле (TBT).

Правовая система и независимость судебной системы

В Бразилии действует гражданская правовая система с судами штатов и федеральными судами. Инвесторы могут добиваться принудительного исполнения контрактов через судебную систему или через посредничество, хотя оба процесса могут быть длительными.Чтобы решения считались действительными в Бразилии, Верховный суд Бразилии (STJ) должен принимать решения о принудительном исполнении иностранных контрактов. Среди прочего, иностранное судебное решение не должно противоречить каким-либо предыдущим решениям бразильского суда по тому же спору. Гражданский кодекс Бразилии регулирует коммерческие споры, хотя коммерческие дела, связанные с морским правом, подчиняются более старому Торговому кодексу, который в остальном был в значительной степени заменен. Федеральные судьи рассматривают большинство споров, в которых одной из сторон является бразильский штат, а также выносят решения по судебным спорам между иностранным государством или международной организацией и муниципалитетом или лицом, проживающим в Бразилии.

Судебная система в целом независима. Верховный федеральный суд (STF), которому поручено рассмотрение конституционных дел, часто выносит решения по политически чувствительным вопросам. Судьи судов штатов и судьи федерального уровня ниже STF – это профессиональные должностные лица, отобранные на основе меритократического экзаменационного процесса. Однако судебная система отстает, и споры или судебные процессы любого рода часто требуют годы, чтобы прийти к окончательному решению, включая все доступные апелляции. Правила и правоприменительные меры могут быть оспорены в судебной системе, которая содержит механизмы обжалования в зависимости от уровня, на котором возбуждено дело.STF является высшей апелляционной инстанцией по конституционным основаниям; STJ является высшей апелляционной инстанцией по делам, не связанным с конституционными вопросами.

Законы и правила о прямых иностранных инвестициях

Бразилия находится в процессе создания «единого окна» для международных инвесторов. Согласно его веб-сайту: «Омбудсмен по прямым инвестициям (DIO) – это« единое окно »для инвесторов, предоставляемое Исполнительным секретариатом CAMEX. Он отвечает за получение запросов и запросов об инвестициях, ответы на которые должны быть даны совместно с государственным агентством, ответственным за вопрос (на федеральном, государственном и муниципальном уровнях), вовлеченным в каждый случай (сеть координационных центров).Эта новая структура позволяет поддерживать инвестора одним государственным органом, отвечающим за реагирование на запросы в короткие сроки ». Частные инвесторы отметили, что это лучше, чем предыдущая структура, но все же есть недостатки, которые необходимо устранять, чтобы эффективно работать по принципу «единого окна» для облегчения международных инвестиций. Веб-сайт DIO на английском языке: http://oid.economia.gov.br/en/menus/8

Антимонопольное и конкурентное законодательство

Административный совет экономической защиты (CADE), входящий в компетенцию Министерства юстиции, отвечает за обеспечение соблюдения законов о конкуренции, защиту потребителей и проведение нормативных обзоров предлагаемых слияний и поглощений.CADE была создана в 2011 году на основании Закона 12529, объединив антимонопольные функции Министерства юстиции и Министерства финансов. Закон привел Бразилию в соответствие с практикой проверки слияний в США и Европе и позволяет CADE проводить проверки до слияния, в отличие от прежнего правового режима, при котором правительство проверяло слияния постфактум. В октябре 2012 года CADE провела первую в Бразилии проверку перед слиянием.

В 2019 году CADE провела в общей сложности 433 официальных расследования, из которых 89 были связаны с делами, которые якобы ставили под сомнение продвижение свободного рынка.Он одобрил 406 запросов на слияние и / или приобретение и не отклонил ни одного запроса.

Изъятие и компенсация

Статья 5 Конституции Бразилии гарантирует права собственности как бразильцам, так и иностранцам, владеющим собственностью в Бразилии. Конституция не касается национализации или экспроприации. Декрет-закон 3365 позволяет правительству осуществлять выдающуюся деятельность в соответствии с определенными критериями, которые включают, помимо прочего, национальную безопасность, общественный транспорт, безопасность, здоровье и проекты урбанизации.В случае выдающихся доменов государство выплачивает компенсацию владельцам по справедливой рыночной стоимости.

Нет никаких признаков того, что нынешнее федеральное правительство рассматривает меры по экспроприации в Бразилии против иностранных интересов. Бразильские суды рассмотрели некоторые иски относительно экспроприации земель на уровне штата в пользу граждан США. Однако, поскольку штаты подали апелляции на эти решения, процесс компенсации может быть длительным и иметь неопределенные результаты.

Урегулирование споров

Конвенция ICSID и Нью-Йоркская конвенция

В 2002 году Бразилия ратифицировала Конвенцию 1958 года о признании и приведении в исполнение иностранных арбитражных решений.Бразилия не является членом Международного центра по урегулированию инвестиционных споров (ICSID) Всемирного банка. Бразилия присоединилась к Комиссии Организации Объединенных Наций по праву международной торговли (ЮНСИТРАЛ) в 2010 году, и ее членство истекает в 2022 году.

Урегулирование споров между инвестором и государством

Статья 34 Бразильского закона об арбитраже 1996 года (Закон 9307) определяет иностранное арбитражное решение как любое решение, вынесенное за пределами национальной территории. Закон установил, что Высший суд справедливости (STJ) должен ратифицировать иностранные арбитражные решения. Закон 9307, обновленный Законом 13129/2015, также предусматривает, что иностранное арбитражное решение будет признано или исполнено в Бразилии в соответствии с международными соглашениями, ратифицированными страной, а в случае их отсутствия – внутренним законодательством. Постановление Федерального верховного суда Бразилии (STF) от 2001 года установило, что Бразильский закон об арбитраже 1996 года, разрешающий международный арбитраж при условии ратификации арбитражных решений судом STJ, не нарушает положение Федеральной конституции о том, что «закон не исключает какого-либо ущерба или угрозы для прямо с рассмотрения судебной властью.”

Контрактные споры в Бразилии могут быть длительными и сложными. В Бразилии существует как федеральная судебная система, так и судебная система штата, а судебная практика основана на гражданском кодексе и договорном праве. Федеральные судьи рассматривают большинство споров, в которых одной из сторон является государство, и выносят решения по судебным спорам между иностранным государством или международной организацией и муниципалитетом или лицом, проживающим в Бразилии. В пяти региональных федеральных судах рассматриваются апелляции на решения федеральных судей. В отчете Всемирного банка «Ведение бизнеса» за 2020 год указано, что в среднем на рассмотрение дела о нарушении контракта уходит 801 день.

Международный коммерческий арбитраж и иностранные суды

Бразилия ратифицировала Межамериканскую конвенцию о международном торговом арбитраже 1975 года (Панамская конвенция) и Межамериканскую конвенцию 1979 года об экстерриториальной действительности иностранных судебных решений и арбитражных решений (Конвенция Монтевидео). Закон 9307/1996 усиливает бразильский закон об арбитраже и содержит руководство по руководящим принципам и правам участвующих сторон.В 2015 году Бразилия разработала новую модель инвестиционного соглашения о сотрудничестве и содействии (CFIA) (https://concordia.itamaraty.gov.br/), но она не включает механизмы УСМИГ. (См. Разделы о двусторонних инвестиционных соглашениях и ответственном ведении бизнеса. )

Положение о банкротстве

Коммерческий кодекс Бразилии регулирует большинство аспектов коммерческих ассоциаций, в то время как гражданский кодекс регулирует деятельность корпораций по оказанию профессиональных услуг. В 2005 году вступило в силу законодательство о банкротстве (Закон 11101), в результате чего была создана система по образцу главы 11 Закона США.С. Кодекс о банкротстве. Критики Закона 11101 утверждают, что он наделяет держателей акций слишком большими полномочиями в процессе реструктуризации в ущерб держателям долговых обязательств. Бразилия готовит обновление закона о банкротстве, направленное на расширение прав кредиторов, но оно еще не было представлено в Конгрессе. В отчете Всемирного банка «Ведение бизнеса» за 2019 год Бразилия занимает 77-е место из 190 стран по легкости «урегулирования несостоятельности».

SEC.gov | Превышен порог скорости запросов

Чтобы обеспечить равный доступ для всех пользователей, SEC оставляет за собой право ограничивать запросы, исходящие от необъявленных автоматизированных инструментов. Ваш запрос был идентифицирован как часть сети автоматизированных инструментов за пределами допустимой политики и будет обрабатываться до тех пор, пока не будут приняты меры по объявлению вашего трафика.

Укажите свой трафик, обновив свой пользовательский агент, включив в него информацию о компании.

Чтобы узнать о передовых методах эффективной загрузки информации с SEC.gov, в том числе о последних документах EDGAR, посетите sec.gov/developer. Вы также можете подписаться на рассылку обновлений по электронной почте о программе открытых данных SEC, в том числе о передовых методах, которые делают загрузку данных более эффективной, и о SEC.gov, которые могут повлиять на процессы загрузки по сценарию. Для получения дополнительной информации обращайтесь по адресу [email protected].

Для получения дополнительной информации см. Политику конфиденциальности и безопасности веб-сайта SEC. Благодарим вас за интерес к Комиссии по ценным бумагам и биржам США.

Идентификатор ссылки: 0. 5dfd733e.1632189383.9257bf67

Дополнительная информация

Политика безопасности в Интернете

Используя этот сайт, вы соглашаетесь на мониторинг и аудит безопасности.В целях безопасности и обеспечения того, чтобы общедоступная служба оставалась доступной для пользователей, эта правительственная компьютерная система использует программы для мониторинга сетевого трафика для выявления несанкционированных попыток загрузки или изменения информации или иного причинения ущерба, включая попытки отказать пользователям в обслуживании.

Несанкционированные попытки загрузить информацию и / или изменить информацию в любой части этого сайта строго запрещены и подлежат судебному преследованию в соответствии с Законом о компьютерном мошенничестве и злоупотреблениях 1986 года и Законом о защите национальной информационной инфраструктуры 1996 года (см. Раздел 18 U.S.C. §§ 1001 и 1030).

Чтобы обеспечить хорошую работу нашего веб-сайта для всех пользователей, SEC отслеживает частоту запросов на контент SEC. gov, чтобы гарантировать, что автоматический поиск не влияет на возможность доступа других лиц к контенту SEC.gov. Мы оставляем за собой право блокировать IP-адреса, которые отправляют чрезмерное количество запросов. Текущие правила ограничивают пользователей до 10 запросов в секунду, независимо от количества машин, используемых для отправки запросов.

Если пользователь или приложение отправляет более 10 запросов в секунду, дальнейшие запросы с IP-адреса (-ов) могут быть ограничены на короткий период.Как только количество запросов упадет ниже порогового значения на 10 минут, пользователь может возобновить доступ к контенту на SEC.gov. Эта практика SEC предназначена для ограничения чрезмерного автоматического поиска на SEC.gov и не предназначена и не ожидается, чтобы повлиять на людей, просматривающих веб-сайт SEC.gov.

Обратите внимание, что эта политика может измениться, поскольку SEC управляет SEC.gov, чтобы гарантировать, что веб-сайт работает эффективно и остается доступным для всех пользователей.

Примечание: Мы не предлагаем техническую поддержку для разработки или отладки процессов загрузки по сценарию.

Обновления Восстания Капитолия: NPR

Предполагаемым членам нескольких различных правых и экстремистских групп предъявлены обвинения в связи с осадой Капитолия США 6 января. Роберто Шмидт / AFP через Getty Images скрыть подпись

переключить подпись Роберто Шмидт / AFP через Getty Images

Предполагаемым членам нескольких различных правых и экстремистских групп предъявлены обвинения в связи с событиями января.6 осада Капитолия США.

Роберто Шмидт / AFP через Getty Images

Обновлено в 15:50 ET

Федеральные следователи заявляют, что они арестовали нескольких предполагаемых членов экстремистских группировок и групп сторонников превосходства белой расы, которые участвовали в беспорядках 6 января у здания Капитолия США, включая нескольких участников предполагаемого заговора.

Люди, предположительно связанные с такими организациями, как The Three Percenters, The Oath Keepers, Proud Boys, Texas Freedom Force, и другие самопровозглашенные нацисты и сторонники превосходства белых были среди толпы, штурмовавшей U.Здание С. Капитолия, по мнению федеральных следователей.

Подробная информация об их арестах подчеркивает, как различные экстремистские группы с членами по всей стране объединились, чтобы поддержать Трампа и его (опровергнутые) утверждения о том, что ноябрьские выборы были украдены. Сотрудники правоохранительных органов смогли выследить подозреваемых, используя информацию, полученную от информаторов, сообщений в социальных сетях, которыми поделились обвиняемые, и сообщений средств массовой информации.

Хранители клятвы

Некоторым лицам, связанным с Хранителями присяги, также предъявлены обвинения в связи с бунтом в Капитолии.

ФБР описывает Хранителей Клятвы как «большое, но разрозненное организованное собрание ополченцев, которые считают, что федеральное правительство было привлечено к тайному заговору, который пытается лишить американских граждан их прав».

Федеральная прокуратура обвиняет Томаса Эдварда Колдуэлла, очевидного лидера группы, в содействии планированию и координации штурма Капитолия США 6 января.

Колдуэлл, 65-летний житель округа Кларк, штат Вирджиния, был арестован во вторник по четырем обвинениям, включая сговор с целью совершения преступления против Соединенных Штатов, согласно Министерству юстиции.

Ссылаясь на сообщения Facebook, в письменных показаниях ФБР, подтверждающих жалобу на преступление, утверждается, что Колдуэлл “участвовал в планировании и координации” взлома здания Капитолия.

1 января, например, федеральные следователи заявили, что Колдуэлл отправил сообщение, помогающее организовать размещение в гостиницах на 5-7 января. В тот же день другой предполагаемый член группы отправил Колдуэллу сообщение, в котором назвал его «Командиром» и сказал: «Думаю, я скоро увижу тебя.Вероятно, позвоню вам завтра … в основном потому, что … мне нравится знать, что план wtf таков.

Вечером 6 января Колдуэлл якобы отправил в Facebook шквал сообщений о дневных беспорядках, включая видео который, по-видимому, был доставлен в здание Капитолия. «Я такой подстрекатель!» – якобы написал он в какой-то момент.

«Нам нужно сделать это на местном уровне», – написал он в другом сообщении, по мнению следователей … “Давайте [sic] штурмуем столицу в Огайо.Скажи мне, когда! »

По данным ФБР,« Хранители клятвы »сосредоточены на вербовке действующих и бывших военных, правоохранительных органов и служб быстрого реагирования. Название организации является отсылкой к присяге, которую принесли военнослужащие и полицейские защищать Конституцию» от все враги, как иностранные, так и внутренние ».

В нем также описана видеозапись, на которой« от 8 до 10 человек в военизированной экипировке агрессивно приближаются к входу в здание Капитолия ». Прокуроры описывают этих лиц как движущихся« организованно и практично », и судя по их движениям и одежде, они являются членами Хранителей Клятвы.

В письменных показаниях ФБР указываются имена двух других членов группы, участвовавших в беспорядках, Джессика Уоткинс и Донован Кроул.

Уоткинс и Кроул, оба из округа Шампейн, штат Огайо, были арестованы 18 января.

Следователи говорят, что они являются членами группы под названием Регулярное ополчение штата Огайо, местной организации милиции, которая платит взносы Хранителям присяги.

По данным следователей, Уоткинс – самопровозглашенный командир регулярной милиции штата Огайо.Она поделилась в Интернете видеороликами, на которых она и Кроул писали в Капитолии: «Да. Мы штурмовали Капитолий сегодня. Все в слезоточивом газе. 9. Пробились в Ротонду. Попали даже в Сенат. Новости лживые ( даже Фокс) об Исторических событиях, которые мы создали сегодня “.

Другой человек, предположительно связанный с Хранителями Клятвы, но не названный явно участником заговора, также был арестован.

Джон Райан Шаффер из Колумбуса, штат Индиана, хэви-метал музыкант и основатель группы Iced Earth, сдался агентам ФБР в Индианаполисе 1 января. 17.

В показаниях ФБР под присягой говорится, что Шаффер «давно придерживается крайне правых экстремистских взглядов». Он якобы обрызгал полицейских Капитолия медвежьим спреем, когда участники беспорядков ворвались в здание. Он запечатлен на видео и фотографиях в синей толстовке с капюшоном под тактическим жилетом с бейсболкой с надписью «Пожизненный член Oath Keepers».

По словам следователей, когда Шаффер принял участие в марше Million MAGA в Вашингтоне, округ Колумбия, в ноябре, он сказал репортеру: «Мы не собираемся сливаться в какую-то глобалистскую коммунистическую систему, этого не произойдет.Поверьте мне, будет много кровопролития ».

The Three Percenters

Гай Уэсли Реффитт из Уайли, штат Техас, был арестован 18 января в своем родном штате. Ему предъявлены обвинения

Жена Реффитта сообщила полиции, что, согласно судебным документам, он является членом Силы свободы Техаса, экстремистской группировки ополченцев. говорит в Твиттере, что ФБР ошибается и что группа «не является экстремистским ополчением (мы некоммерческая организация) и далеки от экстремизма, ФБР не сделало свою домашнюю работу». «

Жена Реффитта поделилась с властями, что он также принадлежит к группе Трехпроцентников. ФБР утверждает, что группа родилась из мифа о том, что только три процента американских колонистов подняли оружие против британцев во время американской революции. группа считает, что небольшая группа хорошо вооруженных и подготовленных членов, имеющих правое дело, может свергнуть тираническое правительство

Судебные документы говорят, что Реффитт угрожал своему сыну и дочери после его возвращения домой с января.6 осада Капитолия. Сын Реффитта сказал, что видел, как его отец принес домой винтовку AR-15 и пистолет Smith & Wesson, когда он вернулся. Это огнестрельное оружие, среди прочего, было изъято полицией при обыске его дома.

Реффитт сказал своему взрослому сыну, что, если он «перейдет черту» и сообщит о нем в полицию, у Реффитта не будет другого выбора, кроме как «сделать то, что он должен был сделать», согласно показаниям под присягой. Дети Реффита рассказали своей матери то, что сказал им отец. Она выступила против Реффитта, и он сказал: «Он пытался защитить семью, и если кто-то был предателем, то вот что должно произойти.«

Роберт Гисвайн из Вудленд-Парка, штат Колорадо, также считается членом« Трех процентов », по данным ФБР. Ему предъявлены обвинения в связи с нападением на полицейского Капитолия с использованием перцового баллончика, баррикадой. окружает территорию Капитолия и бейсбольную биту. Согласно судебным документам, Гисвайн разместил в социальных сетях свою фотографию, на которой изображен знак трех процентов и в одежде с логотипом организации.

ФБР сообщает, что Гисвайн также руководит частной военизированной группой называл лесных диких собак, нашивку с изображением которой он был замечен на передней части своего тактического военного жилета на кадрах из Капитолия.На фотографиях и видео Гисвайн также виден в шлеме, очках и черном камуфляжном рюкзаке.

Гисвайн сообщил журналистам, что «коррумпированные» политики, в том числе избранный президент Джо Байден и избранный вице-президент Камала Харрис, продали страну «Ротшильдам и Рокфеллерам». Идея является распространенной теорией заговора среди крайне правых экстремистов, которые считают, что теневая сила, включая знаменитую европейскую банковскую семью и американскую промышленную и политическую династию, контролирует мировую валюту.

Нацисты и гордые парни

Брайан Бетанкур, сторонник превосходства белой расы, который сказал сотрудникам правоохранительных органов, что он является членом нескольких организаций сторонников превосходства белых, был заснят на видео во время беспорядков. Он был арестован 17 января.

Бетанкур, который находился на испытательном сроке, когда прибыл в Капитолий, высказал «идеи убийства, сделал комментарии о проведении стрельбы в школе и исследовал массовые расстрелы», согласно судебным документам.

Он также участвует в сети расистских и воинствующих экстремистских группировок и выразил поддержку Джеймсу Филдсу, неонацисту, осужденному за убийство Хизер Хейер во время митинга «Объединимся правых» в Шарлоттсвилле, штат Вирджиния, в 2017 году, сообщило ФБР. Бетанкур, арестованный в Мэриленде 17 января, виден на видеозаписях нападения на Капитолий, сигнализирующий о главенстве белых и одетый в футболку Proud Boys. The Proud Boys – белая националистическая организация с множеством U.С. главы.

Бетанкур, Силвер-Спринг, штат Мэриленд, также известен в Интернете под псевдонимами Брайан Клуни и Максимо Клуни, согласно судебным документам.

Доминик Пеццола, бывший член морской пехоты и Proud Boys, известный как «Спаз» или «Спаццо», был арестован 15 января в Нью-Йорке. Пеццола из Рочестера, штат Нью-Йорк, на фотографиях и видео бунта в Капитолии одет в черную футболку с короткими рукавами и желтую футболку, соответствующую логотипу «Proud Boys», сообщило ФБР.

Свидетель сказал, что Пеццола и другие участники беспорядков признали, что они «убили бы вице-президента Майка Пенса, если бы им представилась такая возможность.«

Пенс скрывался в Капитолии во время нападения.

Еще один обвиняемый – Тимоти Хейл-Кусанелли, член резерва армии США, который в качестве подрядчика обороны на военно-морской базе Эрл в Нью-Джерси имеет допуск к системе безопасности. и доступ к разнообразным боеприпасам, согласно судебным документам.

В показаниях полиции под присягой говорится, что Хейл-Кусанелли из Кольтс-Нек, штат Нью-Джерси, является «общепризнанным сторонником превосходства белой расы и сторонником нацизма», который размещает на YouTube видео под заголовком «Основанный Шоу Гермеса “, демонстрирующее крайние политические взгляды.

Типстер сообщил ФБР, что Хейл-Кусанелли поделился с информатором видеозаписями сотового телефона, на которых он запугивал полицейских в здании Капитолия. Хейл-Кузанелли также признался, что входил в Капитолий и побуждал других членов мафии «продвигаться», давая указания голосом и жестами рукой.

Был арестован 17 января в Нью-Джерси.

Оценка широкомасштабного онлайн-вмешательства по изменению поведения, нацеленного на потребителей продукции дикой природы в Сингапуре

Abstract

Меры по изменению поведения потребителей, использующих неустойчивые продукты дикой природы, являются ключом к сохранению исчезающих видов. Эффективны ли эти вмешательства, в значительной степени неизвестно из-за недостатка детальных оценок. Ранее мы проводили онлайн-интервенцию по изменению поведения на уровне страны, нацеленную на потребителей рога сайгака, находящегося под угрозой исчезновения ( Saiga tatarica ), в Сингапуре. Чтобы оценить влияние вмешательства, мы провели личные опросы потребителей с участием более 2000 человек до и после вмешательства (2017 и 2019) и 93 личных опроса после вмешательства с участием владельцев магазинов традиционной китайской медицины (ТКМ) (2019).Доля потребителей рога сайгака, о которых они сообщают о частом употреблении, в целевой аудитории (китайские сингапурские женщины в возрасте 35–59 лет) существенно не изменилась от периода до и после вмешательства (24,4% против 22,6%). Однако после вмешательства целевая аудитория с большей вероятностью, чем нецелевая аудитория, точно вспомнила сообщение о вмешательстве и сообщила о снижении использования рогов сайгака (4% против 1% сообщили об изменении поведения). В пределах целевой аудитории потребители с высоким уровнем использования были значительно чаще, чем потребители с низким уровнем использования, чтобы вспомнить сообщение и сообщить об изменении поведения.Все респонденты, которые сообщили о снижении использования рогов сайгака, указали на сообщение о вмешательстве как на конкретную причину изменения их поведения, которая значительно больше, чем другие причины. Кроме того, среди всех респондентов вера в то, что сайгак является обычным видом в дикой природе, значительно снизилась в период до и после вмешательства. Однако владельцы магазинов TCM назвали такие факторы, как цена и доступность, наиболее сильными факторами, влияющими на продажи рогов сайгака. В целом, вмешательство существенно повлияло на некоторых потребителей, но снижение частоты использования часто используемых потребителей не было значительным на уровне населения.Мы исследуем причины этих выводов, включая влияние конкурирующих потребителей, характеристики вмешательства и сроки проведения оценки. Эта работа предполагает, что у нашего подхода к вмешательству есть потенциал, и служит примером многосторонней личной оценки вмешательства потребителей в онлайн-торговле дикой природой.

Образец цитирования: Doughty H, Milner-Gulland EJ, Lee JSH, Oliver K, Carrasco LR, Veríssimo D (2021) Оценка широкомасштабного онлайн-вмешательства по изменению поведения, направленного на потребителей продуктов дикой природы в Сингапуре.PLoS ONE 16 (3): e0248144. https://doi.org/10.1371/journal.pone.0248144

Редактор: Цзи-Чжун Ван, Университет Цинхай, КИТАЙ

Поступило: 22 июля 2020 г .; Одобрена: 21 февраля 2021 г .; Опубликовано: 24 марта 2021 г.

Авторские права: © 2021 Doughty et al. Это статья в открытом доступе, распространяемая в соответствии с условиями лицензии Creative Commons Attribution License, которая разрешает неограниченное использование, распространение и воспроизведение на любом носителе при условии указания автора и источника.

Доступность данных: Все соответствующие данные находятся в рукописи и ее файлах с вспомогательной информацией.

Финансирование: Это исследование финансировалось Оксфордским университетом в рамках Оксфордской программы Мартина по незаконной торговле дикой природой (грант предоставлен автором EJMG). Спонсор предоставил поддержку в виде заработной платы авторов (EJMG, DV) и расходов на полевые исследования, но не имел никакой дополнительной роли в дизайне исследования, сборе и анализе данных, решении о публикации или подготовке рукописи.Конкретные роли этих авторов сформулированы в разделе рукописи «Авторский вклад».

Конкурирующие интересы: Авторы заявили, что никаких конкурирующих интересов не существует.

Введение

Ежегодно проводится множество мероприятий по сохранению биоразнообразия, направленных на борьбу с неустойчивой или незаконной торговлей дикой природой [1]. На стороне потребителя в торговых цепочках эти усилия преимущественно принимают форму вмешательств, направленных на индивидуальное поведение потребителей [2], в отличие, например, от действий, направленных на поставщиков.В период с 2010 по 2018 год на борьбу с незаконной торговлей дикими животными и растениями было потрачено как минимум 2,35 миллиарда долларов США, хотя только 104 миллиона долларов были потрачены на коммуникацию и повышение осведомленности, включая проекты, ориентированные на потребителей [3]. Несмотря на эти общие инвестиции, незаконная или неустойчивая торговля дикими животными и растениями продолжает играть важную роль в утрате диких животных во всем мире [4]. Таким образом, ограниченная база фактических данных, лежащих в основе многих вмешательств по сокращению потребительского спроса, и отсутствие подробной оценки воздействия вмешательства подверглись критике [5, 6], что следует за аналогичными призывами к эмпирической оценке вмешательств в природоохранных науках [7, 8].

Прикладные науки о поведении в таких областях, как общественное здравоохранение и международное развитие, предлагают примеры подходов и стандартов оценки вмешательства, которые могут быть полезны для проектов сохранения и устойчивого развития [9, 10]. Например, оценки вмешательств в сложных социально-политических контекстах или вмешательств, направленных на чувствительное поведение (например, профилактика ВИЧ среди девочек в Мозамбике и сокращение насилия со стороны интимного партнера в Европе [11, 12]), предоставляют реальные примеры проблем, которые часто охарактеризовать контексты природоохранных исследований.Такие прикладные исследования поведенческой науки стремятся оценить причинный эффект вмешательства и исключить альтернативные объяснения наблюдаемых эффектов [8]. Некоторые утверждают, что эти оценки должны также определять, как возник этот эффект [13]. Литература по прикладным наукам о поведении включает множество методов, доступных для проведения оценок для достижения этих целей. Например, исследователи могут оценивать временные изменения в поведении целевой аудитории с помощью лонгитюдных данных, в которых одни и те же люди измеряются в разные моменты времени, или с помощью повторяющихся поперечных данных, в которых разная репрезентативная выборка населения измеряется в каждом момент времени [14].Когда использование схем лечения и контроля невозможно или нецелесообразно [15, 16], другие подходы к оценке включают использование нескольких источников данных вместе: например, объединение опросов самооценок и сторонних измерений [17]. Эти многоаспектные подходы также полезны для получения более полной картины эффектов вмешательства и снижения вероятности того, что оценки будут смещены из-за ограничений какого-либо одного метода.

Тип собираемых данных также варьируется в зависимости от оценки и может определять, что может показать оценка.Самостоятельные данные собираются непосредственно от респондентов (например, опросы потребителей) и обычно используются при оценке торговли дикими животными и растениями [2]. Они могут быть полезны по многим причинам, например, когда поведение иначе трудно измерить. Однако самооценка по своей природе открыта для предвзятости ответа [18]. Данные, сообщаемые третьими сторонами, поступают из источников, отличных от интересующих лиц, таких как счетчик потребления электроэнергии в здании [19] или интервью ключевых информаторов с продавцами продуктов дикой природы.На них не влияют предубеждения, связанные с самооценкой, но есть свои ограничения, например ограниченный доступ. Кроме того, подходы с использованием смешанных методов, использующие как количественные, так и качественные данные, могут обеспечить как глубокие, так и статистически надежные оценки [20]. Подходы с использованием смешанных методов также полезны при создании воронок атрибуции [13], которые визуально детализируют шаги по причинно-следственной цепочке, ведущей людей от целевого поведения через воздействие вмешательства и последующее изменение поведения.Воронки атрибуции помогают выяснить причинные механизмы воздействия вмешательства и любую неоднородность воздействия (т. Независимо от выбранного подхода к оценке, возможно, комплексная оценка направлена ​​на использование надежных и осуществимых средств для оценки того, для кого из целевой аудитории вмешательство работало, а для кого не работало и почему [13].

Система обучения

Антилопа сайгак ( Saiga tatarica ) – это находящийся под угрозой исчезновения вид из Центральной Азии [21], чей рог используется в традиционной китайской медицине (ТКМ) для лечения лихорадки и «жарки». как кашель и боль в горле). Браконьерство на этот рог – серьезная угроза выживанию сайгака [21]. Сингапур признан крупнейшей страной-потребителем рога сайгака [22], и внутри страны рог сайгака (продаваемый как líng yáng, 羚羊) является законным и общедоступным [23].В феврале – апреле 2019 г. авторы реализовали онлайн-вмешательство по изменению поведения на уровне страны, ориентированное на китайских сингапурских женщин в возрасте 35–59 лет, с целью сокращения использования рогов сайгака в Сингапуре (см. [24]). Эта целевая аудитория была выбрана потому, что базовое исследование показало, что женщины среднего возраста были среди тех, кто чаще всего сам использовал рог сайгака, и были самой вероятной группой, которая покупала рог сайгака для других людей [23].

Используя базовые исследования [23, 25], теорию человеческого поведения и предшествующие исследования [25], а также экспериментальные [24], был выбран план вмешательства: использование целевой интернет-рекламы для стратегического продвижения нескольких онлайн-новостных статей в Сингапуре, в которых обсуждалась информация. о роге сайгака (опубликовано как [24]).Это вмешательство отличалось от традиционных кампаний в СМИ или социальных сетях, которые обычно продвигают собственный оригинальный контент, вместо этого продвигая сторонние новостные статьи, опубликованные в официальных СМИ. Эта стратегия позволила нам использовать влияние новостей о здоровье [26], в то же время максимально используя возможности целевой рекламы для сегментации и охвата потребителей с помощью конкретных сообщений [27]. Влияние новостей о здоровье [26], повторных сообщений в Интернете [28] и социального подкрепления в Интернете [29], использованных в этом вмешательстве, позволило нам широко распространить этот новостной контент в социальной сети нашей целевой аудитории.Пилотные фокус-группы с целевой аудиторией предположили, что социально обоснованная информация о статусе сохранения сайгака, передаваемая сингапурскими мессенджерами, оказала сильное влияние на поведенческое намерение целевой аудитории использовать рог сайгака [24]. Таким образом, сообщение о вмешательстве (включенное в новостные статьи и рекламные объявления) представляло источник продукции из рогов сайгака таким образом, что пользователи представлялись невольными потребителями видов дикой природы, находящихся под угрозой исчезновения. Это также подразумевало, что эти потребители, исходя из общепринятых представлений в Сингапуре, хотели бы знать последствия своего потребления [24].

Первоначальный онлайн-анализ вовлечения аудитории показал исключительно желаемое вовлечение аудитории: 63% созданного аудиторией контента Facebook были определены как положительные по отношению к сообщению о вмешательстве, в то время как только 13% были определены как отрицательные [24]. Однако для того, чтобы точно определить влияние вмешательства на целевую аудиторию, мы провели многоаспектную оценку, которой и посвящена данная рукопись. Эта оценка состояла из тщательных личных опросов как потребителей, так и владельцев магазинов традиционной китайской медицины, чтобы определить, произошли ли следующие предполагаемые стадии воздействия:

• целевая аудитория, а также потребители рога сайгака высокого качества в этой группе (т.е. те, кто считает рог сайгака продуктом, который они используют чаще всего), запомнили сообщение о вмешательстве больше, чем нецелевая аудитория, и сократили потребление рогов сайгака больше, чем нецелевая аудитория;
Владельцы магазинов
• TCM запомнили сообщение о вмешательстве и впоследствии заметили изменения в продажах рогов сайгака среди целевой аудитории больше, чем среди не целевой аудитории.

Эта работа предлагает редкий пример как подробной многоаспектной оценки до и после проведения крупномасштабного вмешательства в торговлю дикими животными, так и оценки воздействия онлайн-вмешательства на поведение в автономном режиме.

Методы

Учитывая характер нашего вмешательства [24], мы не смогли ограничить вмешательство какой-либо подгруппой в пределах нашей целевой аудитории, поэтому стандартный дизайн управления лечением был невозможен [15]. Первоначальный онлайн-анализ был ранее проведен с использованием данных об эффективности рекламы, предоставленных рекламными платформами, и пользовательского контента Facebook (см. [24]). Этот анализ позволил оценить, дошло ли сообщение о вмешательстве до целевой аудитории, и предоставил предварительную оценку реакции аудитории и вовлеченности (рис. 1).Чтобы оценить все предполагаемые стадии воздействия в результате вмешательства (рис. 1), мы затем провели полную оценку в этой рукописи. Наша личная оценка включала как повторные перекрестные опросы потребителей (до и после вмешательства, в 2017 и 2019 годах), так и перекрестный опрос владельцев магазинов традиционной китайской медицины (после вмешательства, в 2019 году) .

Рис. 1. Оценка теории изменений, показывающая набор (ы) данных, используемых для оценки предполагаемых стадий (синие, зеленые, желтые и фиолетовые прямоугольники), являющихся результатом вмешательства.См. [24] для ознакомления с этими начальными этапами и результатами онлайн-анализа. Последние два этапа (желтый и фиолетовый) оценивались в основном с помощью опросов потребителей и владельцев магазинов, подкрепленных онлайн-анализом (обозначены прозрачным цветом). TA = целевая аудитория (китайские сингапурки среднего возраста).

https://doi.org/10.1371/journal.pone.0248144.g001

Отзыв сообщения о вмешательстве

Опрос потребителей.

В опросе после вмешательства, чтобы измерить запоминание информации о вмешательстве среди потребителей без подсказки их содержания этого сообщения, мы заявили респондентам только то, что в последние четыре месяца было определенное внимание средств массовой информации к лечению традиционной китайской медицины. от жара и лихорадки, называемого líng yáng ‘(полный обзор см. в файле S2).Затем мы спросили респондентов, слышали ли они об этом. Все те, кто указали, что они слышали или могли слышать об этом внимании СМИ, были помечены как заявившие отзыв сообщения о вмешательстве. Затем мы спросили их, как они узнали об этом и к чему обращали внимание СМИ. Последний был вопросом свободного ответа. Ответы были закодированы для контента HD и проверены DV. Содержание ответов, относящееся к сайгаку как животному, находящемуся под угрозой или находящемуся под защитой, браконьерству на сайгака и повышению осведомленности о сохранении сайгака, было взято таким образом, чтобы указать, что респондент точно вспомнил элементы сообщения о вмешательстве, и такие респонденты были отмечены как имеющие “ точные данные ”. отзыв вмешательства ».Ответы могут содержать более одного типа контента.

В опросах до и после вмешательства респондентов также спрашивали, какие животные, по их мнению, являются обычными в дикой природе (из списка животных, часто используемых в традиционной китайской медицине), чтобы оценить осведомленность респондентов об угрожаемом статусе сайгака. . Мы решили спросить об «распространенности», а не о «редкости», потому что, по нашему мнению, это дает более консервативную оценку восприятия потребителями видов, находящихся под угрозой. Этот вопрос задавался перед любыми вопросами относительно вмешательства в опросе после вмешательства.

Опрос продавца.

В ходе опроса владельцев магазинов, проведенного после вмешательства, мы обнаружили, что во время пилотного исследования было необходимо введение, чтобы оправдать владельцев магазинов, почему мы привлекаем внимание средств массовой информации к рогу сайгака, не привлекая их к нашим исследовательским интересам. Таким образом, наш исследователь заявил, что существует множество факторов, которые могут повлиять или изменить выбор клиентов, и что для лучшего понимания роли СМИ мы собирались спросить о недавнем внимании средств массовой информации за последние четыре месяца вокруг рога сайгака (см. Файл S2 для полный обзор).Затем мы спросили владельцев магазинов, помнят ли они об этом внимании средств массовой информации и как они с ним столкнулись. Ответы на отзыв были закодированы аналогично аналогичным вопросам в опросе потребителей. Перед тем, как задать эти конкретные вопросы, например, в опросе потребителей, мы спросили владельцев магазинов, какие животные, используемые в традиционной китайской медицине, распространены в дикой природе. Мы записали как конкретных упомянутых животных, так и любую дополнительную информацию о том, почему они ответили именно так.

Изменение поведения и причины этого изменения

Опрос потребителей.

Существовало три способа оценки изменения поведения целевой аудитории по самооценке. Во-первых, мы сравнили долю «высоконадежных» пользователей рогов сайгака в наборах данных до и после вмешательства. Поскольку целевой аудиторией вмешательства была демографическая группа, она включала как пользователей рогов сайгака, так и непользователей. Мы охарактеризовали “высоконадежных” пользователей рогов сайгака в этой группе, как тех, кто выбрал рог сайгака в качестве средства от лихорадки / жаропонижания, которое они используют чаще всего , задавая вопросы об их общих предпочтениях в лечении.В ходе предварительного опроса [23] мы решили сосредоточиться на достоверных пользователях, поскольку воздействие на их потребление во время вмешательства привело бы к наибольшему сокращению использования рогов сайгака на человека. Чтобы минимизировать когнитивную нагрузку в опросе [30], мы также должны были сбалансировать количество вопросов, которые мы могли бы задать об уровне использования сайгака, с другими интересующими вопросами. Таким образом, наше исследование после вмешательства измеряло только достоверность использования рогов сайгака в вопросах о предпочтениях лечения, так что измерение использования рогов сайгака было согласованным между исследованиями до и после вмешательства.Мы осознаем ограничения, которые влечет за собой этот выбор, поскольку мы не смогли оценить временные изменения у низкокачественных пользователей рогов сайгака.

Во-вторых, в опросе после вмешательства, сразу после того, как респонденты обсудили свои предпочтения в отношении лечения лихорадки / жара, их спросили, изменились ли их предпочтения по какой-либо причине за последние четыре месяца (без упоминания вмешательства). В-третьих, в опросе после вмешательства респондентов, которые заявили, что они помнят «недавнее внимание СМИ» к рогу сайгака, спросили, повлияло ли это внимание СМИ на их выбор использовать рог сайгака.На этом этапе респонденты конкретно указали, использовали ли они до внимания средств массовой информации рог сайгака и используют ли они его в настоящее время. Затем последовал открытый вопрос «почему» (файл S2). С помощью этих ответов, связанных с конкретным вмешательством, мы определили: пользователи рогов сайгака до вмешательства любого уровня верности, снизили ли эти пользователи свое использование после вмешательства и причину изменения поведения.

Опрос продавца.

Как и в опросах потребителей, первые вопросы, оценивающие изменение поведения, были открытыми и задавались после того, как продавцы описали предпочтения своих клиентов в отношении лечения повышенного тепла / лихорадки.Позже в ходе опроса владельцев магазинов спросили, повлияло ли, по их мнению, недавнее внимание средств массовой информации на продажи рога сайгака их покупательницам среднего возраста или на их клиентскую базу в целом. Затем мы спросили, почему и в какой степени изменились продажи. Кроме того, мы спросили, считают ли они, что продажи альтернативных продуктов изменились, и изменились ли они сами, какие продукты они рекомендуют покупателям.

Общие сведения об обследовании

Опрос потребителей.

Опросы потребителей проводились до и после вмешательства (в 2017 и 2019 годах). Эти опросы в целом были схожими, за исключением того, что вопросы об изменении поведения и вмешательствах задавались только в опросе после вмешательства. Чтобы наши опросы до и после вмешательства были сопоставимы, опросы после вмешательства использовали тот же метод выборки и места, общий формат опроса и формулировку вопросов, а также общие методы анализа данных, которые использовались в опросах до вмешательства ( я.е. [23]). В любом случае было важно оценить новые добавленные вопросы, поэтому опрос после вмешательства был опробован в Национальном университете Сингапура и в общественном торговом центре, который не использовался в нашем исследовании (n = 50 респондентов). Как до, так и после вмешательства участвовали китайские сингапурские студенты университетского возраста (свободно владеющие английским и китайским языками), которые проводили опросы с помощью планшетов с китайскими сингапурцами за пределами общественных мест, таких как торговые центры и центры питания.Эти места были выбраны так, чтобы охватить различные социально-демографические уровни, а сроки сбора данных были стратифицированы по дням недели и времени суток. Рога сайгака нечувствительны к потребителям и широко продаются [23], поэтому особые методы опроса не потребовались. См. Файл S1 и [23] для получения более подробной информации о методологии и файл S2 для полного обзора.

Мы разработали наш опрос таким образом, чтобы уменьшить предвзятость социальной желательности (т. Е. Непреднамеренное побуждение респондентов к определенному ответу, основанному на их восприятии намерений / восприятий исследователей [18]).Мы сделали это, в частности, с помощью нейтральной формулировки вопросов (например, задавая вопрос о том, какие продукты используют потребители, используя рог сайгака в качестве только одного варианта ответа, вместо того, чтобы напрямую спрашивать респондентов, используют ли они рог сайгака). Кроме того, мы решили провести опрос через два месяца после окончания вмешательства, чтобы найти компромисс между двумя противоположными предубеждениями: 1) если период воспоминаний слишком длинный, респонденты могут неточно вспоминать свое собственное поведение [18] или неправильно приписывать свое поведение другим статьи в СМИ, выходящие в промежуточный период; и 2) изменение поведения часто затухает со временем [31], поэтому предоставление большего количества времени может дать более реалистичную оценку среднесрочных или долгосрочных эффектов вмешательства.

Все статистические анализы результатов опросов потребителей проводились с использованием статистической среды R [32]. Для сравнений до и после вмешательства мы использовали пакет MatchIt для сопоставления наборов данных 2017 и 2019 годов в качестве дополнительной защиты от возможной необнаруженной изменчивости выборки между годами [33]. В частности, мы выполнили «оптимальное» соответствие с мерой расстояния «Махаланобис» и соотношением 1: 1. Соответствующие переменные включают китайский диалект, образование, сингапурское поколение, религию и целевую аудиторию (для общего сравнения выборок).Затем мы использовали обобщенные линейные модели (GLM) с примененными суммарными контрастами [34], чтобы оценить различия (например, использование рогов сайгака) между: наборами данных до и после вмешательства, целевой аудиторией после вмешательства и другими респондентами, а также высоким уровнем после вмешательства. – верность пользователей и других респондентов в пределах целевой аудитории (Таблица 1). Мы выбрали GLM, потому что они учитывают различия между наборами данных, а также дисперсию, вызванную другими демографическими факторами при сравнении между группами. Затем мы использовали двухвыборочные z-тесты на равенство пропорций с поправкой на непрерывность, чтобы оценить источники воздействия сообщений о вмешательстве и причины изменения поведения.Этот тест был выбран потому, что ответы респондентов на эти вопросы не исключают друг друга. См. Файл S1 для полных методов статистического анализа.

Опрос продавца.

Опрос владельцев магазинов TCM проводился после вмешательства в 2019 году. Мы определили любого, кто работает у прилавка во время опроса, как продавца. В опросе потребителей, проведенном до вмешательства, владельцы магазинов TCM были главными рекомендателями рога сайгака, а магазины TCM были наиболее часто упоминаемым местом для покупки рога сайгака [23].Таким образом, владельцы магазинов TCM имели все возможности стать свидетелями потенциальных изменений в тенденциях продаж рогов сайгака.

Один исследователь из той же группы, которая проводила опросы потребителей, обследовала магазины TCM в Зонах планирования (то есть в соседних районах) или прилегающих Зонах планирования, где мы проводили опросы потребителей – чтобы иметь некоторое соответствие между опросами потребителей и владельцев магазинов [35] (Файл S1). Поиск в Интернете по запросу “магазины TCM” с помощью Search.insing.com дал около 900 результатов по всему Сингапуру.Учитывая это приблизительное общее количество магазинов TCM, мы стремились обследовать 90 магазинов. Это число даст нам оценки с погрешностью 10% и уровнем достоверности 95% (как определено расчетом размера выборки; при условии случайной выборки), которые, по нашему мнению, были достаточно надежными и достижимыми [36]. Используя этот каталог и Google Maps для идентификации магазинов, мы случайным образом выбирали магазины для посещения с помощью генератора случайных чисел. Когда магазины не продавали товары, похожие на рог сайгака (например, кабинеты иглотерапевтов) или были закрыты навсегда, мы случайным образом выбирали другой магазин.Тех, кто был открыт и продавал соответствующие продукты (например, продукты TCM, похожие на сайгака), попросили принять участие в опросе. Независимо от того, согласились ли они принять участие в опросе, мы использовали визуальные подсказки и беседы с владельцем магазина, чтобы оценить, продают ли они продукцию из сайгака. Видимые доказательства включали: продукты с маркировкой «líng yáng» без упоминания о том, что они произведены из альтернативы, не относящейся к сайгаку; продукты, в которых прямо указано, что они включают рог сайгака; и продукты, которые, очевидно, были рогами сайгака (напр.грамм. неповрежденные рога). Обследование проводилось в пилотном режиме с 20 магазинами традиционной китайской медицины, не включенными в наше исследование. Этот экспериментальный процесс, наряду с итеративными проектами опросов, помог минимизировать предвзятость социальной желательности и обеспечить, чтобы владельцы магазинов чувствовали себя комфортно, обсуждая тенденции продаж и предпочтения клиентов. Дополнительную методологическую информацию см. В файле S1, а полный обзор – в файле S2.

Этика

Это исследование было одобрено Комитетом по этике исследований Оксфордского института Интернета Оксфордского университета (SSH-OII-C1A-19-005) и Наблюдательным советом Наньянского технологического университета (IRB-2017-04-018-01) .

Результаты

Сводка оценки на рис. 2 выделяет ключевые результаты, которые демонстрируют эффекты вмешательства на всех этапах воздействия на основе нашей теории изменений на рис. 1. Полные результаты и статистические данные, лежащие в основе этого резюме, обсуждаются в следующих разделах. Всего после вмешательства в июне-июле 2019 года было опрошено 2116 респондентов-потребителей (необработанные данные см. В файле S3). Для сравнений до вмешательства этот набор данных сравнивался с 2294 респондентами-потребителями, опрошенными до вмешательства в июне-июле 2017 года [23].К участию в опросе было предложено принять участие в опросе владельцев TCM в 119 магазинах. Из них 93 продавца приняли предложение (необработанные данные см. В файле S3). Все 119 магазинов были оценены на предмет наличия рогов сайгака: в 104 были видны продукты, похожие на рога сайгака, и 64 продавца устно заявили, что продают рог сайгака во время обсуждений, связанных с исследованием. Таким образом, мы подтвердили вероятное присутствие рога сайгака во всех обследованных магазинах. Были посещены, но не опрошены 116 нерелевантных или постоянно закрытых магазинов.

Рис 2.Результаты онлайн-производительности представлены в [23].

https://doi.org/10.1371/journal.pone.0248144.g002

Достигнуто сообщение о вмешательстве

Онлайн-анализ.

Подробно см. Doughty et al. В 2020 году статьи, в которых обсуждается сообщение о вмешательстве, были опубликованы на английском и китайском языках по крайней мере в семи новостных агентствах в Интернете, многие из которых широко читаются в Сингапуре. Наша онлайн-реклама, продвигающая эти статьи, прошла через Facebook, Google и Outbrain и была показана потребителям почти 5 миллионов раз.Только через Facebook эта реклама охватила 479 258 женщин Сингапура в возрасте от 35 до 59 лет [24].

Отзыв сообщения о вмешательстве

Опрос потребителей.

В целом, 195 респондентов после вмешательства заявили, что они вспомнили о недавнем внимании средств массовой информации к рогу сайгака (включая 69 респондентов из целевой аудитории). Согласно описанию респондентов, 124 человека (6%) точно вспомнили сообщение о вмешательстве (включая 50 респондентов из целевой аудитории; рис. 3). Неточные описания сообщения о вмешательстве чаще всего касались эффективности / неэффективности рога сайгака (файл S4).

Рис. 3. Содержание описанного респондентами «внимания СМИ».

«Животное» относится к в целом точному описанию сообщения о вмешательстве. Процентное соотношение от общего числа респондентов целевой или не целевой аудитории (438 и 1678 человек соответственно). *** обозначает значительную связь p-value <0,001 между целевой аудиторией и точным воспоминанием о вмешательстве.

https://doi.org/10.1371/journal.pone.0248144.g003

Респонденты из целевой аудитории были значительно чаще других респондентов, чтобы точно вспомнить сообщение о вмешательстве (ß = 0.94, z = 4,69, p = 2,8×10 ^-6 ; Рис 3). В пределах целевой аудитории пользователи с высоким уровнем достоверности были значительно более склонны, чем другие респонденты, точно вспомнить сообщение о вмешательстве (ß = 0,46, z = 2,02, p = 0,043). См. В файле S4 полные результаты опроса потребителей GLM, а также дополнительные данные о тенденциях в отношении предпочтений потребителей.

Чаще всего респондент узнал о сообщении о вмешательстве из новостей, а затем в социальных сетях (файл S4). Респонденты с точным воспоминанием о вмешательстве значительно чаще цитировали новости или социальные сети, чем другие источники (χ ² (1, N = 124) = 15.81, p = 3,5×10 ^-5 ; χ ² (1, N = 124) = 14,88, p = 5,7×10 ^-5 соответственно). Респонденты с неточным воспоминанием о вмешательстве значительно чаще ссылались на семью и друзей (χ ² (1, N = 90) = 3,74, p = 0,027; χ ² (1, N = 90) = 3,78, p = 0,026 соответственно).

Что касается восприятия респондентами общности популяции сайгака в дикой природе: как для всей выборки, так и для целевой аудитории, сравнения до вмешательства показывают, что респонденты в опросе после вмешательства были значительно реже, чем респонденты в опросе до вмешательства. считают, что сайгаки обычны в дикой природе (ß = -0.44, z = -5,22, p = 1,8×10 ^-7 ; и ß = -0,36, z = -2,25, p = 0,024 соответственно) (файл S4). Пропорции снизились с 28% до 21% по всей выборке и с 32% до 26% в целевой аудитории.

Опрос продавца.

В общей сложности 23 продавца заявили, что они вспомнили о недавнем внимании СМИ к рогам сайгака. Восемь владельцев магазинов (9%) точно запомнили сообщение о вмешательстве. Неточные описания сообщения о вмешательстве чаще всего касались эффективности сайгака, «других» ответов и запретов / ограничений сайгака (файл S5).Владельцы магазинов в основном заявляли, что узнали об этом недавнем внимании СМИ из «новостных агентств / газет» (n = 13) и «других» источников (n = 8) (файл S5). Когда их просили подробнее рассказать о «другом», владельцы магазинов упоминали такие вещи, как учебники для компаний, личный опыт, поиск в Google и радиопередачи. Те, кто помнят о точном вмешательстве, чаще всего перечисляли эти источники и социальные сети.

На вопрос, распространены ли виды, используемые в TCM, в дикой природе, 16% владельцев магазинов ответили, что сайгак обычен в дикой природе.Морской огурец (45%) и коза (34%) были видами, наиболее часто встречающимися в дикой природе, в то время как носорог (1%) и черепаха (0%) были наименее распространенными. Отвечая на этот вопрос, владельцы магазинов обсудили: сайгак является охраняемым / находящимся под угрозой видом (n = 16), популяции других видов преуспевают (n = 16), ограничения на продукцию сайгака (n = 14) и разведение других видов (n = 13) (Файл S5).

Изменение поведения и причины этого изменения

Опрос потребителей.

Использование с высокой точностью достоверно не отличалось от до и после вмешательства (таблица 2).Во время вопросов об общих предпочтениях в опросе после вмешательства ни один респондент, заявивший, что в последнее время произошли изменения в их предпочтениях в отношении травяного или биомедицинского лечения, не упомянул, что они перешли на эти варианты лечения из рога сайгака, или не упомянул о вмешательстве. Тем не менее, 9 человек (3 респондента из целевой аудитории), которые выбрали рог сайгака в качестве продукта, который они покупают «наиболее часто» (и, таким образом, были отнесены к категории надежных потребителей), также заявили, что их предпочтения изменились в сторону от рога сайгака в последнее время. несколько месяцев (файл S4).Четверо из них (1 респондент из целевой аудитории) обсудили альтернативные травы, на которые они перешли. Два респондента (1 респондент из целевой аудитории) конкретно заявили, что изменение связано с новостями / публикациями в Facebook.

Таблица 2. Сравнение частоты использования рогов сайгака с высокой точностью до и после вмешательства.

Показана доля высоконадежных пользователей в общей выборке и, в частности, целевая аудитория.

https://doi.org/10.1371/journal.pone.0248144.t002

Что касается вопросов по конкретным вмешательствам в опросе после вмешательства: среди респондентов с точным воспоминанием о вмешательстве 38 человек (17 респондентов из целевой аудитории) заявили, что они полностью прекратили или значительно сократили использование рогов сайгака (рис. 4). Это значение включало пользователей рогов сайгака как с высокой точностью (14 человек), так и с предположительно низкой точностью (24 человека). Эти недобросовестные пользователи – респонденты, которые прямо не указали в предыдущих вопросах, что рог сайгака был продуктом, который они использовали «чаще всего», и что они недавно отказались от рога сайгака.Но в более поздних вопросах эти респонденты указали, что они действительно использовали рог сайгака до вмешательства. Ни один из респондентов с точным воспоминанием о вмешательстве не заявил, что они увеличили использование рогов сайгака. Один респондент, не входящий в целевую аудиторию, с неточным отзывом сообщения заявил, что намереваются увеличить использование.

Рис. 4. Заявленное снижение использования рогов сайгака после вмешательства для тех, у кого был точный отзыв о вмешательстве.

Процент респондентов верхнего графика вне целевой или не целевой аудитории (438 и 1678 человек соответственно).На нижнем графике процентная доля пользователей с высокой и низкой верностью соответствует целевой аудитории (99 и 339 человек соответственно). Звездочки указывают на то, что целевая аудитория и пользователи с высокой степенью достоверности в этой аудитории значительно чаще заявляли об изменении поведения (** для значения p <0,01 и *** для значения p <0,001).

https://doi.org/10.1371/journal.pone.0248144.g004

Респонденты из целевой аудитории значительно чаще, чем респонденты, не входящие в целевую аудиторию, заявляли, что они сократили использование рогов сайгака (4% против 1%; ß = 1.19, z = 3,42, p = 6,3E ^-4 ; Рис 4). В пределах целевой аудитории пользователи с высоким уровнем достоверности значительно чаще, чем пользователи с низким уровнем достоверности, заявляли о сокращении своего использования (7% против 3%; ß = 1,11, z = 3,11, p = 0,0019; рис. 4). На рис. 5 показан более подробный вид величины эффекта вмешательства, иллюстрирующий переход от общей выборки к тем, на кого вмешательство может повлиять (т. Е. Пользователи рогов сайгака), и к тем, на кого оно повлияло (т.е. изменение поведения).Четыре процента (17 человек) респондентов из целевой аудитории заявили о снижении использования рогов сайгака, но, как показано на Рис. 5, это составляет 61% из 28 человек, которые ранее пользовались рогами сайгака в целевой аудитории с точным запоминанием сообщений о вмешательстве.

Среди всех респондентов с точными воспоминаниями о вмешательстве, которые заявили, что они сократили использование рогов сайгака, наиболее частая причина изменения поведения была связана с сообщением о вмешательстве: обсуждение внимания средств массовой информации, в частности, тяжелого положения животного, соответствующих экологических аспектов. мнения и т. д.(значимость оценивается по сравнению со следующей по частоте причиной – предпочтением альтернативных продуктов – χ ² (1, N = 38) = 19, p = 6.5E ^-6 ). Третья по частоте причина – неэффективность рога сайгака. Среди респондентов с точными воспоминаниями о вмешательстве, которые заявили, что они не уменьшили использование рогов сайгака, наиболее частой причиной была эффективность рогов сайгака (10 из 22 человек). Среди других заявленных причин было то, что респонденты считали, что они не часто используют рог сайгака, что они не думали, что только их покупки оказали влияние, или что их не заботило воздействие.

Опрос продавца.

Наблюдались различия в предполагаемых покупках средств для лечения жара / лихорадки между покупателями целевой аудитории продавца (женщины среднего возраста) и их общей клиентской базой (файл S5). Они воспринимали клиентов целевой аудитории как больше всего покупающих продукты животного происхождения (62%), а свою общую клиентскую базу как больше всего покупающих продукты на травах (55%). В подавляющем большинстве случаев сайгак был самым покупаемым продуктом животноводства, причем 98% целевой аудитории и общей клиентской базы предпочитали сайгака другим животным альтернативам (козам, овцам, буйволам и т. Д.).

В вопросах, касающихся невмешательства, один владелец магазина заявил, что в последнее время он заметил снижение покупок рогов сайгака среди покупателей, но не знает почему. Другой владелец магазина заявил, что в последнее время он заметил сокращение целевой аудитории и считает, что это связано с ростом цен на продукцию из рога сайгака. Не было заявленных недавних изменений для других типов лечения.

В вопросах, связанных с вмешательством: среди тех, кто точно помнил вмешательство, один владелец магазина заметил снижение покупок рогов сайгака среди клиентов, включая целевую аудиторию (рис. 6).Они не знали, на сколько это снизилось, но также сказали, что это произошло из-за повышения цен на рог сайгака. Среди тех, кто запомнил сообщение неточно, четыре продавца заявили, что они увидели снижение покупок рогов сайгака, от неизвестного количества до 25% и более 70%. Они заявили, что это в основном связано с ценами на рог сайгака и изменением предпочтений покупателей. Владельцы магазинов, заявившие, что продаж не произошло, в основном обсуждали эффективность рогов сайгака, а также такие темы, как традиции.Ни один респондент не упомянул о росте закупок рогов сайгака.

Четыре продавца с неточным отзывом о вмешательстве посчитали, что объем продаж альтернативной продукции увеличился из-за цен на рог сайгака, удобства, потери традиций и сокращения импорта рога сайгака. Кроме того, три продавца с неточным отзывом о вмешательстве сказали, что теперь они рекомендуют меньше рога сайгака. Двое заявили, что это связано с ценами на рог сайгака и правилами импорта, а один владелец магазина назвал своей причиной сокращение численности сайгака.

Обсуждение

Обзор ударов

Целевая аудитория после вмешательства была значительно более вероятна, чем нецелевая аудитория, чтобы сообщить, что они полностью прекратили (или значительно снизили) использование рогов сайгака после вмешательства (4% против 1%). Однако мы не обнаружили значительного снижения частоты использования рогов сайгака с высокой точностью до и после вмешательства (24,4% против 22,6%). Среди респондентов после вмешательства, которые сообщили об изменении поведения, они значительно чаще приводили причины, связанные с сообщением о вмешательстве.Эти результаты были подтверждены первоначальным онлайн-анализом, в котором некоторые люди заявили, что намереваются изменить свое поведение в ответ на сообщение о вмешательстве [24]. Кроме того, среди всех респондентов опроса потребителей наблюдалось значительное снижение веры в то, что сайгаки являются обычным видом в дикой природе, от до и после вмешательства, что также было подтверждено онлайн-ответами, указывающими на то, что сообщения информировали людей о статусе сохранения сайгака [24] . Однако владельцы магазинов TCM предположили, что тенденции продаж рогов сайгака в основном связаны с ценой (а не с сообщением о вмешательстве).

Распаковка удара

Стоит изучить, почему наш подход не оказал более заметного воздействия на тех, кто охотно использует рога сайгака. Одна из возможностей состоит в том, что для некоторых пользователей рогов сайгака, особенно тех, кто пользуется высоким уровнем верности, их восприятие эффективности рогов сайгака является более сильным фактором поведения, чем внешние воздействия, такие как восприятие на социальном уровне [25]. Таким образом, на эту подгруппу потребителей вряд ли повлияет только охрана природы или обмен социальными сообщениями. Попытки изменить их восприятие эффективности рога сайгака с помощью аргументов, основанных на биомедицине, также вряд ли окажутся эффективными, учитывая доверие пользователей традиционной китайской медицины к собственному опыту и продолжительности использования, как индикаторам эффективности продукта [37, 38].Следовательно, на эту подгруппу, вероятно, больше повлияют меры нормативного характера, влияющие на доступность или ценовую доступность рога сайгака [39].

Другая ключевая возможность заключается в том, что исследование было недостаточно масштабным. Дизайн вмешательства был основан на концепции, согласно которой люди с большей вероятностью будут перенимать идеи, которым они подвергаются неоднократно и различными способами [28]. Несмотря на значительный онлайн-охват и высокий уровень вовлеченности [24], и , вероятно, мы достигли точки насыщения, неоднократно подвергая всю целевую аудиторию в Сингапуре посланию о вмешательстве.Предыдущие исследования показывают, что количество повторных показов, необходимых для эффективности различных рекламных объявлений, варьируется [40]. Таким образом, возможно, что при более длительном вмешательстве и, следовательно, увеличении частоты воздействия на целевую аудиторию, большая часть целевой аудитории страны восприняла бы сообщение о вмешательстве.

Время проведения обследования после вмешательства (два месяца после завершения вмешательства) могло повлиять на результаты. Поскольку рог сайгака используется только тогда, когда человек нездоров, вполне возможно, что даже если восприятие респондентом рога сайгака изменилось, вероятно, у него еще не было причины в этот короткий период времени подумать о том, чтобы действовать в соответствии с вновь сформировавшимся восприятием. , или идентифицировать себя как пользователя рога сайгака, не пользующегося рогами сайгака, на основании изменившегося выбора поведения.

Изменчивость в использовании рогов сайгака.

В рамках нашего вмешательства мы предположили, что все, кто идентифицировал себя как надежный пользователь, имеют одинаковую привязанность к продукту. Однако противоречивые утверждения об использовании рога сайгака в наших результатах (т. Е. Респонденты, выбравшие рог сайгака в качестве продукта, который они используют «наиболее часто», но затем заявили, что фактически перешли на другие продукты), указывают на то, что не все, кто был отнесен к категории надежных потребителей могут по-прежнему часто использовать рог сайгака или в той же степени прикрепляться к продуктам из рога сайгака.Например, мы знаем, что высококвалифицированные пользователи также, вероятно, будут использовать традиционные травяные продукты (файл S4), но частота, с которой они применяют тот или иной тип лечения, неизвестна. В связи с этим, наши вопросы о предпочтениях в лечении были разработаны для выявления лиц, пользующихся рогами сайгака высокого уровня, однако этот выбор означал, что мы не смогли измерить временные тенденции среди более “ периферийных ” пользователей, даже несмотря на то, что наши результаты показывают, что в эту группу с более низким уровнем достоверности действительно входили люди. которые заявили, что изменили поведение.Все это предполагает, что будущая работа должна лучше сегментировать группы потребителей по уровням использования и собирать психографическую информацию, которая поможет лучше понять преданность пользователей продукту [41, 42].

Методологические соображения

Отклонение ответа.

Существует ряд проблем, связанных с использованием отзыва для измерения воздействия [18]. Например, потребители могли знать о сообщении о вмешательстве или были затронуты им, но, возможно, не осознавали, о чем мы говорили во время опроса.Кроме того, вывод о том, что респонденты, которые вспоминают неточное сообщение, в основном ссылались на семью и друзей в качестве источника сообщений, а не на социальные сети и новости, говорит о снижении точности молвы [43]. Наконец, при описании поведения ожидается, что некоторые люди будут неточно вспоминать свое собственное поведение или, возможно, преуменьшить значение поведения, которое они считают социально нежелательным [18]. В контексте нашего исследования рог сайгака нечувствителен к потребителям, и мы дополнительно стремились смягчить возможное социальное давление с помощью таких формулировок вопросов, которые не заставили бы респондентов думать, что мы, как исследователи, хотели получить конкретный ответ относительно их поведения (например,грамм. от ценностного или социального прайминга [44, 45]). Было несколько респондентов с точным воспоминанием о вмешательстве, которые все же заявили, что они продолжают использовать рог сайгака, и ни один из респондентов-потребителей не выглядел явно неудобным или не высказал комментариев, предполагающих, что они считают, что мы связаны с обсуждаемым вниманием средств массовой информации или продвигаем его. Такие наблюдения говорят о том, что респондентов не побуждали к конкретным ответам.

Для нашего набора данных, предоставленного третьей стороной, мы предпочли бы количественные данные о продажах, однако эти данные были недоступны, поэтому мы провели опросы владельцев магазинов TCM.Эти опросы оказались сложными, поскольку многие владельцы магазинов были заняты, не желали отвечать на вопросы или стремились обсуждать рассказы, не относящиеся к теме. Например, сразу после того, как исследователь заявил, что мы заинтересованы в недавнем внимании средств массовой информации, многие владельцы магазинов вместо этого обсуждали старые корпоративные учебники, «многолетний опыт» и т. Д. Мы также поняли из результатов, что владельцам магазинов может быть трудно распознать или различить короткие -срочные изменения от более широких тенденций, тем более что у них не было данных о продажах, на которые можно было бы ссылаться.

Кроме того, сингапурцы не всегда раскрывают свой полный медицинский выбор профессионалам здравоохранения, таким как практикующие ТКМ или биомедицинские врачи, опасаясь неодобрения [46, 47]. Таким образом, даже несмотря на то, что наши клиенты могут посоветоваться с владельцами магазинов TCM, они могут не захотеть раскрыть свои собственные причины выбора или изменения предпочтений при покупке. Например, потребители, отказывающиеся от рога сайгака, возможно, ссылались на более нейтральные причины, такие как цена, а не на соображения ценности или нормы, связанные с дикими животными, из опасения, что это будет восприимчиво к владельцам магазинов с продуктами дикого происхождения.

Возможные затруднения.

Насколько нам известно, не было никаких других вмешательств, связанных с рогами сайгака, или серьезного внимания средств массовой информации в Сингапуре в период между исходным уровнем и периодом оценки, которые могли бы затруднить атрибуцию воздействия нашего вмешательства. Незадолго до начала проведения оценки была опубликована одна новость об изъятиях рогов сайгака в Китае, но об этом упомянул только один респондент, не входящий в целевую аудиторию. Правительство также направило в магазины TCM во время наших опросов в 2017 году письмо, в котором владельцам магазинов напоминалось, что продукты из рога сайгака требуют соответствующих разрешений, но многие владельцы магазинов не помнили об этом конкретном письме.Однако среди владельцев магазинов упоминалось об усилении регулирования и снижении доступности как об общей тенденции, которая может быть связана с правительственными или отраслевыми сообщениями, такими как это письмо, о котором мы не осведомлены, но которое может повлиять на чувствительность владельцев магазинов при обсуждении рога сайгака. , или их рекомендации продукта потребителям.

Изображение большего размера

Использование сайтов социальных сетей в Интернете для целей общественного здравоохранения увеличивается, но многие из этих усилий не получили тщательной оценки [48].Точно так же в Интернете были предприняты многочисленные попытки повысить устойчивое потребление [49, 50]; тем не менее, лишь немногие исследования дали надежную оценку того, как их онлайн-работа трансформируется в изменение поведения в автономном режиме [51]. Более того, насколько нам известно, ни при каких других усилиях, направленных непосредственно на потребителей продукции дикой природы, не использовался наш подход стратегического распространения новостей в Интернете и не оценивалось влияние этого подхода на поведение в автономном режиме.

Учитывая подводные камни, которые могут возникнуть при оценке крупномасштабных проектов [52], мы стремились использовать план оценки, который был одновременно надежным и осуществимым.Поскольку наша цель заключалась в изменении на уровне страны, а наше базовое исследование включало демографическую информацию, наша целевая и нецелевая аудитории основывались на всей демографической группе, а не на том, кто подвергался вмешательству или кто определенно был пользователем рогов сайгака. Мы также выбрали поперечный дизайн, а не продольный, поскольку продольный дизайн на уровне страны был непомерно дорогостоящим [14].

Если бы мы полагались исключительно на онлайн-показатели эффективности, указывающие на охват вмешательства и немедленное участие (которые часто являются мерилом успеха при вмешательстве в торговлю дикой природой [2]), мы бы переоценили влияние нашего вмешательства.Благодаря нашей многоаспектной оценке мы смогли более точно определить, насколько эффективное вмешательство было эффективным. Несмотря на широкую известность общественности и многообещающее онлайн-участие, мы выявили лишь небольшое количество людей, которые уменьшили использование рогов сайгака и которые явно указали, что это произошло из-за вмешательства. Однако даже в таких областях, как общественное здравоохранение, где вмешательства, как правило, лучше финансируются, метаанализ подчеркивает, что единичные вмешательства часто имеют относительно небольшие размеры эффекта [53, 54].Кроме того, ожидается, что меры по изменению поведения будут иметь неоднородное воздействие на целевую аудиторию. Некоторые разработчики даже утверждают, что сосредоточение внимания на среднем воздействии на человека, а не на общей доле пострадавших людей, является более точным показателем успеха вмешательства [15]. Таким образом, мы должны быть реалистами в наших ожиданиях неустойчивых воздействий вмешательства потребителей и более детально их понимать. В целом, наша оценка показала, что подход онлайн-вмешательства действительно повлиял на восприятие и поведение потребителей, и предполагает, что использование этого подхода может принести пользу глобальным усилиям в области устойчивого потребления.Хотя общий размер эффекта, особенно для пользователей различной верности продукта, требует улучшений в будущих усилиях.

Вмешательства по изменению поведения – это итерационные процессы [9], и ни одна система обучения не является застойной или идентичной любой другой системе. Следовательно, независимо от воздействия вмешательства, мы должны тщательно и прозрачно задокументировать, что было, а что не было эффективным и что привело к такому результату, чтобы будущие вмешательства могли извлечь уроки из этих усилий. Недавний обзор вмешательств по изменению поведения потребителей продуктов дикой природы показал, что только 25% сообщили о результатах, касающихся изменений в поведении или осведомленности в результате вмешательства [2].Среди этих 25% отсутствовала прозрачность в отношении методологии оценки и надежности. Однако оценка дает возможность эффективно использовать ресурсы, извлекая уроки из прошлой работы, тем самым вызывая постоянно адаптирующиеся, более масштабные и своевременные воздействия.

Благодарности

Опросы потребителей были проведены JH Tam, V Tan, YM Yip и FL Yu; Опросы владельцев магазинов были проведены JH Tam.

Список литературы

1. 1. ‘T Sas-Rolfes M, Challender DWS, Hinsley A, Veríssimo D, Milner-Gulland EJ. Незаконная торговля дикими животными: модели, процессы и управление.Ежегодный обзор окружающей среды и ресурсов. 2019. pmid: 32587484
2. 2. Veríssimo D, Wan AKY Характеризует усилия по снижению потребительского спроса на продукты дикой природы. Биология сохранения. 2019. pmid: 30259569
3. 3. Анализ Всемирного банка международного финансирования для борьбы с незаконной торговлей дикой природой (2010–2018 гг.). 2019.
4. 4. Себаллос Г., Эрлих П.Р., Дирзо Р. Биологическое уничтожение через продолжающееся шестое массовое вымирание, о чем свидетельствует потеря и сокращение популяции позвоночных.Труды Национальной академии наук. 2017; 114 (30): E6089. pmid: 28696295
5. 5. Greenfield S, Veríssimo D В какой степени социальный маркетинг используется в кампаниях по снижению спроса на незаконные продукты дикой природы? Выводы из слоновой кости и рога носорога. Ежеквартальный социальный маркетинг. 2018: 1524500418813543.
6. 6. Ольмедо А., Шариф В., Милнер-Гулланд Э. Дж. Оценка плана вмешательств по изменению поведения: пример рога носорога во Вьетнаме. Письма о сохранении.2017.
7. 7. St. John FAV, Keane AM, Jones JPG, Milner-Gulland EJ FORUM: Надежный дизайн исследования так же важен как с социальной, так и с экологической стороны прикладных экологических исследований. Журнал прикладной экологии. 2014. 51 (6): 1479–85.
8. 8. Baylis K, Honey-Rosés J, Börner J, Corbera E, Ezzine-de-Blas D, Ferraro PJ и др. Актуализация оценки воздействия в охране природы. Письма о сохранении. 2016; 9 (1): 58–64.
9. 9. MRC NIHR (Совет медицинских исследований Великобритании, Национальный институт исследований в области здравоохранения Великобритании).Разработка и оценка комплексных вмешательств. 2019.
10. 10. Томас-Уолтерс Л., Вериссимо Д., Гэдсби Е., Робертс Д., Смит Р. Более детальный взгляд на изменение поведения с целью сокращения спроса в незаконной торговле дикими животными. Наука и практика сохранения. 2020: e248.
11. 11. Берк Х.М., Филд С., Гонсалес-Кальво Л., Эйхли М.А., Мун Т.Д. Квазиэкспериментальная оценка с использованием подтверждающих процедур: тематическое исследование вмешательства по расширению экономических и социальных прав и возможностей для снижения уязвимости девочек к ВИЧ в сельских районах Мозамбика.Оценка и планирование программы. 2019; 77: 101721. pmid: 31606720
12. 12. Войницка К., Скамбор С., Краус Х. Новые пути оценки программ для мужчин, совершающих насилие в отношении своих партнеров-женщин. Оценка и планирование программы. 2016; 57: 39–47. pmid: 27175612
13. 13. Систематические обзоры, основанные на White H Theory. Журнал эффективности развития. 2018; 10 (1): 17–38.
14. 14. Рафферти А., Уолтери П., Кинг-Хеле С. Анализ изменений во времени: данные повторных поперечных и продольных исследований.Университет Эссекса и Манчестерский университет; 2015.
15. 15. Attanasio O, Cavatorta E Дополнения и альтернативы РКИ в оценке в разработке. Лондон: Предварительный документ CEDIL; 2017.
16. 16. Бирн Д. Оценка сложных социальных вмешательств в сложном мире. Оценка. 2013. 19 (3): 217–28.
17. 17. Tonkin-Crine S, Anthierens S, Hood K, Yardley L, Cals JWL, Francis NA и др. Расхождения между качественной и количественной оценкой результатов рандомизированного контролируемого исследования: достижение ясности с помощью триангуляции смешанными методами.Наука внедрения. 2016; 11 (1): 66. pmid: 27175799
18. 18. Альтубаити А. Информационная предвзятость в исследованиях в области здравоохранения: определение, подводные камни и методы корректировки. J Мультидисциплинарное здравоохранениеc. 2016; 9: 211–7. pmid: 27217764
19. 19. Вайнс С., Николас К.А., Чжао Дж., Доннер С.Д. Измерение того, что работает: количественная оценка сокращения выбросов парниковых газов в результате поведенческих вмешательств, направленных на сокращение вождения, потребления мяса и использования энергии в домашних условиях. Письма об экологических исследованиях. 2018; 13 (11): 113002.
20. 20. Ланторн Х., Иверсен В. Рабочий документ: Подсказки внешней достоверности в разработке – на что обращать внимание и как 2016.
21. 21. CMS (Конвенция по сохранению мигрирующих видов диких животных). Меморандум о взаимопонимании относительно сохранения, восстановления и устойчивого использования сайгака, 2017 г. редакторы.Антилопа сайгак (Saiga spp.): Отчет Секретариата. Семидесятое заседание Постоянного комитета; 2018 1–5 октября 2018 г .; Роза Хутор, Сочи (Российская Федерация).
22. 23. Даути Х., Вериссимо Д., Тан RCQ, Ли Дж.Ш., Карраско Л.Р., Оливер К. и др. Характеристики, мотивация и покупательское поведение пользователей рогов сайгака в Сингапуре. PLOS ONE. 2019; 14 (9): e0222038. pmid: 31504051
23. 24. Даути Х, Райт Дж., Вериссимо Д., Ли Дж. Ш., Оливер К., Милнер-Гулланд Э. Дж. Стратегическая реклама новостных статей в Интернете как средство воздействия на потребителей продукции дикой природы.Наука и практика сохранения. 2020; 2 (10): e272.
24. 25. Даути Х., Оливер К., Вериссимо Д., Ли Дж.Ш., Милнер-Гулланд Э. Дж. Использование теории и данных для разработки мероприятий по изменению поведения с целью сокращения нерационального потребления дикой природы. 2021;
25. 26. Weeks BE, Friedenberg LM, Southwell BG, Slater JS Поведенческие последствия конфликтно-ориентированного освещения новостей здравоохранения: Противоречие с рекомендациями по маммографии 2009 г. и поиск информации в Интернете. Связь здоровья.2012. 27 (2): 158–66. pmid: 21823950
26. 27. Wu T Торговцы вниманием: эпическая борьба за то, чтобы проникнуть в наши головы / Тим Ву. Нью-Йорк: Альфред А. Кнопф; 2016.
27. 28. Чжоу Ц., Чжао Ц., Лу В. Воздействие повторяющихся воздействий на распространение информации в социальных сетях. PLOS ONE. 2015; 10 (10): e0140556. pmid: 26465749
28. 29. Чжэн М., Люй Л., Чжао М. Распространение в социальных сетях: роль социального подкрепления. Physical Review E. 2013; 88 (1): 012818.pmid: 23944529
29. 30. Ленцнер Т., Качмирек Л., Ленцнер А. Когнитивное бремя вопросов обследования и время ответа: психолингвистический эксперимент. Прикладная когнитивная психология. 2010. 24 (7): 1003–20.
30. 31. Оллкотт Х., Роджерс Т. Краткосрочные и долгосрочные эффекты поведенческих вмешательств: экспериментальные данные из энергосбережения. Американский экономический обзор. 2014. 104 (10): 3003–37.
31. 32. R Основная группа R: язык и среда для статистических вычислений.R Фонд статистических вычислений, Вена, Австрия, 2017 г. [Доступно по адресу: https://www.R-project.org/.
32. 33. Хо Д., Имаи К., Кинг Дж., Стюарт Е., Уитворт Пакет MatchIt: непараметрическая предварительная обработка для параметрического причинно-следственного вывода – версия 3.0.2. CRAN; 2018 09 января 2018.
33. 34. Фокс Дж. Компаньон R и S-Plus для прикладной регрессии. Таузенд Оукс, США; Лондон, Великобритания: Sage Publications; 2002.
34. 35. URA (Управление городской застройки).Генеральный план 2014. 2014 Апрель 2019.
35. 36. GD Израиля Определение размера выборки. Информационный бюллетень PEOD-6. Кооперативная служба распространения знаний Флориды, Университет Флориды. 1992.
36. 37. Chung VCH, Ma PHX, Lau CH, Wong SYS, Yeoh EK, Griffiths SM. Взгляды на традиционную китайскую медицину среди китайского населения: систематический обзор качественных и количественных исследований. Ожидания в отношении здоровья. 2014; 17: 622–36. pmid: 22647085
37. 38. Спенс В., Ли Н. Изучение представлений практиков традиционной китайской медицины о медицине, основанной на доказательствах.Дополнительные методы лечения в клинической практике. 2013; 19: 63–8. pmid: 23561062
38. 39. Пак Т., Баркер Дж. (Группа анализа поведения). Меню для изменений: использование поведенческой науки для продвижения устойчивых диет во всем мире. 2020.
39. 40. Шмидт С., Айсенд М. Повторение рекламы: метаанализ эффективной частоты в рекламе. Журнал рекламы. 2015; 44 (4): 415–28.
40. 41. Хаустейн С., Хунеке М. Определение целевых групп для экологически устойчивого транспорта: оценка различных подходов к сегментации.Текущее мнение об экологической устойчивости. 2013. 5 (2): 197–204.
41. 42. Лю X, Ван С., Шишимэ Т., Фудзицука Т. Устойчивое потребление: экологически чистое покупательское поведение городских жителей в Китае. Устойчивое развитие. 2012. 20 (4): 293–308.
42. 43. ДеФлер М.Л., Кронин М.М. Полнота и точность отзыва при распространении новостей из газет по сравнению с телевизионными источниками. Социологический опрос. 1991. 61 (2): 148–66.
43. 44. Молден Д.К. Понимание эффектов прайминга в социальной психологии: что такое «социальный прайминг» и как он возникает? Социальное познание.2014; 32 (Приложение): 1–11.
44. 45. Лёбниц Н., Ашеманн-Витцель Дж. Распространение информации о качестве органических продуктов питания в Китае: восприятие потребителями органических продуктов и влияние повышения экологической ценности. Качество еды и предпочтения. 2016; 50: 102–8.
45. 46. Чанг Л., Баснят И. Переговоры по лечению биомедицинской и традиционной китайской медицины среди пожилых китайских сингапурских женщин. Качественные исследования в области здравоохранения. 2014; 25 (2): 241–52. pmid: 25234107
46. 47.Лим М.К., Садарангани П., Чан Х.Л., Хенг Дж.Й. Использование дополнительной и альтернативной медицины в многорасовом Сингапуре. Дополнительные методы лечения в медицине. 2005. 13 (1): 16–24. pmid: 15907674
47. 48. Капурро Д., Коул К., Эчаваррия М.И., Джо Дж., Неоги Т., Тернер А.М. Использование сайтов социальных сетей для практики и исследований общественного здравоохранения: систематический обзор. J Med Internet Res. 2014; 16 (3): e79. pmid: 24642014
48. 49. WCS Perú (Общество охраны дикой природы).Si Compras, Кампания Eres Cómplice 2019 [Доступно по адресу: https://sicompraserescomplice.pe.
49. 50. ЮНЕП (Программа ООН по окружающей среде). Кампания Wild For Life 2016 [Доступно по ссылке: https://wildfor.life/the-campaign.
50. 51. Янг В., Рассел С.В., Робинсон К.А., Баркемейер Р. Могут ли социальные сети быть инструментом для сокращения пищевых отходов потребителей? Эксперимент по изменению поведения, проведенный розничным продавцом из Великобритании. Ресурсы, сохранение и переработка. 2017; 117: 195–203.
51. 52.Шерри Дж. Л. Просоциальные мыльные оперы для развития. Журнал международного общения. 1997. 4 (2): 75–101.
52. 53. LaCroix JM, Снайдер LB, Huedo-Medina TB, Johnson BTE Эффективность вмешательств средств массовой информации для профилактики ВИЧ, 1986–2013: Метаанализ. Журнал JAIDS по синдромам приобретенного иммунодефицита. 2014; 66: S329 – S40. pmid: 25007204
53. 54. Снайдер Л. Б., Гамильтон М. А., Митчелл Э. У., Киванука-Тондо Дж., Флеминг-Миличи Ф., Проктор Д. Мета-анализ влияния опосредованных информационных кампаний по вопросам здоровья на изменение поведения в Соединенных Штатах.Журнал коммуникаций в области здравоохранения. 2004; 9 (sup1): 71–96. pmid: 14960405

.