Должностные инструкцииСанитарка-мойщица: должностные обязанности

Отличная статья 0

Reddit Post Classification – KDnuggets

Эндрю Бергман, аналитик данных и специалист по решению проблем

Во время моего погружения в науку о данных третьим проектом, который мне пришлось выполнить, была классификация постов Reddit. Мы только что завершили очистку данных и обработку естественного языка, поэтому проект состоял из двух частей: очистить столько сообщений из API Reddit, сколько позволено, а затем использовать модели классификации для прогнозирования происхождения сообщений.

Я завершил проект некоторое время назад, но решил вернуться к нему с большим опытом: с тех пор я узнал о двух новых моделях классификации (поддерживающий векторный классификатор и классификатор XGBoost).

Сбор, очистка и предварительная обработка данных

Процесс извлечения данных из API Reddit довольно прост: это всего лишь базовый запрос, поскольку они не требуют ключа для доступа к API. К счастью для меня, у меня все еще был первый набор сообщений с того момента, когда я впервые завершил этот проект: всего у меня было около 4000 сообщений.

В некоторых отношениях очистка текста намного проще, чем очистка числовых данных: мне просто нужно было удалить нули, отфильтровать дубликаты и прикрепленные сообщения, отфильтровать перекрестные сообщения, небуквенные символы и URL-адреса.У меня было два источника текста в сообщениях: заголовок и самотекст (сам текст сообщения). Я решил объединить два источника в один документ, чтобы моделирование было немного проще. На этом этапе я решил взглянуть на самые частые слова из каждого сабреддита.

15 самых частых слов до лемматизации

Как только я понял, какие слова используются чаще всего, я смог добавить их в список используемых мной стоп-слов.

Последний шаг предварительной обработки, который я предпринял, – это лемматизация текста.Я выбрал лемматизацию вместо стемминга, потому что лемматизация – это более мягкий процесс, который стремится вернуть словарную форму слова, а не сокращать слово до его основы, что может возвращать не слова.

Моделирование

 импорт НЛТК
импортировать панд как pd
импортировать numpy как np
импортировать seaborn как sns
импортировать matplotlib.pyplot как plt
из nltk.corpus импортировать стоп-слова
из нлтк.основной импорт WordNetLemmatizer
из nltk.tokenize import RegexpTokenizer
из sklearn.ensemble импортировать RandomForestClassifier
from sklearn.feature_extraction.text import TfidfVectorizerfrom
из sklearn.feature_extraction.text импорт CountVectorizer
из sklearn.linear_model import LogisticRegression
из sklearn.metrics импортировать confusion_matrix
из sklearn.metrics import roc_auc_score
из склеарна.импорт показателей precision_score, f1_score
из sklearn.metrics импортировать balance_accuracy_score
из sklearn.model_selection import GridSearchCV
из sklearn.model_selection import train_test_split
из skearnn.model_selection импорт cross_val_score
из sklearn.pipeline import Pipeline
из sklearn.svm импортировать SVC
из sklearn.tree импортировать DecisionTreeClassifier
из xgboost импортировать XGBClassifier 

Я подошел к проблеме с 4 моделями: логистическая регрессия, классификатор опорных векторов (SVC) и классификатор XGBoost.Каждая модель запускалась дважды: один раз с векторизатором подсчета и один раз с векторизатором TFIDF (термин «частота-обратная частота документа»).

• Векторизатор счетчика берет каждое слово из каждой строки данных, создает для него столбец и подсчитывает, сколько раз встречается это слово.
• Векторизатор TFIDF делает то же самое, но вместо того, чтобы возвращать счетчик, возвращает частоту в процентах, масштабированных по тому, как часто она появляется во всех документах.

Мне пришлось использовать gridsearch для каждой модели, потому что я настраивал 2 набора гиперпараметров (параметры, которые алгоритм не может определить): один набор для векторизаторов и один набор для реальных моделей.

Когда дело дошло до оценки, я использовал три набора показателей: оценки показателей (точность, оценка F1 и т. Д.), Матрицы неточностей и кривую ROC (рабочие характеристики приемника). Для простоты я покажу оценки только для лучшей модели, иначе изображений будет слишком много.

Я начал с модели логистической регрессии, потому что она проста: если эта модель работает плохо, мне придется перейти к другому типу модели. Производительность логистической регрессии была разной: она работала намного лучше с векторизатором TFIDF и была переоборудована.

Следующей моделью, которую я попробовал, была модель SVC. Я думал, что, поскольку алгоритм вектора поддержки использует трюк с ядром для перемещения данных в более высокие измерения, он лучше справится с разделением классов. Однако он не превзошел логистическую регрессию, что меня очень удивило. Результаты SVC с обоими векторизаторами практически не переборщили, что также было неожиданностью.

Затем я перешел к классификатору случайного леса. Поскольку векторизатор может генерировать сотни функций, я подумал, что случайный выбор функций, встроенный в алгоритм случайного леса, будет устранять дисперсию лучше, чем в предыдущих моделях.Случайный лес работал лучше, чем SVC, но все равно был хуже, чем логистическая регрессия.

Наконец, я обратился к XGBoost. Классификатор XGBoost – это классификатор на основе дерева, который реализует повышение (подгонку моделей к предыдущим ошибкам) ​​и градиентный спуск. Я был уверен, что это будет моя лучшая модель, но это не так: она все равно превзошла SVC и random forest

Лучшая модель

Моей лучшей моделью была логистическая регрессия с векторизацией TFIDF.Несмотря на то, что это лучшая модель, это далеко не хорошая модель.

Пять метрических баллов

Я выбрал эти метрики, потому что они по-разному представляют точность модели.

• Точность – это общее количество правильных прогнозов.
• Точность балансировки – это среднее значение чувствительности для обоих классов
• Специфичность – сколько отрицательных прогнозов верны (r / AskCulinary)
• Чувствительность – сколько положительных прогнозов верны (r / Cooking)
• F1 Score – это среднее гармоническое значение специфичности и чувствительности, а также еще одно измерение точности.

Эта модель превзошла базовую линию (черная линия) с точки зрения точности и сбалансированной точности, но ее оценки все еще невысоки. Я оптимизировал для чувствительности, что означает, что я хотел предсказать сообщения от r / Cooking, но эта модель имела ужасную чувствительность: она лучше предсказывала отрицательный класс (r / AskCulinary), потому что было больше экземпляров этого. Оценка F1 низкая из-за низкой чувствительности.

Кривая ROC с AUC 0,66419

Кривая ROC отображает способность логистической регрессии различать два класса, т.е.е. r / Cooking & r / AskCulinary. Сама кривая показывает соотношение между чувствительностью и ложными срабатываниями. Однако более важным является AUC (площадь под кривой), потому что он показывает различие между обоими классами. Наименьшая возможная оценка – 0,5, а моя лучшая модель – 0,66, что совсем не очень хорошо: модели трудно различать классы.

Выводы

Мне не удалось должным образом классифицировать исходный субреддит для сообщений, с которыми я работал.

Характеристики модели оставляли желать лучшего. У других моделей были показатели специфичности, но с остальными они были хуже. Кроме того, модели были переобучены, хотя я пробовал алгоритмы, которые могут помочь справиться с переобучением.

Метод векторизации улучшил производительность, но не сильно; это область, в которой я хотел бы продолжить эксперименты.

Наконец, я хотел бы попробовать запустить нейронную сеть, потому что они очень хорошо справляются с задачами классификации.

Мне не удалось получить желаемых результатов, но это нормально: не все получается так, как вы хотите, в реальном мире.

Репозиторий проекта можно найти здесь.

Со мной также можно связаться через LinkedIn.

Биография: Эндрю Бергман стремится использовать данные для решения реальных проблем на благо людей. Его опыт работы с образовательными данными показал ему важность рассмотрения человеческой стороны данных. Он использует свои навыки критического мышления вместе со своим любопытством и дотошностью, чтобы предложить сторонний подход к решению проблем.

Оригинал. Размещено с разрешения.

Связанный:

(PDF) Классификация сообщений в социальных сетях, связанных со здоровьем: анализ и оценка (препринт)

Социальные сети, связанные со здоровьем. Mislove et al [17] оценили пол и этническую принадлежность пользователей Твиттера

, используя первые

имени и фамилии. Сада и др. [12] расширили работу

Mislove и др. [17], рассматривая псевдонимы при оценке пола

.В этом исследовании мы использовали методы классификации текста, чтобы

идентифицировать категории контента публикаций в социальных сетях, связанных со здоровьем

, и использовали методы, предложенные в исследованиях Sadah et al.

[12] и Mislove et al [17], чтобы изучить частоту этих

категорий в нескольких демографических группах.

Методы

Наборы данных

Для онлайн-форумов, связанных со здоровьем, мы выбрали 2 разных веб-сайта

, WebMD и DailyStrength.Причина выбора

2 онлайн-форумов, связанных со здоровьем, заключается в том, чтобы охватить различные типы

онлайн-форумов, связанных со здоровьем, которые каждый из них представляет. Хотя

WebMD состоит из нескольких сообществ здоровья, где люди

задают вопросы и получают ответы от членов сообщества

[18], DailyStrength позволяет пациентам обмениваться опытом

и лечения, обсуждать повседневные проблемы и успехи, а

получают эмоциональные ответы. поддержка [19].Для каждого сообщения, полученного с

этих веб-сайтов, мы извлекли URL-адрес, заголовок, имя пользователя, время публикации

, текст сообщения и название доски сообщений

. Для каждого пользователя собранного сообщения мы также собрали

возраста автора, друзей, пола и местоположения, где это применимо.

Поскольку сканирование этих сайтов выполнялось в разное время,

некоторые из собранных нами данных не отражают текущую доступность

определенных атрибутов из-за изменения формата веб-сайта

, например, возраст и пол в настоящее время доступно

из профилей пользователей WebMD, но раньше не было.В этом исследовании

выбор демографических атрибутов, которые мы использовали для

источника, основан на доступности, отраженной большинством

сообщений, собранных из этого источника, например, большинство из

сообщений WebMD в наших данных были собраны до того, как были доступны возраст и пол

, поэтому мы не использовали эти атрибуты для анализа демографических данных пользователей WebMD

. Мы ограничили использование сообщений

из этих источников первым сообщением в каждой ветке.В нашем анализе

мы использовали тело сообщения, заголовок сообщения, имя доски сообщений,

и имя пользователя из WebMD, а также тело сообщения, заголовок сообщения, имя доски сообщений

, а также пол, возраст и местоположение пользователя из

. DailyStrength.

Для обычных социальных сетей мы выбрали Twitter и Google+, так как

они предлагают интерфейсы для простого сбора данных (в отличие от

Facebook). Для каждого сообщения Twitter мы собрали содержание сообщения, время публикации

, местонахождение, а также имя пользователя и местонахождение автора.Для

каждого сообщения Google+ мы собрали заголовок, время публикации, время обновления,

– содержание сообщения, местоположение и имя пользователя автора, первые

и фамилию, возраст, пол и местоположение. Поскольку Twitter и

Google+ являются общими социальными сетями, мы использовали 274 репрезентативных

ключевых слов, связанных со здоровьем, чтобы отфильтровать их следующим образом: (1) Лекарства:

из большинства рецептов, выписанных из RxList [20], мы выбрали

200 самых популярных препаратов.После удаления вариантов

одного и того же лекарства (например, с разными дозировками в миллиграммах) окончательный список

лекарств содержал 124 уникальных названия лекарств. (2) Хэштеги: 11

популярных хэштегов Twitter, связанных со здоровьем, например #BCSM (Breast

Cancer and Social Media). (3) Заболевания: 81 часто обсуждаемых

расстройств, таких как СПИД и астма. (4)

Pharmaceuticals: названия 12 крупнейших фармацевтических компаний

, таких как Novartis.(5) Страхование: названия

44 крупнейших страховых компаний, таких как Aetna и Shield. (6)

Общие связанные со здоровьем ключевые слова «здравоохранение» и «здравоохранение

страхование». Чтобы достичь окончательного подсчета ключевых слов для хэштегов,

расстройств, фармацевтических препаратов и страхования, мы выбрали каждое ключевое слово

из большего списка для каждой из этих категорий и сохранили

ключевых слов с высоким соотношением сообщений, связанных со здоровьем. В нашем анализе

мы использовали тело твита, имя и фамилию пользователя и местоположение пользователя

из Twitter, а также тело сообщения, заголовок сообщения и пол, возраст, имя и фамилию пользователя, а также местонахождение из Google+.

Чтобы отфильтровать Twitter с помощью списка ключевых слов, связанных со здоровьем, чтобы получить

релевантных твитов для TwitterHealth, мы использовали потоковый интерфейс Twitter

прикладного программирования (API) [21]. Точно так же мы

использовали Google+ API [22] для извлечения соответствующих сообщений для

Google + Health. Для онлайн-форумов, посвященных здоровью, WebMD и

DailyStrength, мы создали сканер для каждого веб-сайта на Java, используя

jsoup [23], библиотеку для извлечения и анализа содержимого HTML.Таблица

1 перечисляет для каждого источника количество собранных сообщений, дату

диапазонов собранных сообщений и то, присутствуют ли демографические атрибуты

, используемые в этом исследовании, а таблица 2 перечисляет распределение демографических данных

для каждого источника по каждый

демографический признак. Для всех 4 этих источников мы не делали

специально для нашего поиска англоязычных постов, кроме

с использованием английских названий наркотиков; однако большинство сообщений

, собранных из этих источников, были на английском языке.

Таблица 1. Список всех использованных источников с указанием количества сообщений, диапазона дат публикации и доступных демографических атрибутов.

Местоположение Этническая принадлежность Возраст Пол Диапазон дат Количество сообщений Источник

Yesb

Классификатор этнической принадлежности

[17]

Noa

Половой классификатор

[17]

2 мая 2013 г. по

Да Классификатор этнической принадлежности

[17]

Да Да 24 августа 2009 г. – 5 января

2014 г.

186 666 Google + Здоровье [25]

Да Нет Да Да ]

NoNoNoGender classifier

[12]

24 декабря 2006 г. по 11 мая

2019

318,297WebMD [27]

a Демографический атрибут не предоставляется источником и не используется классификатор из-за низкой точности .

bДемографический атрибут предоставлен источником.

Обзор общественного здравоохранения JMIR, 2020 | т. 6 | выпуск 2 | e14952 | п. 3 https://publichealth.jmir.org/2020/2/e14952 (номер страницы не для цитирования)

Rivas et al. JMIR ОБЩЕСТВЕННОЕ ЗДОРОВЬЕ И НАДЗОР

XSL

•

FO

RenderX

Как вы уже догадались, мне было поручено использовать машинное обучение, чтобы сделать то, что вы только что пытались сделать выше! Другими словами, создает модель классификации, которая может различать, какому из двух субреддитов сообщение принадлежит .

Предположение для этой проблемы состоит в том, что недовольный разработчик серверной части Reddit просматривал все сообщения и заменял поле subreddit на «(· ̿̿Ĺ̯̿̿ · ̿ ̿)». В результате ни одна из ссылок сабреддита не будет заполнена сообщениями до тех пор, пока поля сабреддита каждой публикации не будут переназначены.

Как вы, возможно, уже догадались, посты в r / BabyBumps и r / menstruation определенно будут иметь много общего. Например, представьте, что женщины говорят о пристрастии к еде, судорогах или перепадах настроения в любом из каналов.Мне нравятся задачи, поэтому я специально выбрал два тесно связанных субреддита, поскольку хотел увидеть, насколько хорошо я могу использовать обработку естественного языка и машинное обучение, чтобы точно переклассифицировать сообщения в соответствующие субреддиты.

* Ответ на ледокол можно найти в последнем предложении следующего раздела, но продолжайте читать, чтобы увидеть, умнее ли вы, чем алгоритм, который я построил!

Мой процесс сбора данных включал использование библиотеки запросов для циклического прохождения запросов на получение данных с использованием API Reddit, что довольно просто.Чтобы получать сообщения из / r / menstruation, все, что мне нужно было сделать, это добавить .json в конец URL-адреса. Reddit предоставляет только 25 сообщений на запрос, а я хотел 1000, поэтому я повторил процесс 40 раз. Я также использовал функцию time.sleep () в конце цикла, чтобы сделать перерыв в одну секунду между запросами.

Мой цикл for вывел список вложенных словарей json, из которых я проиндексировал желаемые функции, Post Text и Title , одновременно добавив их в два фрейма Pandas DataFrames, один для сообщений, связанных с r / BabyBumps, и другое для постов, связанных с г / менструацией.

После получения моих сообщений в соответствующих DataFrames я проверил наличие повторяющихся и нулевых значений, оба из которых имели место. Для повторяющихся значений я избавился от них с помощью функции drop_duplicates () . Нулевые значения встречаются только в моем столбце Post Text , это происходит, когда пользователь Reddit решает использовать только поле заголовка. Я решил не отбрасывать нулевые значения, поскольку я не хотел терять ценную информацию в сопровождающих строках моего подвига Title , поэтому вместо этого я заполнил пустые значения уникальным и произвольным текстом.

После очистки и объединения моих данных мой последний DataFrame содержал 1818 документов (строк) и 3 функции (столбцы). Третьей особенностью была моя цель, у которой был баланс классов 54% для класса 1 (r / BabyBumps) и 46% для класса 0 (r / менструация) – ответ ледокола !

Я создал облако слов, потому что это весело, и мы работаем с текстовыми данными!

Это облако слов содержит 100 слов из обоих подреддитов. Я создал его, чтобы получить визуальное представление о частотах (более крупные / жирные слова имеют более высокую частоту) слов и о том, как их общность в субреддитах может испортить мою модель; или как это может сработать в пользу моей модели, если это слово / фраза вроде «менструальная чаша» имеет среднюю частоту и, вероятно, появляется или чаще всего появляется в сообщениях о менструации.

Я начал процесс моделирования с создания моих X и моих y и разделения моих данных на обучающие и тестовые наборы. Затем я перешел к процессу разработки функций, создав два экземпляра CountVectorizer для моих функций Post Text и Title . CountVectorizer преобразует коллекцию текстовых документов (строки текстовых данных) в матрицу счетчиков токенов. Я пропустил через них следующие гиперпараметры (аргументы):

• stop_words = ‘english’ ( Post Text & Title )
• strip_accents = ‘ascii’ ( Post Text & Title )
• ngram_range = (1, 6), min_df =.03 ( Post Text )
• ngram_range = (1, 3), min_df = .01 ( Title )

Стоп-слова удаляют слова, которые обычно встречаются в английском языке. Полосовые акценты удаляют акценты и выполняют другую нормализацию символов. Min_df игнорирует термины, частота которых в документе строго ниже заданного порогового значения.

N-грамма – это просто строка из n слов подряд. Например, если у вас есть текстовый документ, содержащий слова «Я люблю свою кошку». – установка диапазона n-граммов на (1, 2) даст: «Я люблю | люблю мой | моя кошка”.Наличие н-граммовых диапазонов может быть полезно для предоставления моделям большего контекста вокруг текста, который я им скармливаю.

Я предположил, что установка функции Title с диапазоном n-грамм (1, 4) убирает шум и будет более полезной для моей модели, добавив больше контекста, чем если бы ее просто оставили в покое. Я все еще устанавливаю нежный min_df, чтобы убрать любой дополнительный шум. Я сделал аналогичные предположения для моей функции Post Text , хотя я дал ей более высокий диапазон n-граммов, поскольку тексты сообщений имеют тенденцию быть более длинными.

В результате получилось 393 функции, которые я добавил в две разновидности моделей, перечисленных ниже. Я построил четыре функции для запуска каждой пары моделей и провел поиск по сетке по нескольким гиперпараметрам, чтобы найти лучшие из них, подходящие для моей окончательной модели.

Разница в вариациях составила штраф и параметры решателя . Решатели newton-cg, lbfgs и sag обрабатывают только штраф L2 (регуляризация гребня), тогда как liblinear и saga обрабатывают L1 (регуляризация лассо).

• Деревья решений и случайные леса

Разница в вариациях для этих двух моделей составляла критерий параметра . Один был установлен на «Джини» (примесь Джини), а другой – на «энтропию» (получение информации).

Разница в вариациях заключалась в аргументе fit_prior , который решает, следует ли изучать априорные вероятности класса или нет. Если false, будет использоваться униформа приора. Один был установлен на True, а другой – на False.

Моя вторая полиномиальная наивная байесовская модель показала лучшие результаты. С лучшими параметрами – alpha = 0 и fit_prior = False. Оценка точности составила 92,4% для обучающих данных и 92,2% для невидимых данных. Это означает, что наша модель немного и, вероятно, несущественно переобучена. Это также означает, что 92,2% наших сообщений будут точно классифицированы нашей моделью.

Учитывая небольшой объем собранных данных и минимальное количество используемых функций, полиномиальная наивная байесовская модель была самой выдающейся.Он хорошо обрабатывал невидимые данные и уравновешивал компромисс между смещением и дисперсией, лучший среди восьми моделей, поэтому я бы использовал его для переклассификации сообщений Reddit.

Однако, если у вас будет больше времени и данных для ответа на проблему, я бы порекомендовал две вещи: 1) уделять больше времени текущим функциям (например, разработка функции длины слова) и 2) изучать новые функции (например, голосовать за или публиковать комментарии).

Выявление и классификация экстремистской принадлежности в социальных сетях с использованием методов анализа настроений | Информатика и информатика, ориентированные на человека

Сбор данных

Мы использовали API потоковой передачи Twitter [26] для удаления твитов, содержащих одно или несколько связанных с экстремизмом ключевых слов (ИГИЛ, бомба, самоубийство и т. Д.)). Кроме того, мы также исследовали различные форумы Dark Web, такие как Al-Firdaws, Montada, alokab и Islamic Network [27]. Первые три – это арабские форумы, а третий – на английском. Мы собрали более 25 000 сообщений, переведя сообщения с других языков на английский с помощью API-интерфейса Google Translate на основе Python (https://pypi.org/project/googletrans/). Каждый обзор сопоставляется с исходными словами, присутствующими в составленной вручную лексике экстремистов, полученной от BiSAL [28], двуязычной лексики настроений для анализа форумов дарквеба.Таким образом, собираются все сообщения, содержащие одно или несколько ключевых слов из словаря, полученного вручную. Для этого мы использовали скрипт beautiful-soupscript на основе Python (https://codeburst.io/web-scraping-101-with-python-beautiful-soup-bb617be1f486).

Полученные данные сохраняются в машиночитаемом файле «.CSV». Таким образом, мы получили вручную помеченные наборы обучающих данных для проведения экспериментов. Набор обучающих данных состоит из 12 754 твитов, помеченных как « экстремистских » и 8432 как « не – экстремистских » [29].Таблица 1 показывает детали использованного набора данных. В таблице 2 показан примерный список часто встречающихся терминов в наборе данных, показывающий частоту терминов (tf), частоту документов (df) и частоту пользователей (uf).

Предварительная обработка

Мы применили различные методы предварительной обработки, такие как токенизация, удаление стоп-слова, преобразование регистра и удаление специальных символов [30]. Токенизация дает набор уникальных токенов (356 242), которые помогают в создании словаря из обучающего набора, используемого для кодирования текста.

Обучение, проверка и тестирование

Мы разделили набор данных на три части: обучение, проверка и тестирование. Модель DL обучается с помощью библиотеки Keras [31] на основе TensorFlow. Аппаратные требования включают 4 GPU Titan X, 128 ГБ памяти с узлом Intel Core i7. На рисунке 1 показано схематическое представление разделения поездов, проверки и тестирования.

Обучение, проверка и разделение тестов

Данные обучения

Данные обучения используются для обучения модели.В этой работе 80% данных используется для обучения и может варьироваться в зависимости от требований эксперимента. Данные обучения включают в себя как входные, так и ожидаемые выходные данные. Он включает как вход, так и соответствующий ожидаемый результат [32].

В таблице 3 показан примерный список предложений для обзора в обучающих данных.

Проверка данных

Проверка данных используется для минимизации переобучения и неполной подгонки [33], что обычно происходит из-за высокой точности фазы обучения и снижения производительности по сравнению с тестом. данные.Поэтому используется 10% набор проверок, чтобы избежать ошибок производительности путем настройки параметров. Для этой цели мы применили автоматическую проверку набора данных [34], которая обеспечивает объективную оценку модели и минимизирует переобучение [35].

Тестовые данные

Тестовые данные (20%) используются для проверки того, хорошо ли обученная модель работает с невидимыми данными. Он используется для окончательной оценки модели, когда она полностью обучена. Список образцов записей в тестовых данных представлен в таблице 4.

Предлагаемая сетевая модель

Предлагаемый метод реализует и оценивает производительность долговременной краткосрочной памяти с моделью сверточной нейронной сети (CNN) для идентификации твитов / обзоров, содержащих контент с экстремистскими зацепками. Мы обучаем нейронный классификатор для классификации содержания экстремистской принадлежности. Рабочий процесс сети состоит из следующих шагов: (i) встраивание слов, при котором каждому слову в предложении присваивается уникальный индекс для формирования вектора фиксированной длины, (ii) слой исключения используется, чтобы избежать переобучения, ( iii) слой LSTM включен для захвата зависимости между твитами / обзорами на большом расстоянии (iii) извлечение признаков выполняется с помощью операции свертки, (iv) уровень объединения нацелен на минимизацию размера карты признаков путем агрегирования информации, (v) сглаживание Layer преобразует объединенную карту объектов в вектор-столбец, и (vi) на выходном слое для классификации используется функция softmax.На рисунке 2 представлена ​​сетевая диаграмма для классификации приговора как «экстремистский» или «не – экстремистский контент». В оставшейся части этой статьи мы подробно описываем работу с этими слоями.

Архитектура LSTM + CNN для классификации экстремистской принадлежности

Слой встраивания слов (входной)

Встраиваемый или входной уровень – это первый уровень модели LSTM + CNN, который преобразует слова в векторное представление с действительным знаком, т. Е. Создается словарь слов, который затем преобразуется в числовая форма, известная как встраивание слов.Вложение слова дается в качестве входных данных (матрица предложений) для следующего уровня. Как показано в псевдокоде, существуют разные параметры, а именно (i) максимальное количество функций, (ii) встроенное тусклое изображение и (iii) длина ввода. « max_features» содержит самые популярные слова и представляет размер словарного запаса; « embed_dim» показывает размерность вектора с действительным знаком, а « input_length» описывает длину каждой входной последовательности.

Предложение состоит из последовательности слов: x ₁ , x ₂ … x _n , и каждому слову присваивается эксклюзивный порядковый номер.Слой внедрения преобразует такие индексы в D-мерный вектор слов. Для этой цели матрица внедрения размером [ размер словаря × размер внедрения ]) изучается по матрице размером 10 × 4, то есть ([V × D] = [10 × 4]). Так как в этом случае размер словаря равен 10, а размер встраивания равен 4, поэтому отдельное слово « Baghdadi » представлено как 1 4-мерным вектором, то есть (1 × D = [1 × 4]. Например, , слово « Baghdadi » с индексом «1» содержит вектор вложения [0.2, 0,4, 0,1, 0,2], представленной первой строкой, показанной на рис. 3. Точно так же вторая строка – [0,6, 0,2, 0,8, 0,8], и то же самое для других. Таким образом, мы можем ясно видеть, что каждое слово имеет вложение размером «1 × D», как показано на рис. 3. Матрица вложения обозначается как E ϵ R ^{V × D} . Процесс встраивания слов проиллюстрирован следующим образом:

Представление слова во входном слое

Слой исключения

Работа слоя исключения

На рисунке 4 показан слой внедрения, который содержит действительное представление данного предложения: Багдади… наша последняя и единственная надежда, я просто люблю тебя., поэтому после добавления слоя исключения некоторые значения в слое внедрения деактивируются случайным образом (рис. 4).

Долговременная краткосрочная память

Мы использовали один слой LSTM, который состоит из 100 ячеек / единиц lstm. LSTM выполняет некоторые предварительные вычисления перед выходом. В каждой ячейке выполняется четыре независимых вычисления с использованием четырех вентилей: забыть (ft), вход (it), кандидат (c ~ t) и выход (ot). Уравнения для этих ворот приведены ниже [37]:

$$ ft = \ sigma \ left ({Wfxt + Uf ht – 1 + bf} \ right) $$

(2)

$$ it = \ sigma \ left ({Wixt + Ui ht – 1 + bi} \ right) $$

(3)

$$ Ot = \ sigma \ left ({Wo xt + Uo ht – 1 + bo} \ right) $$

(4)

$$ C \ sim t = \ tau \ left ({Wc xt + Uc ht – 1 + bc} \ right) $$

(5)

$$ Ct = ft oCt – 1 + it oC \ sim t $$

(6)

$$ ht = Ot o \ tau \ left ({Ct} \ right) $$

(7)

Графическое изображение всей ячейки LSTM в зеленом блоке показано на рис.5.

Ячейка долговременной краткосрочной памяти

Теперь примерное предложение: « Багдади… наша последняя и единственная надежда, я просто люблю тебя» передается через ячейку LSTM. Выполнение сначала начинается с ворот забыть, используя уравнение. (2) в котором вход x _t и предыдущий выход h _t умножаются на их соответствующие веса Wf, Uf . Следующее смещение добавляется bf , которое выводит вектор (4 × 1). Затем применяется сигмовидная функция активации для преобразования значений от 0 до 1 в значения больше 0.5 принимается равным 1 для трех ворот ft, it, Ot, как показано в расчетах ниже [38]. Затем для входного и выходного вентиля повторяется та же процедура, а для элемента-кандидата вместо сигмоида используется функция касательной. Наконец, выходные h _t и векторы следующего состояния c _t ячейки вычисляются с использованием формул. (6) и (7).

Ввод значений в уравнения. (2), (3), (4), (5), (6), (7)

$$ {\ text {f}} _ {\ text {t}} = \ sigma \ left ({\ left [{\ begin {array} {* {20} c} {0.1} & {0.3} & {0,2} & {0,4} \\ {0,2} & {0,1} & {0,5} & {0,3} \\ {0,3} & {0,6} & {0,3} & {0,2} \\ {0,1} & {0.2} & {0.5} & {0.3} \\ \ end {array}} \ right] \ times \ left [{\ begin {array} {* {20} c} {0.2} \\ {0.4} \\ {0,1} \\ {0,2} \\ \ end {массив}} \ right] + \ left [{\ begin {array} {* {20} c} {0,1} & {0,2} & {0,5} & {0,6 } \\ {0,3} & {0,4} & {0,1} & {0,7} \\ {0,2} & {0,3} & {0,5} & {0,4} \\ {0,4} & {0,1} & {0,3} & { 0,2} \\ \ end {array}} \ right] \ times \ left [{\ begin {array} {* {20} c} 0 \\ 0 \\ 0 \\ 0 \\ \ end {array}} \ справа] + \ left [{\ begin {array} {* {20} c} {0.1} \\ {0.2} \\ {0.3} \\ {0.4} \\ \ end {array}} \ right]} \ right) = \ left [{\ begin {array} {* {20} c} 1 & 1 & 1 & 1 \\ \ end {array}} \ right] $$

$$ {\ text {i}} _ {\ text {t}} = \ sigma \ left ({\ left [{\ begin {array} {* {20} c} {0.4} & {0.3} & { 0,1} и {0,5} \\ {0,2} и {0,6} и {0,4} и {0,1} \\ {0,3} и {0,5} и {0,6} и {0,7} \\ {0,2} и {0,1} и {0,4} & {0,3} \\ \ end {array}} \ right] \ times \ left [{\ begin {array} {* {20} c} {0,2} \\ {0,4} \\ {0,1} \ \ {0.2} \\ \ end {array}} \ right] + \ left [{\ begin {array} {* {20} c} {0,5} & {0,1} & {0,4} & {0,6} \\ {0,4} & {0,3} & {0,2} & {0,7} \\ {0,6} & {0,2} & {0,4} & {0,8} \\ {0,2} & {0,7} & {0,8} & {0,1} \\ \ end {массив}} \ right] \ times \ left [{\ begin {array} {* {20} c} 0 \\ 0 \\ 0 \\ 0 \\ \ end {array}} \ right] + \ left [ {\ begin {array} {* {20} c} {0.1} \\ {0.3} \\ {0.4} \\ {0.2} \\ \ end {array}} \ right]} \ right) = \ left [ {\ begin {array} {* {20} c} 1 & 1 & 1 & 1 \\ \ end {array}} \ right] $$

$$ {\ text {c}} \ sim {\ text {t}} = \ tau \ left ({\ left [{\ begin {array} {* {20} c} {0.3} & {0,2} & {0,5} & {0,6} \\ {0,1} & {0,3} & {0,4} & {0,2} \\ {0,5} & {0,6} & {0,7} & {0,1} \\ {0,4} & {0,3} & {0,2} & {0,7} \\ \ end {array}} \ right] \ times \ left [{\ begin {array} {* {20} c} {0,2} \\ { 0,4} \\ {0,1} \\ {0,2} \\ \ end {array}} \ right] + \ left [{\ begin {array} {* {20} c} {0,5} & {0,1} & {0,4 } & {0,6} \\ {0,4} & {0,3} & {0,2} & {0,7} \\ {0,6} & {0,2} & {0,4} & {0,8} \\ {0,2} & {0,7} & { 0,8} & {0,1} \\ \ end {array}} \ right] \ times \ left [{\ begin {array} {* {20} c} 0 \\ 0 \\ 0 \\ 0 \\ \ end { массив}} \ right] + \ left [{\ begin {array} {* {20} c} {0.4} \\ {0.1} \\ {0.2} \\ {0.3} \\ \ end {array}} \ right]} \ right) = \ left [{\ begin {array} {* {20} c} { 0,6} & {0,3} & {0,5} & {0,5} \\ \ end {array}} \ right] \, $$

$$ {\ text {o}} _ {t} = \ sigma \ left ({\ left [{\ begin {array} {* {20} c} {0.2} & {0.1} & {0.5} & { 0,6} \\ {0,3} и {0,4} и {0,2} и {0,1} \\ {0,1} и {0,5} и {0,6} и {0,7} \\ {0,6} и {0,4} и {0,3} и {0.2} \\ \ end {array}} \ right] \ times \ left [{\ begin {array} {* {20} c} {0.2} \\ {0.4} \\ {0.1} \\ {0,2} \\ \ end {массив}} \ right] + \ left [{\ begin {array} {* {20} c} {0,1} & {0,2} & {0,5} & {0,3} \\ {0,6} и {0,3} и {0,2} и {0,4} \\ {0,7} и {0,4} и {0,1} и {0,8} \\ {0,8} и {0,5} и {0,2} и {0,3 } \\ \ end {array}} \ right] \ times \ left [{\ begin {array} {* {20} c} 0 \\ 0 \\ 0 \\ 0 \\ \ end {array}} \ right ] + \ left [{\ begin {array} {* {20} c} {0,7} \\ {0,6} \\ {0,5} \\ {0,4} \\ \ end {array}} \ right]} \ right ) = \ left [{\ begin {array} {* {20} c} 1 & 1 & 1 & 1 \\ \ end {array}} \ right] $$

$$ {\ text {c}} _ {\ text {t}} = \ left [{\ begin {array} {* {20} c} 1 & 1 & 1 & 1 \\ \ end {array}} \ right] \ cdot \ left [{\ begin {array} {* {20} c} 0 & 0 & 0 & 0 \\ \ end {array}} \ right] + \ left [{\ begin {array} { * {20} c} 1 & 1 & 1 & 1 \\ \ end {array}} \ right] \ cdot \ left [{\ begin {array} {* {20} c} {0.6} & {0,3} & {0,5} & {0,5} \\ \ end {array}} \ right] $$

$$ {\ text {h}} _ {\ text {t}} = \ left [{\ begin {array} {* {20} c} 1 & 1 & 1 & 1 \\ \ end {array}} \ right] \ cdot \ tau \ left [{\ begin {array} {* {20} c} {0,6} & {0,3} & {0,5} & {0,5} \\ \ end {array}} \ right] = \ left [{\ begin {array} {* {20} c} {0.5} & {0.2} & {0.4} & {0.} \\ \ end {array} 4} \ right] $$

Отсюда мы передаем наши h _t и c _t , чтобы начать вычисления следующей ячейки lstm.{lxw} \). Наконец, это представление подается на уровень CNN.

Сверточный слой

На этом уровне выполняется сверточная операция, которая представляет собой математическую операцию, реализованную над двумя функциями, в результате чего получается третья функция. Для выполнения сверточной операции размеры входной матрицы (P), матрицы фильтра (F) и выходной матрицы (T) представлены следующим образом:

В формуле. (8), P представляет входную матрицу, созданную слоем LSTM, R обозначает все действительные числа, l – длину и w – ширину входной матрицы, которая отображается как R ^{10 × 4} .

В формуле. (9), F представляет матрицу фильтра, R обозначает все действительные числа, n – длина и м – ширина матрицы фильтра, которая отображается как R ^{2 × 2} и

В формуле. (10), T представляет матрицу вывода, R обозначает все действительные числа, s – длину и d – ширину выходной матрицы, которая отображается как R ^{10 × 4} .{m} f_ {l, w} \ время p_ {i + l – 1, j + w – 1} $$

(11)

где, t _{i, j} ϵ R ^{s × d} – t -й элемент выходной матрицы, f _{l, w 905 R ^{n × n} представляет f -й элемент весовой матрицы, ⊗ обозначает поэлементное перекрестное умножение и p i + l – 1, j + w – 1 ϵ R ^{l × w} представляет p -е элементы входной матрицы.}

Для примера предложения: « Багдади… наша последняя и единственная надежда, я просто люблю тебя» , сверточная операция выполняется следующим образом: (i) Элементы входной матрицы 0,5, 0,2, 0,2, 0,7, ( ii) элементов матрицы фильтра 0,7, 0,4, 0,9, 0,5 и (iii) сверточная операция 0,5 × 0,7 + 0,2 × 0,4 + 0,2 × 0,7 + 0,7 × 0,5 = 0,92, где 0,92 – первый элемент выходная матрица. Точно так же процесс поэлементного перекрестного умножения и сложения продолжается до тех пор, пока не будут покрыты все значения входной матрицы, и это будет осуществляться путем скольжения фильтра по входной матрице.

Карта характеристик После добавления смещения и функции активации к выходной матрице карта характеристик (A) для данного предложения вычисляется следующим образом [см. (12)]:

$$ A = a_ {i, j} = f \ left ({t_ {i, j} + b} \ right) $$

(12)

, где размерность карты признаков ( A ) для данного предложения = R ^{q × r} = R ^{10 × 4} , где a _{i, j} ϵ R ^{q × r} – это элемент ath карты характеристик, b – член смещения, а f – функция активации.

На рис. 2 каждый элемент выходной матрицы затем добавляется к члену смещения после сверточной операции. Например, добавление значения смещения к первому элементу выходной матрицы, равное 0,92 + 1 = 1,92, которое представляет первый элемент карты признаков для данного предложения (рис. 2).

Как показано в алгоритме № 1, параметры, используемые в этом слое, следующие: (i) « фильтры», описывает номер фильтра в сверточном слое; (ii) « размер_ядра», показывает размерность сверточного окна; (iii) «заполнение » содержит одно значение среди трех значений: « допустимо», «одинаково» и « случайное». Если заполнение содержит значение «действительный» , то оно не показывает заполнения, а заполнение значением «тот же» означает, что исходная длина ввода равна длине вывода. Кроме того, когда заполнение содержит значение «случайный» , тогда оно производит расширенную свертку; и (iv) параметр « активация, = и » означает, что активация используется для выявления нелинейности.

Наконец, создается карта характеристик, к которой применяется функция активации relu для устранения нелинейности, и ее математическое выражение выглядит следующим образом: Выход = max (ноль, вход) , где Вход означает элемент карты характеристик.

Например, во входном предложении первый элемент карты признаков равен 1. 92. Если мы применим к нему функцию активации relu, то Выход = max (0, 1,92) , будет Выход = 1,92, поскольку 1,92> 0. Таким образом, вычисляются другие элементы исправленной карты признаков для данного предложения.

Уровень объединения

Уровень объединения используется для минимизации измерения карты объектов путем агрегирования информации. Таким образом, максимальное объединение применяется к каждому предложению в наборе данных.Мы использовали максимальный пул, чтобы получить требуемую характеристику предложения, выбрав максимальное значение. Уравнение (13) представляет формулу для слоя объединения.

$$ g_ {p, h} = max _ {{i, j \ in Z_ {p, h}}} a_ {i, j} $$

(13)

Предположим, Z _{p, h} – небольшая матрица с размером 2 × 2, также g _{p, h} ϵ R ^{5 × 2 905 905 905 элемент матрицы G и a _{i, j} является элементом матрицы A .Элементы \ (g_ {p, h} \) матрицы G получаются после выбора максимального элемента из матрицы A , которая является исправленной картой признаков для данного предложения, в данной матрице окна, которая равна Z _{п, h} . Следовательно, матрица G отображает объединенную карту признаков данного предложения, которая проиллюстрирована на рис. 6.}