Главная » Новости » Нейросеть «ВКонтакте» научили выявлять суицидальный контент

Нейросеть «ВКонтакте» научили выявлять суицидальный контент

Нейросеть «ВКонтакте» научили выявлять суицидальный контент

Соцсеть начала использовать «обученный» алгоритм собственной разработки, который присваивает картинкам специальный рейтинг, определяя, содержится ли в них противоправный или «опасный» контент.

Алгоритм распознает на картинках объекты — людей, животных, растения. Выявленный «запрещенный» контент не попадает в поисковую выдачу и «умную» новостную ленту либо полностью блокируется

Технология также способна анализировать текстовые надписи на изображениях.

В компании рассказали, что нейросеть умеет определять предметы и сущности, изображенные на фото. Она понимает не только «человек», «ребенок», «животное», «растение», но и может определить, например, символ «групп смерти», уточняют «Известия».

В целом нейросеть имеет несколько тысяч классов, которые присваиваются фотографиям — от 0 до 1 по нескольким параметрам. Если алгоритм характеризует фото как «опасное», оно отправляется модераторам для проверки. Если же фото признано «умеренно опасным», оно пропадает из поисковой выдачи, а в новостной ленте понижается его приоритет. Механизм помогает остановить распространение спама, мошенничества, детской порнографии, нелегальных услуг и другой противоправной деятельности.

Отдельный сценарий предусмотрен для борьбы с суицидальным контентом. Записи и фото на эту тему удаляются автоматически, а страницы их авторов блокируются.

Если пользователь загружает картинку или упоминает хэштеги, которые ранее использовали в качестве призыва к суициду, «ВКонтакте» блокирует его страницу и предлагает сообщить о причинах публикации.

На основании ответов определяется, когда страница будет разблокирована, и дальнейшие действия: пользователю может быть предложена помощь психологов фонда «Твоя Территория» или советы по безопасности страницы.

Как рассказал «Здоровью Mail.Ru» руководитель пресс-службы «ВКонтакте» Евгений Красников, нейросеть также находит и удаляет изображения, связанные с темой суицида, а страницы пользователей, разместивших провокационный контент блокируются до первого входа. Владельцу страницы предлагается рассказать о причинах, побудивших его оставить такую публикацию. Если человек действительно задумывается о самоубийстве, его направляют за психологической помощью к специалистам фонда «Твоя территория». Если же мотивы были другие – например, помочь отыскивать запрещенный контент, пользователю предлагают обращаться в службу поддержки ВКонтакте.

Ранее сообщалось о технологии, с помощью которой возможно искать противораковые препараты.

Обнаружили ошибку? Выделите ее и нажмите Ctrl+Enter.