Модерация на съдържанието през 2019 г.: Човек срещу AI

Интернет дори и с всички позитиви може да бъде много тъмно и смущаващо място. Щитът на анонимността улеснява хората да се държат по определен начин, който иначе би бил присмиван от обществото. Тази статия изследва какво е настоящото състояние на начините за модериране на обидно съдържание и ви помага да вземете по-информирано решение.

2019 г. е и качваме и консумираме съдържание по-бързо от всякога. Само през 2017 г. са направени 1,2 трилиона снимки и милиарди от тях са споделени онлайн - това е средно ~ 200 снимки на човек годишно (при предположение, че населението в света е 7 милиарда). Самият Facebook има потресаваща скорост от 300 милиона снимки, които се качват всеки ден и армия от 7500 модератори, работещи за модериране на това съдържание.

Източник: BusinessInsider

Порно е навсякъде

С такъв огромен шип имаше и бързо увеличение на хората, които качват съдържание със съмнителен характер и честно казано, ние се борим да го контролираме. Основните социални мрежи, въпреки това, което смятате, са подредени със съдържание на NSFW като порно. Това е игра с котки и мишки, при която такова съдържание се филтрира и потребителите / hashtags / групи са забранени, но те продължават да се връщат само по-интелигентни и по-трудни за хващане. Ето екранна снимка на статия, която говори за неясни арабски хештагове, използвани за споделяне на порно в Instagram.

Източник: Daily Express

Тъй като по-голямата част от потреблението ни на съдържание се премества към мобилни устройства, Apple (App Store) и Google (Play Store) са пазачи на съдържанието, което разглеждаме.

Всички чухме неотдавнашния брой на Apple, който премахва приложението на Tumblr от App Store, след като намери детска порнография, но това е само един такъв пример на платформа, която се бори да модерира съдържанието и да бъде наказана.

Източник: The Verge

Tumblr все още може да оцелее и да се коригира; но има множество приложения, които не са успели, тъй като потребителите са оставени в орди, тъй като се превърнаха в бастион от порно и друго обидно съдържание, което администраторите не можаха да контролират.

Защо трябва да се притеснявате? Ако сте собственик на приложение, което работи със съдържание, генерирано от потребители или UGC, както е известно, вие сте потенциално изложени на множество рискове, като репутационен, икономически или дори основен правен риск. (виж: Индия хвърля началника на Ebay в затвора)

Но първо нека разберем какво се смята за „обидно“, за да можем да го модерираме по-добре, тъй като не е толкова просто, колкото първо мислите, че е.

Дефиниция на "обидно" съдържание (?)

Глобален контекст

Отляво: оригиналната корица на Shakira's Oral Fixation; Вдясно: Същият капак в Близкия Изток

Работата в световен мащаб и определянето на стандарти за съдържание е сложна. Повечето компании се опитват да наложат едни и същи правила за потребителите, идващи от различни демографии с различна културна чувствителност. И там те се провалят.

Компаниите, които се разширяват в световен мащаб, често изпитват проблеми с местната администрация, ако не са взели предвид местната им култура. През юли 2018 г. правителството на Индонезия забрани TikTok, популярно приложение за създаване на късо музикално видео. Ето откъс от статия във вестник, отчитаща въпроса:

Министерството заяви, че е забранило приложението, тъй като то съдържа негативни видеоклипове, които се считат за лошо влияние върху младежта ... има клипове на тийнейджъри, участващи в провокативно поведение. Едно такова видео изобразява тийнейджърски танц. След това се нарязва на мъртво тяло, явно роднина на тийнейджъра.

Освен голотата / порно, има регионални правила, специфични за:

  • религиозна реч на омразата, подбуждаща към насилие
  • фалшиви новини и разпространение за политически дневен ред
  • клеветнически език срещу физическо лице / организация

Списъкът може да се основава на региона, в който доминирате, и стандартите за свобода на словото, присъстващи в тази география

Ето откъс от страницата на Уикипедия за Orkut - някога популярната социална мрежа:

През 2008 г. Google обяви, че Orkut ще бъде изцяло управляван и опериран в Бразилия, от Google Brazil, в град Белу Оризонте. Това беше решено поради голямата бразилска потребителска база и нарастването на правните проблеми

Имайте предвид това, цялата операция на базирана в САЩ социална мрежа беше преместена в друга държава, за да се придържат по-добре към местните закони.

Какво представлява Голотата / Порно

Дори основното определение на това, което представлява „голота“ или „порно“, е силно субективно и толкова произволно, колкото правилата на обществото. Помислете в Instagram, който позволява „мъжки зърна“, но забранява „женски зърна“.

Някои позволяват голотата да бъде показана в определени специални случаи.

Помислете Tumblr, който наскоро актуализира правилата си за съдържание с някои интересни изключения:

Забраненото съдържание включва снимки, видеоклипове и GIF файлове на човешки гениталии, женски зърна и всякакви медии, включващи сексуални актове, включително илюстрации. Изключенията включват голи класически статуи и политически протести, които се отличават с голота. Новите указания изключват текст, така че еротика остава позволена. Илюстрациите и изкуството, които се отличават с голота, все още са наред - стига сексуалните актове да не са изобразени - и кърменето и след раждането снимки

Нека да видим указанията за съдържанието за други големи социални мрежи:

Надявам се, че изказах мнението си, че е наистина сложно да създавам стандарти за съдържание поради техния субективен характер.

Така че нека приемем, че сте създали широк първи набор от правила, които работят за вашето приложение. Следващата стъпка е или да наемете човешки модератори, разчитайте на вашата общност да „отчита“ такова съдържание или да използва AI за откриването им или обикновено комбинация от всички 3.

Използване на човешки модератори

Основните въпроси, на които трябва да отговорите, докато работите с човешки модератори, са:

Колко струва? Какво е времето за пропускане и отговор? Как обикновено оценяват видеото? Как ще изглежда потокът? Как да дефинирате ясни стандарти за намаляване на субективността, особено в крайните случаи?

Ние продължихме напред и достигнахме до 7 модераторски аутсорсинг агенции и получихме неясни (ish?) Отговори от 4 от тях. Обикновено BPO са въоръжени със стотици изпълнители за въвеждане на данни, базирани на икономика с развиваща се ниска заплата. Можете да намерите техните отговори тук.

Taskus
Scale.ai
Webpurify
Foiwe
Olapic
Assivo
UGC Модератори
  1. Цена:

Ценовите отговори, които получихме.

UGC модераторите са най-евтиният вариант от трите за изображения, струващи $ 0,01 / изображение.

2. Време за обръщане: Webpurify споменава време на обрат <2 минути. Всички останали са отворени за това. Когато се занимавате с големи обеми, услугата ще трябва да поддържа голяма работна сила на модераторите, които да работят в почти реално време, което е наложително за някои.

3. Видеоклипове: Webpurify също споменава за правене на видеоклипове с $ 0,15 / минута.

Друг доставчик, UGC модератори, е на цена от $ 2 / час. Ако приемем, че могат да проверяват 5 1-минутни видеоклипа в минута, това е около $ 0,07 / минута видео

Помислете това за Youtube, където 400 часа видео се качва всяка минута. = 2400 минути видео / минута.
Умножете това по Общ брой минути за една година (60 х 24 х 365) и това е потресаващ разход от около 1,2 милиарда долара всяка година!
Дори влагането на 50% възнаграждение за обемни отстъпки, ~ 600 милиона долара.

Субективният характер на вземане на решение какво съдържание може да остане, е важно да има определен брой човешки модератори. Но както виждате, те могат да се превърнат много скъпо много бързо.

Травма

Важно нещо, което трябва да се добави, е, че работата е много тревожна и може да причини травма на хората, които я вършат ден и навън. Бившият модератор на съдържание заведе дело срещу Фейсбук, казвайки, че насилствените изображения й причиняват PTSD. Страхотен документален филм, озаглавен „Модераторите“, който показва живота на някои от тези хора:

Дори Facebook с всички договорени с желязо договорености все още е изложен на риск от правни процедури поради „нечовешки“ работни практики. Откъс от същата статия на New York Times:

„Ще ходите на работа в 9 ч. Всяка сутрин, включете компютъра си и гледайте как някой им е отрязал главата“, каза мъж, избрал да остане анонимен, но цитиран в съдебния процес пред The ​​Guardian миналата година. „Всеки ден, всяка минута това се вижда. Главите са отрязани. "

Трудна работа.

точност

Въпреки установяването на ясни насоки, човешките модератори все още могат да бъдат склонни към грешки, тъй като се очаква да работят бързо, за да се справят с големия обем и да отговарят на определената си SLA. Очаква се модератор от агенция, с която сме говорили в Индия, да умерява 10-15 <1 минута видеоклипове в минута, като бързо ги прескача.

Те се борят особено при крайни случаи и в крайна сметка извършват много лъжливи позиции, т.е. наричат ​​нещо порно, което не е. Това може в крайна сметка да попречи на свободата на словото, за която стоят някои от тези платформи, и потребителите могат да въстанат поради двойните стандарти.

Източник: The Mic

В обобщение, човешките модератори са:

  • Досега неизбежно поради субективния характер на съдържанието
  • Скъпо, особено когато мащабите
  • Склонни към травма
  • Склонни към грешки, особено когато обемите са големи и в крайни случаи

Така че става наистина важно да проследите дали вашите модератори се представят задоволително.

Показатели за проследяване на производителността на модератора

Това са показателите, които обикновено трябва да проследявате, за да видите как се представят вашите индивидуални модератори, въпреки че можете да възприемате различни показатели въз основа на вашите бизнес изисквания. Показателите са вдъхновени от изкуствения интелект и стреса към двете неща, които могат да наранят най-много:

Фалшиви позитиви

Наричане на нещо „порно“, което е „не порно“

Фалшиви негативи

Да наричаш нещо „не порно“, но е порно (боли най-много!)

точност

Брой изображения, които са правилно идентифицирани (порно е порно, безопасно е безопасно). Повече от здравен показател, който трябва да проследявате, за да сте сигурни, че сте на път.

Точност

Брой идентифицирани порно изображения, които всъщност са порно. Колкото по-високо, толкова по-добре.

Ако имате бизнес, в който свободата на словото / изразяването е от критично значение (например Reddit), трябва да се уверите, че модераторите не маркират изображение, което спазва правилата като „не е безопасно“. Вашият най-важен показател тогава е Прецизността.

Припомням си

В общите порно изображения колко са открили. Колкото по-високо, толкова по-добре.

Ако имате бизнес, в който трябва да се погрижите за своята аудитория, здравословно за семейство подходящо съдържание, трябва да сте сигурни, че всяко изображение, което не спазва правилата, няма да премине вашите филтри. Вашият най-важен показател тогава е Припомняне.

F-1 резултат

По-полезен показател, включващ както точност, така и извикване. Колкото по-високо, толкова по-добре.

Ако трябва да сте по средата между двете, които не пречат на свободата на словото, и прилагането на строги правила, F1 резултатът е вашият показател за проследяване.

Ето как ги изчислявате:

Ето една диаграма, която ще ви помогне да разберете по-добре терминологията:

Чрез преглед на произволна% извадка от ежедневната работа на всеки модератор и задаване на показатели, можете да продължите да проверявате тяхната ефективност.

Също така забелязахме, че маркирането на подкатегорията на изхвърлената публикация (Gore, Suggestive Nudity, Explicit Nudity, наркотици и др.) И проследяването на показатели в тези категории е много по-внимателен при планирането на бъдещите ви програми за обучение.

Използване на изкуствен интелект

На пазара има множество комерсиални API, които откриват съдържание на NSFW.

Използвайки дълбоки невронни мрежи, тези API-и предоставят машинно обучение като услуга за умерено съдържание на платформата на потребителите, като преди всичко откриват голота, порнография (сексуални актове) и горе. Основните въпроси, на които трябва да се отговори при избора на API са:

Колко струва? Какво е времето за отговор? Какви показатели използвате за оценка на тяхната ефективност? Какво е времето за настройка и интегриране?

Сравнихме следните API-та:

Амазонка
Clarifai
DeepAI
Google
Microsoft
Nudedetect
Nanonets
Picpurify
Sightengine

цена

Това струва на изображението:

Нанонецът е с най-ниска цена от $ 0,0009 / изображение, следван от Amazon & Microsoft при $ 0,001 / изображение.

Очертаване на това:

Цени за API

Средното ценообразуване на изображение излиза ~ 0,001 $

Сравнявайки това с най-евтината цена за човешки модератори, която е 0,01 долара. Човешките модератори са 10 пъти цената за доставчиците на AI API! Визуализирайте го чрез графика:

Метрика

Показателите за оценка остават същите като човешките модератори: Точност, Прецизност, Извикване и F1. Има страхотна статия, която дава сравнение на най-добрите API за модериране на изображения в NSFW към 2018 г. по тези показатели.

Настройка и интеграция

Повечето от тези API-та са хоствани в интернет и са лесни за интегриране.

Обикновено имат няколко реда код, които трябва да интегрирате и да предадете URL адреса на изображението или байтовете си (необработен файл).

Nanonets предоставя допълнително предимство за генериране на изображение на докер за вашия модел и хостинг на вашия сървър.

sudo nvidia-docker run -p 8081: 8080 docker.nanonets.com/{{model_id}}:gpu

Примерен ред за кодиране, за да стартирате модела в контейнер за докер.

Време за реакция

Повечето API обещават време за реакция от 200–300 сто милисекунди. Това обаче не включва времето за пътуване между вашите сървъри и може да варира в зависимост от размера на изображението, което изпращате. Затова вероятно бихте искали вашият доставчик да има сървър във вашия регион за бързо време за реакция или просто да използва докерска услуга на Nanonets и да я разгърне на място.

Сравнете това с услугата за човешко модериране на Webpurify, която обещава време за реакция <2 минути. Това е 10 пъти времето за отговор в сравнение с API!

За да обобщим това добре, API-тата на базата на машинно обучение в сравнение с човешките модератори са:

  • по-евтин
  • По-бързо
  • По-лесен за мащабиране
  • Машините не са изправени пред травма (!)

Така че като цяло, машините определено са много по-подходящи за работата от хората.

Така че защо все още се нуждаем от човешки модератори?

Е, отговорът на това е, че машините все още не са подходящи за справяне със субективността и могат лесно да бъдат подмамени.

  1. Расови пристрастия

Помислете следното изображение:

Можете да видите оригиналното изображение тук. ВНИМАНИЕ: Това е изрично

Опитахме горното изображение с 2 от споменатите по-горе услуги:

Clarifai

Clarifai неправилно го класифицира като SFW с 91% сигурност

Picpurify

Picpurify погрешно класифицирайки го като SFW

И така, какво се случи тук? Моделите и проницателният характер на дрехите на жената объркаха невронните мрежи и те не успяха да класифицират образа като NSFW или дадоха съвсем различна прогноза.

Липсата на данни за обучение на голи японски жени в традиционно кимоно може да създаде този вид пристрастие към тези API-та, които са основно базирани извън САЩ и Европа и обучават своите мрежи предимно на образи на индивиди с мажоритарен етнос в региона. Така че, ако имате потребители освен от тези региони и качвате локално порно (или друго обидно съдържание), повечето от готовите за употреба API-и може да не са от твърде голяма помощ тук.

2. Обществен контекст

Както беше разгледано по-горе, това, което е добре в 1 регион, може да бъде засрамено в друг. Тъй като повечето доставчици на AI API са базирани в западните региони, те обикновено не са настроени в по-консервативните части на света. Така че въпросът за това, какво е NSFW, е много специфичен за вас, демографските ви данни и регионите, в които работите. Ясно е, че API за готовност за използване не е отговорът и следователно необходимостта от човешки модератори.

Ариана Гранде обхваща художествената снимка, за да спазва законите за скромност в Иран и Саудитска Арабия (източник: Petapixel)

3. Един размер не отговаря на всички

Повечето доставчици на API дават оценка дали изображението е приемливо или може допълнително да го маркира според предварително решените мета-маркери. Amazon маркира изображенията, както следва:

Сега може да имате някои свои собствени тагове, които да създадете въз основа на нишата, която обслужвате, които попадат между тези категории. Нямате възможност да го направите. Маркирането (което е основата на препоръките) е хлябът и маслото на повечето социални UGC приложения днес и ако използвате някой от готовите за употреба API, ще останете с предварително зададените маркери.

Как да намалим зависимостта от човешките модератори

Постоянно преквалифициране на вашите модели за идентифициране на липсващите пропуски е начинът за намаляване на човешката зависимост. Преквалификацията основно означава да добавите вашия специфичен набор от данни за NSFW и да го обучите „отгоре“ на вече съществуващ модел. По този начин моделът продължава да става по-добър в идентифицирането на неща, които преди това е пропуснал.

Така че кажете например, че на вашата платформа има изображения, които имат антисемитски характер и искате да ги забраните, за да осигурите среда без омраза. Избраният от вас доставчик на API не филтрира подобни изображения в момента и искате да създадете набор от данни на тези антисемитски изображения, които следват типичен модел. Можете да създадете набор от данни за тези изображения и да преквалифицирате отгоре на вече съществуващия модел, така че той да започне да ги класифицира като „опасни“.

Но повечето доставчици на API не ви позволяват да го направите или е включено в техния ред „Enterprise“.

Въведете Nanonets

Ние от Nanonets осъзнаваме този конкретен проблем и добавихме функцията за добавяне на ваши собствени изображения и определяне на вашите допълнителни маркери отгоре на нашия модел за модериране на съдържание, за да можете да подобрите общата точност за ВАС.

Подобрете за вас точността на нашия хостван модел на app.nanonets.com

Използвайки трансферно обучение, ние обучаваме модел, който се учи от вашите данни и се адаптира към вашите нужди.

Пример: най-голямата индийска социална мрежа

проблем

Имахме най-голямата локална социална мрежа в Индия с над 50 милиона активни потребители на месец идват при нас с много специфичен проблем. Избраният от тях доставчик на API правеше грешки при изпращане на индийски изображения. Точността на техния предишен доставчик беше ~ 72% при такива изображения.

Защо съществуващото им решение не работи?

Моделът на ML е толкова добър, колкото данните, на които са изложени. Повечето от наличните модели за модериране са обучени върху общи данни. По този начин те не успяват да прогнозират на генерирано от потребители съдържание, произведено на местно ниво, използвайки камери с ниско качество на бюджетни смартфони в селските райони на Индия.

Тези изображения са много различни по съдържание, цвят на кожата, камера и т.н. от публично достъпните изображения, които бихте намерили в търсачката по ваш избор или във всеки публично достъпен набор от данни.

Решение:

Попитахме бизнеса за необходимите им нива на чувствителност към демографските данни на потребителите, които обслужват, и около 10 000 изображения - както положителни, така и отрицателни проби.

Използвахме тези данни, за да обучим нов модел над нашия вече съществуващ модел. Това ни позволи да настроим чувствителността и да изложим модела на съдържание, специфично за тяхната платформа.

Резултати:

Сега имахме модел, чиято точност се подобри с над 23% и скочи до ~ 95%! Цялото упражнение от край до край от дефиниране на проблема за споделяне на данни и след това накрая доставянето на модел отне <1 месец.

точността се подобри с над 23% и скочи до ~ 95%!

Възможността да се настройват нашите модели за конкретна демография и дефиниции на NSFW позволяват тя да бъде много по-мощна и умела да се справи с този проблем.