To-trins modelarkitektur:Det første trin udfører orddetektion baseret på Faster R-CNN. Det andet trin udfører ordgenkendelse ved hjælp af en fuldt konvolutionerende model med CTC-tab. De to modeller trænes uafhængigt af hinanden. Kredit:Facebook
Når en meme er mere end fjollet og går over grænsen til direkte stødende, er der nogen der passer på butikken?
Sig hej til Rosetta, som er et maskinlæringssystem, der er blevet konstrueret til at sige whoa. Facebook har bygget og implementeret dette maskinlæringssystem. "Den udtrækker tekst fra mere end en milliard offentlige Facebook- og Instagram-billeder og videorammer (på en lang række sprog), dagligt og i realtid, og indlæser det i en tekstgenkendelsesmodel, der er blevet trænet i klassificeringsprogrammer til at forstå konteksten af teksten og billedet sammen."
Genkendelse af hadefulde ytringer via automatisk teknologi er aldrig let, og det bliver sværere med tiden. Rosetta kan lette belastningen ved at prøve at sikre, at den ikke glider ud uopdaget. Rosetta er et system, der kan bestemme konteksten af teksten og billedet sammen .
Hvad betyder det? Forstå ord, at forstå billeder...men nu til at forstå tekst i billeder?
Sender til webstedet "Facebook-kode", Viswanath Sivakumar, Albert Gordo, og Manohar Paluri, beskriv de udfordringer, der bød på en løsning som Rosetta. Trods alt, kreative træder ud over traditionelle artikler, der er tekstcentrerede.
De sagde, at et "betydeligt antal af de billeder, der deles på Facebook og Instagram, indeholder tekst i forskellige former. Det kan være overlejret på et billede i en meme, eller indlagt i et foto af en butiksfacade, Gade skilt, eller restaurantmenu. Under hensyntagen til den store mængde fotos, der deles hver dag på Facebook og Instagram, antallet af sprog, der understøttes på vores globale platform, og variationerne af teksten, problemet med at forstå tekst i billeder er helt anderledes end dem, der løses af traditionelle optiske tegngenkendelsessystemer (OCR), som genkender karaktererne, men ikke forstår konteksten af det tilknyttede billede."
OKAY, AI, kan vi tale memes? Vores samtaler har flere krydderier. Med Facebook, billeder med tekst bliver sendt hver dag – inklusive memes. Rosetta er designet (1) til at give skærmlæsere en måde at læse, hvad der er skrevet på dem (2) for at sikre, at de ikke indeholder hadefulde ytringer eller overtræder webstedets indholdspolitik,
Hurtigt selskab påpegede, at systemet for det meste er blevet anvendt på stillbilleder, men Rosetta er lige ved at blive våde; dette vil rykke dybere ind. "Facebook planlægger i stigende grad at anvende Rosetta til at udtrække betydningen af tekst fra video på tværs af alle dets applikationer, "selvom teknologien ikke er klar til at håndtere alle videoer endnu.
Interessant nok, Hurtigt selskab Daniel Terdiman så dette som et våben mod memer, da der har været et behov for effektive værktøjer, som tjenester kan stole på, at udrydde memer, der kan være skadelige, i indhold, der ellers kunne flyve under radaren. "Vi elsker alle memer, og de fleste af os har sikkert hjulpet med at sprede dem – videregive det søde billede med den ironiske tekst til vores mange venner på Facebook, Twitter, og andre steder. Men nogle gange kan memes være skadelige, sprede løgne om mennesker eller organisationer."
Enkelt og enkelt, Rosetta-systemet kan gøre et bedre stykke arbejde end tidligere muligt "med at forstå skadelig eller falsk tekst brugt i memes, der spredes på Facebook og Instagram."
Mariella Moon ind Engadget diskuteret hvordan det virker, og "det starter med at detektere rektangulære områder i billeder, der potentielt indeholder tekst. Det bruger derefter et foldet neuralt netværk til at genkende og transskribere, hvad der er skrevet i det område, selv ikke-engelske ord eller ikke-latinske alfabeter, " sagde Moon. For at træne systemet, tilføjede hun, Facebook brugte "en blanding af menneske- og maskinannoterede offentlige billeder."
Hvad er Rosettas status lige nu? Jacob Kastrenakes, Randen :"Rosetta siges at være live nu, udtrække tekst fra 1 milliard billeder og videorammer om dagen på tværs af både Facebook og Instagram."
Hvad er det næste? Rosetta er ikke perfekt; Facebook ønsker at komme tættere på perfektion, dog og har en huskeliste. Moon sagde, at virksomheden planlægger at fortsætte med at øge antallet af sprog, det kan forstå, og "at gøre det bedre til at udtrække tekst fra videorammer."
Er der nogen, der fornemmer, at der måske er nogle, der vil sende et dårligt udseende til Rosetta, efterhånden som det bliver mere kendt? Måske. Cohen Coberly ind TechSpot skrev, "Rosetta vil næsten helt sikkert være et kontroversielt værktøj for visse medlemmer af den meme-elskende offentlighed, men vi håber, at teknologien vil vise sig at være smart nok til at skelne mellem fjollet-men-harmløst indhold og virkelig stødende billeder."
Kastrenakes, Randen :"I betragtning af virksomhedens velkendte moderationsproblemer, et velfungerende system, der automatisk kan markere potentielt problematiske billeder, kunne være en reel hjælp."
© 2018 Tech Xplore