Kredit:CC0 Public Domain
Skoler henvender sig i stigende grad til kunstig intelligens-støttede løsninger for at stoppe tragiske voldshandlinger af studerende, såsom skyderiet på Marjory Stoneman Douglas High School i Parkland, Florida, for et år siden.
Bark Technologies, Gaggle.Net, og Securly Inc. er tre virksomheder, der anvender kunstig intelligens og maskinlæring til at scanne studerendes e-mails, tekster, Dokumenter, og i nogle tilfælde, sociale medier aktivitet. De leder efter advarselstegn på cybermobning, sexting, brug af stoffer og alkohol, depression, og at markere elever, der kan udgøre en voldelig risiko, ikke kun for dem selv, men klassekammerater.
Når potentielle problemer er fundet, og afhængigt af sværhedsgraden, skolebestyrere, forældre – og i de mest ekstreme tilfælde – retshåndhævende embedsmænd, bliver advaret.
I efteråret 2017 Bark kørte en testpilot med 25 skoler. "Vi fandt nogle ret alarmerende problemer, inklusive en bombe- og skoleskyderitrussel, " siger Bark chefforælder, Titania Jordan.
Et par måneder senere skete Parkland, og vi vidste, hvad vi havde, og hvordan det kunne hjælpe, men "vi ønskede ikke at virke opportunistiske eller udnytte en tragedie, " sagde Jordan.
Bark-produktet er gratis for skoler i USA for evigt. Virksomheden siger, at det har råd til at give tjenesten væk til skoler, på grund af de penge, det tjener på en version rettet mod forældre.
Der er begrænsninger.
Hvis der opdages et problem, Bark sender en sms og/eller e-mail-advarsel til forældre og skoler, med anbefalede trin til, hvordan man løser problemet.
Barks moderprodukt koster $9 pr. måned, per familie, eller $99 om året, og omfatter overvågning på tværs af mere end 25 sociale medieplatforme, fra Twitter og Instagram til Snapchat og YouTube.
Bark bruges i øjeblikket i mere end 1, 100 skoledistrikter, dækker 2,6 millioner børn. Hvis den opdager noget, der anses for at være meget alvorligt, såsom en børnebortførelse eller trussel om skoleskyderi, Spørgsmålet er eskaleret til FBI.
Ifølge Jordan, Bark sender ud mellem 35, 000 og 55, 000 alarmer hver dag, mange blot tilfælde af bandeord. Men 16 plausible skoleskyderier er blevet rapporteret til FBI, siden Bark lancerede sit skoleprodukt i februar sidste år. hun siger.
Forebyggelse af dødsfald ved selvmord
Gaggle, som har været omkring 20 år, opkræver skoler $6 per elev, Per år. Siden 1. juli virksomheden hævder at have stoppet 447 dødsfald ved selvmord på 1. 400 skoledistrikter, der bruger dens service, og at det sidste år forhindrede 542 potentielle dødsfald ved selvmord.
Gaggle siger også, at det stoppede 240 tilfælde sidste år, hvor et barn bragte et våben i skole for at skade en anden elev eller havde til hensigt at gøre det. Under sådanne omstændigheder, Gaggle vil straks alarmere en nødkontakt på skolen og, hvis det er nødvendigt, retshåndhævelse.
"Undersøgelser har vist, at børn vil kommunikere, før en voldelig handling sker, og de vil kommunikere elektronisk. Hvis du ikke har midlerne til at høre disse råb om hjælp, vil du få børn i fare, " sagde Bill McCullough, vicepræsident for salg hos Gaggle.
McCullough tilføjer, at virksomheden ikke er afhængig af maskinlæring alene for at træffe trusselsbestemmelser. Hvis en Gaggle-scanning af skoleudstedte e-mails og dokumenter afslører et barn i krise, Indholdet analyseres af uddannede menneskelige sikkerhedseksperter, som verificerer, om truslen er legitim, og derefter fastslår dens alvor. Hvis truslen vurderes at være mindre, måske brug af bandeord, en elev kan blive advaret direkte. Hvis en studerendes liv anses for at være i fare, en akut kontakt på skolen underrettes omgående.
For sin del, et tredje firma, Sikkert, arbejder med ca. 2, 000 skoledistrikter. Det koster $3 per elev om året for et flagskibsprodukt kaldet Filter, med premium-tilføjelser, der kan tilføje omkring $2,50 pr. studerende til prisen.
I oktober sidste år, en af Securlys premium-tjenester kendt som 24 – den kombinerer kunstig intelligens med uddannede menneskelige analytikere – flagede en studerende, der havde søgt på Google efter både "hvordan man laver en bombe" og "hvordan man dræber sig selv." Analytikeren kontaktede skolen.
Et andet nyligt eksempel involverede en studerende, der søgte efter "smertefri måder at dræbe dig selv på" og så YouTube-videoer om emnet.
Virkelig trussel eller harmløst sprog?
Efterhånden som AI-systemer er blevet mere sofistikerede, det samme har maskinernes evne til at anvende kontekstanalyse for at afgøre, om der er reel fare, eller hvis venner i skolealderen harmløst bruger noget, der ligner truende sprog, til bare at tude på hinanden, måske når man spiller et spil.
"Vores maskinlæringsalgoritme er smart nok til at kende forskellen mellem en tween, der sender sms'er til en anden tween "KMS", som står for "dræb mig selv", hvis de bare er flov... og at bruge det som en talemåde. (Eller) nogen med en faktisk tilbøjelighed til at have depression, angst eller at udtrykke ønsket om at tage sit eget liv eller gøre skade, " siger Jordan.
McCullough hos Gaggle, siger, at virksomhedens algoritmer konstant bliver opdateret for at registrere tonen af fortvivlelse i en besked, at opfange symboler og stavefejl, og at analysere sproget bedre.
"Vi har haft selvmord, som vi har stoppet, hvor der ikke er noget ord om "dræb" eller "selvmord" derinde, siger McCullough.
Gaggle kan endda advare myndighederne om trusler, der ikke kommer fra et skoledistrikt, den overvåger, men udenfor.
"Vi havde et tilfælde, hvor en pige i tredje klasse blev opfordret af en ekstern e-mailadresse, der bad om nøgenbilleder, eller den person ville dræbe hendes forældre, " siger McCullough. "Hun forsøgte at sende de billeder, men fordi vi kører vores service live, det kom aldrig ud af vores miljø." Personen blev anholdt.
Afbalancering af privatlivets fred, koste
Der er en "sart balance" på privatlivets fred, siger Rob McCartney, direktør for teknologi ved Sioux Central skoledistrikt i Iowa, som bruger Bark. "Selvom det skoledistrikt, vi administrerer og vedligeholder, ejer elevens e-mailadresser, (den studerende) har ret til et tilstrækkeligt privatliv uden at vi går ind og kigger og siger:'åh det er den, din kæreste er, eller kom du sent hjem i går aftes?' Det er ikke det, vi er der for«.
Vinay Mahadik, CEO for Securly, navigerer også på den fine grænse mellem privatliv og sikkerhed:"Vi gør en stor indsats for at forsøge at være en ansvarlig virksomhed. Ikke en eneste gang har en forælder, som vi har tjent, eller et skoledistrikt, som vi hjalp, kommet tilbage og fortalt os at det er en forfærdelig ting, du gør."
McCartney sætter pris på, at Bark er fri, givet de stramme budgetmæssige begrænsninger, mange skoledistrikter står over for.
Men Rich O'Malley, superintendent for Florence 1 skoler i South Carolina, et distrikt, der betaler for Gaggle, siger, at "bare at redde et liv eller være i stand til at røre en elev, der har et problem, gør det uvurderligt. Som forstander, sandsynligvis det nummer et problem, jeg hører fra forældre, er skolens sikkerhed."