Datorprogram för textbaserad sanningskontroll

Det finns sådana program för engelsk text, men är det någon som känner till ett program som klarar svensk text? Det skulle vara intressant att testa vissa texter från Flashback.

På engelska finns olika program för runt tusenlappen som även kan testas online:

http://www.liwc.net (Tryck på Try online).

En som forskar kring ordbaserad sanningskontroll är psykologen James Pennebaker vid University of Texas i Austin. Han säger i tidskriften National Geographic att automatisk lögnanalys kan basera sig på det faktum att personer som ljuger ofta använder ovanligt många ”skräpord” såsom pronomen, prepositioner och artiklar. Å andra sidan indikerar en frekvent användning av vad han kallar undantagsord (såsom ”men”, ”inte”, ”aldrig” och ”förutom”) att den som talar har en nyanserad bild
av det som avhandlas och förmodligen talar sanning.
...
Ett näraliggande område är automatisk detektering av vinklat skrivande, vilket är något som datorteknikern och textanalysexperten Paul Thompson vid Dartmouth College i New Hampshire forskar kring. ”De senaste åren har intresset varit stort för programvaror som automatiskt kan läsa av när en text inte är objektivt skriven”, säger han. Han berättar att datoriserad textanalys också kan användas för att dra slutsatser om vem som har skrivit en viss text.
http://www.dnv.se/mou/rapport_uppfinnarverkstan.pdf sid 24.

Jag klurar lite på att göra ett program för svensk text själv om det inte går att ordna på annat sätt.

En något sånär enkel metod att utföra automatisk sanningskontroll kan vara:

1. Ordna en lista för pronomen, adverb, prepositioner, artiklar, konjunktioner och injektioner.
2. Gör ett ordklass-histogram över användandet av dessa ord.
3. Mata in meningar som är markerade som lögn, bluff, osäkra, trosatser resp sanningar.
4. Analysera denna databas manuellt eller via inbyggt program för att se likheter i histogrammen.
5. Använd ordlistan, databasen och analysen för att klassificera texter med okänt innehåll.

Jag har tillgång till en svensk ordlista med 74.000 svenska ord och har hittills orkat/lyckats klassificera 67.000 av dessa m.h.a. ett kalkylprogram, men att göra en parser som analyserar satsbyggnaden av meningar skrivna på vardaglig svenska är nog ganska svårt.

Vad för nytta skulle egentligen ett program för att analysera lögner i text kunna skapa i samhället, att göra så att de som söker bidrag eller vill få ut på försäkringar och sånt blir rädda och snarare underdriver än överdriver sina krav?

För som med alla lögndetektorer, så kan säkert en sådan analys ge falska fällande och gå att manipulera för de som har rätt kunskaper. Och för välbeställda och självsäkra personer, så kan ändå inte lögndetektorer fälla någon i domstol. Är det några lögndetektorer kan användas mot och av så är det mot de många oinsatta av de väletablerade som vill kontrollera dem.

Jag däremot, försöker hitta system för att de många skall kunna gå samman och styra över ett fåtal genom avancerade omröstningar och system för att bidra ekonomiskt till gemensamma angelägenheter mot inflytande över dem.
Att folk inte engagerar sig i mina idéer tycker jag är mycket mer anmärkningsvärt. https://www.flashback.org/t2093011

Du har rätt. Men jag hade inte tänkt att sälja programmet bara använda det för att analysera inlägg på flashback. Men det finns kommersiella program som används av företag och myndigheter, vilket är rätt skrämmande.

Var finns den vetenskapliga evidensen för detta ?
Låter som en myt.

Det som först behövs är en mycket stor databas med texter som man vet sanningsstatus på.

När man väl har det, kan datorn lära sig själv vad som är viktigt för att utröna sanning med maskininlärning. Detta förutsätter förstås att det överhuvud taget går.

Det finns ingen vetenskaplig evidens för sanning och lögn. Det går inte ens att bevisa att matematiken är sann.

Men man kan ljuga och man kan hålla sig till sanningen. Om jag skriver en text där jag medvetet ljuger och jämför den med en text där jag noggrant håller mig till vad som är sant, t ex vad det gäller personuppgifter, utbildning, åsikter ... , så finns det säkerligen sådana skillnader i texterna att det är möjligt att metodiskt analysera dessa.

Vissa är skickliga på att ljuga och föra människor bakom ljuset, men lögnarna specialiserar sig på att ljuga för människor, varför datorprogram borde ha vissa förutsättningar att genomskåda lögnerna.

Det kan aldrig bli hundraprocentigt, men kan ge tips att ta fasta på så man kan bedöma en text mer noggrant.

Att låta datorprogram övervaka och döma människor är lika tokigt som ofrånkomligt.

Det är ju en möjlighet. Att göra ett program för avancerad mönsterigenkänning. Men jag tror att det med sunt förnuft och lite tålamod och nyfikenhet går att åstadkomma med enklare metoder än så.

Kan väl inte vara svårare att övertyga en sådan maskin än en lögndetektor ?
Det är ju bara att sitta och omformulera frågan.
-Ljuger du nu ?
Blir till tanken "Gillar du blodpudding"
Och blir svaret:
-Nej
Osv.

Nej, ett sådant program är nog inte svårt att lura, men tanken är att programmet ska matas med redan skrivna texter, eventuellt formulerade för att lura människor. Den som skrev texten antas inte veta om att texten efteråt ska analyseras av ett iskallt datorprogram helt utan mottaglighet för sådant som retoriska finesser, smicker etc.

Det finns faktiskt företag som använder liknande program för att grovsortera insända CV och liknande. Vad vi än tycker om det så kommer program som dessa i framtiden att styra oss människor på så sätt att myndigheters datorer kommer att använda dem. Kasst sett så spelar det ingen roll om programmen har rätt så länge de fungerar på ett för myndigheterna tillfredsställande sätt.

En dator kan med hjälp av program lagra och flytta binära tal samt räkna med de fyra räknesätten plus boelska operationer. På det hela taget. Men genom att konstruera alltmer komplexa rutiner och utnyttja de kunskaper som människor har utvecklat genom årtusenden kan datorprogram utföra häpnadsväckande uppgifter som att spela schack på högsta stormästarnivå, översätta tal till text, bevisa matematiska teorem etc.

Men det finns gränser. För att ett datorprogram ska klara det så kallade Turingtestet, dvs kunna kommunicera med människor på ett sådant sätt att det inte går att avgöra om det är en människa eller ett program som kommunicerar, så måste programmet ha (eller verka ha) sådana diversifierade kunskaper om människans verklighet som människor tillgodogör sig under sin levnad. Det gäller inte bara kunskaper om språk, samhälle, teknik, kultur, relationer och liknande, utan även kunskaper inom mindre framhävda områden som städning, matlagning, hygien, ovanor, prylar, mode och allehanda vardagligheter med tusen och åter tusen löjliga detaljer - så som vi själva förstår dem.

Om man tex säger till en robot att att tömma alla papperskorgar på kontoret, så kan den nog hitta kontoret och papperskorgarna men skulle kanske tömma dessa på kontorsgolvet. Bara för att den inte har något sunt förnuft: en rimlig bild av alla miljontals detaljer i människovärlden och hur dessa hör samman!

Men, datorn har en kraftfull säregenhet: att kunna räkna snabbt och kunna hantera stora datamängder snabbt. De bästa datorprogrammen är svåra motståndare till de bästa schackspelarna därför att de kan prova och värdera hundratusentals drag i sekunden. Program som ska tolka och värdera texter har motsvarande fördel framför människor. Min prototyp "läser igenom" tusensidiga utredningar på några sekunder, gör histogram över ordfrekvenser, sorterar och analyserar - och kommenterar. Programmet kan inte avgöra exakt vad som är lögn och vad som är sanning, men kan se karaktären av texten och läsa av attityder. Och det är intressant att se hur ett så pass enkelt program som mitt egentligen kan lära sig från mänsklig text, utan att egentligen förstå någonting, bara programmeraren förser den med en ganska enkel struktur.

Kanske är sanning och lögn (så svårt för oss människor med våra vanföreställningar och vårt önsketänkande) ett område där datorprogram kan bli riktigt, riktigt konkurrenskraftigt? På gott och på ont!

Ännu har jag inte gjort ett program för sanningskontroll av texter, men har utarbetat en idé för allmännare bedömning av svenska texter som är mycket lovande, och har gjort i ordning ett testprogram http://hem.passagen.se/iesho/lehs/Svetext.zip för den som vill prova. Om man laddar filen och extraherar programfilen och datafilen i samma mapp så är det bara att köra:

1. Markera den text som ska testas (t ex med Ctrl A)
2. Kopiera den markerade texten till clipboard (Ctrl C)
3. Dubbelklicka på ikonen för Svetext_ver_0_0.exe
4. Vänta till testet är klart (pip)
5. Klistra in omdömet, som nu ligger på clipboard, t ex i en textfil (Ctrl V)

Programmet bygger på en mycket enkel idé och det sker ingen grammatisk analys eller egentlig analys av textens innebörd. Istället avläses textens attityd med ett antal "filter" som är automatiskt konstruerade med hjälp av befintliga digitaliserade texter: romaner, skildringar, utredningar, faktaartiklar, humortexter etc. Olika parametrar som 'objektivitet', 'professionalitet', 'fantasi' extraheras från olika filter och sammanställs statistiskt till ett slutligt omdöme. Programmet är inte hundra, men längre texter beskrivs förbluffande förnuftigt.

Några småfel är kvar att åtgärda, som att programmet inte ger något omdöme om texten bedöms vara tillräckligt "neutral", men sedan tänker jag fortsätta att utveckla programmet med fler filter och fler parametrar. Med hjälp av parametrar som 'hycklande', 'inkonsekvent' och liknande ska det nog inte vara omöjligt att göra nyanserade omdömen om texters sanningshalt ...

Programmet i sin nuvarande form är väl inte så användbart, men visar att det ganska enkelt och effektivt går att analysera texter automatiskt.

Tillägg: även om programfilen och datafilen måste ligga i samma mapp, så går det utmärkt att lägga en genväg på skrivbordet.