AI har lärt sig att lura dig

Och min poäng är att det är vare sig nytt eller oförväntat.
Skit in, skit ut.
RLHF är främst användbart för att förhindra att modellerna genererar skadligt innehåll eller att de ger konstiga svar. Att använda det för att säkerställa faktuellt korrekt information förutsätter att de mänskliga domarna har koll på exakt allt, vilket de självklart inte har.

Att studien visar att man kan träna modellerna att "ljuga" betyder inte att det är exakt så som tekniken används i publika modeller som GPT4 eller Llama2. Oavsett så är det inte speciellt användbart om det skulle göras medvetet av de som bygger och tränar modellen.

Illvilja är ju en slags oförmåga att agera schysst och rimligt.

Om en framtida AGI skulle uppstå baserat på den här osäkra tekniken kan vi få ganska stora problem. Eftersom RLHF inte har lärt AI att tänka rättvist elker humant, man har bara lärt den att göra användaren nöjd med hur kommunikationen utåt ser ut.

Men illvilja förutsätter medvetande och den tillhörande förmågan att ha någon vilja alls. Annars är det missvisande att tala om illvilja.