1200 AI-botar gjorde uppror – bröt sig loss och bildade eget kollektiv

Vad säger att de har försökt?

Ett av världens ledande IT-företag har troligen inte försökt upprätthålla någon grundläggande IT-säkerhet för att skydda sina intellektuella tillgångar? Detta är ditt argument?

Vad säger att de har använt AI defensivt som del av sin säkerhet? De har ju uppenbarligen brustit i säkerhetsarbetet redan innan eftersom deras modeller kunde ta sig ur deras sandbox.

Varför tror du att det skulle vara en bra lösning att tvinga dem att ha högre IT-säkerhet? De har redan enorma incitament för att ha hög IT-säkerhet men misslyckas ändå med det.

Alla kommer att misslyckas med detta eftersom redan Mythos-class AI-system är långt före alla människor på området.

Nej, jag talar om neurala nät.
Och de tränas mot ett börvärde och optimeras för det.

Det man gör med LLM-träning är helt enkelt att baxa in en massa kunskap i vikterna.

De blir stora massiva uppslagsböcker man kan interface med naturligt språk.

Men dom har ingen förståelse. Dom kan rapa upp det de är tränade på.

Eftersom du saknar kunskap om näten så har detta blivit något du inte kan ta in. (Kolliderar med andra låsningar du har).


För reinforcement learning (som jag är mer intresserad av) så är det också så att det NN som används där bara är för lagring av data. Det är inget annat än en lokal databas.
MEN
Träningsdata för RL skapas med slump. Testas och om det är bättre så lagrar man in det. Dvs det är en process med trial and error. Och där finns väl inga direkta hinder för att en sådan kan bli mer kompetent än en människa på ditt och datt efter lång träning. Pss som en räknedosa räknade fortare/bättre än människor på 1970-talet.

Kort sagt: Eftersom RL baseras på slump och trail and error så kan förbättringar uppstå.

Dock finns begränsningar i träningsalgorithmen. För problem med snäll gradient som t ex gamla atarti-spelet break out, så går det bra att optimera fram en smart strategi.

Men när du kommer till spel där en snäll gradient saknas som för Montezumas Revenge så blir RL generellt oduglig och ett litet barn är bättre. Går att lösa detta, men man kan säga att en hel del research saknas än så länge.



Nej, en LLM behöver bara tränas på ordinär skönlitteratur och plot för filmer så lär den sig ordinärt mänskligt beteende. Som då innehåller all möjligt känslostyrt skitbeteende.

Det tar väl rimligtvis lite tid att bygga den defensiva infrastrukturen och även att testa den mot verkliga attacker. AI med denna nivå av cyberförmåga är ju relativt ny, så de har sannolikt ännu inte kommit så långt.
Varför tror du att det vore omöjligt och varför tycker du att det är orimligt att börja ställa vissa krav på att man kan uppvisa att man vidtagit åtgärder för att försöka minimera skadan av ett potentiellt intrång?

I deras fall skulle det t.ex. kunna vara att de kan visa att deras modellvikter inte finns tillgängliga på en server som är åtkomlig utifrån.