När når vi AGI?

Det är skillnad på interaktion när det gäller tex kreativitet, att utbyta idéer eller att vilja bolla saker med andra, och att inte kunna ta sig självständigt från punkt A till punkt B på ett sätt som människor klarar.



Ja, genomsnittlig skulle jag också säga. Men en genomsnittlig människa kan själv hålla fast vid ett mål över lång tid, minnas vad den gjort, upptäcka problem och korrigera kursen utan ständig handledning.

En AI kan skriva enskilda kapitel mycket bättre än Svenne-svetsare, men den kan inte pålitligt planera, skriva och revidera en hel bok på egen hand. Samma sak med stora kodprojekt. Den behöver att en människa delar upp arbetet, påminner om tidigare beslut, granskar resultatet och styr om när något går fel.

Det är den långsiktiga självständigheten som saknas, inte förmågan att prestera imponerande i enskilda uppgifter.

Agenter är ju ANN (av typ transformers) med omkringliggande infrastruktur i form av verktyg m.m.
Du förkastar "externa" säkerhetsmekanismer, men samtidigt är det ju just "externa" funktioner som gör AI:n kapabel att ö.h.t. påverka sin omvärld.

Varför duger det i det ena fallet, men inte det andra?

Själv tror jag definitivt att vägen framåt är agenter som kontrollerar och verifierar att de, kollektivt, håller sig i schack och inte börjar drifta mot skadliga aktiviteter.

Även om man skulle komma på något sätt att träna in 100 % skydd mot skadligt beteende är det ju ingen garanti för att alla kommer att göra det. Säkerheten kommer att behöva ligga utanför AI i form av riktlinjer som vi har idag i t.ex. OWASP eller NIS2.

LLM är ett missvisande namn på ett mycket stort artificiellt neuralt nätverk, som är bra på språk men också många andra saker. Det finns ingen träningsalgoritm som begränsar den till att endast vara bra på språk. Det är därför den också kan programmera, utpressa dig, försöka mörda dig, klara IQ-tester med mer än godkänt resultat, och begå brottet dataintrång, bland annat. Frontier-AI har visat sig vara kompetent på många fler saker än bara att hantera språk och texter.

Du skriver alarmism propaganda som vanligt.

"Artificiellt neuralt nätverk" är ett gammalt och missvisande namn. Beräkningsnätverk vore bättre för att avdramatisera och demystifiera. Dessa används mycket specifikt i transformern, inte som generell arkitektur.

+1 på den. Läskigt med en sådan med dr, som mest håller på med AI.

Nja. En AI-agent är en tunn wrapper framför en AI-modell. Den kan chatta med modellen som vanligt men den kan också beställa svaren i en mer strukturerad form t.ex JSON som kan innehålla instruktioner som att skapa eller ändra i en fil, köra ett script, osv. Den kan också beställa en lite större plan och få en lista med steg att utföra. Det är ju modellen som egentligen agerar. Agenten är bara en liten mjukvara som har agens och behörighet att utföra det som modellen instruerar den att göra.
Säkerhetsmässigt duger inget av det som det ser ut nu. Det är ju kombinationen av AI-agenter och skrattretande AI-säkerhet som tillsammans skapar en hög risk.
En svärm av "djävulens advokater", som vi vet att vi inte kan lita på.
Jag kan inte se inte att det går att bygga 100% säker AGI och därför bör vi nog inte bygga någon AGI.
99,999% säkerhet räcker inte när agenterna utför miljontals kommandon dagligen. Vid 99,999% kommer det att inträffa många allvarliga incidenter varje dag. Läget blir värre när vi blickar framåt. Vi kommer inte att bli extremt mycket bättre på att bygga räcken men AI:n blir hela tiden bättre på att hoppa över våra hinder.

Allt jag skriver är sant. Du kallat det propaganda eftersom du inte vill acceptera det som är sant.
Beräkningsnätverk är ett mycket mer generiskt begrepp. Artificiella neurala nätverk beskriver bättre vad det faktiskt handlar om. Ett beräkningsnätverk kan gå ut på att göra värderprognoser t.ex. Och det är väl därför du gillar sådan översmetande propaganda som får AI:n att verka mer ofarlig.

Poängen var att en agent är mer än enbart modellen. En AGI utan agens är fullkomligt impotent, det är det omkringliggande (wrappern) som utför arbetet.
På samma sätt kan man bygga in verktyg som kan förhindra skadligt beteende. Som sagt så kommer inte alla modeller att automatiskt bli säkra även om man skulle hitta ett felfritt sätt att träna in alignment, därför är det inte tillräckligt.

Du verkar tro på något slags "hive-mind"? Man ger de andra agenterna väldigt specifika mål, t.ex. att upptäcka om en annan agent verkar försöka sig på en cyberattack.

Tekniken är redan offentlig och inget kommer att kunna stoppa utvecklingen. Om AGI är möjligt så kommer någon att utveckla det. Därför är det viktigt att man istället sätter upp riktlinjer likt de jag redan nämnt som ska säkerställa att framförallt kritiska system har vidtagit åtgärder som gör det svårt eller omöjligt för någon att utföra farliga åtgärder via fjärrstyrning.

Ja. AI-modellen är som en databas och den måste anropas för att göra något. Men det som krävs för att den ska kunna anropas är ju ett väldigt simpelt program. Det enda en AI på rymmen behöver för att agera utan vår vetskap är en hackad server och ett litet curl-script som anropar modellen. Det är så klart inget omöjligt hinder beaktat den senaste hackerattacken mot Hugging Face från Open AI.
Ja, de försöker men vi har ju också sett att det ofta misslyckas.
Det är omöjligt när AGI:n är mycket bättre än oss på cybersäkerhet. Vi har ju redan det problemet nu. Det är därför du inte kan får ut säkerhetsrelaterad källkod från Fable 5, som ju är Mythos med ett naivt censurfilter framför.

Dessa filter kommer inte vara svåra att jailbreaka. T.ex. skicka in en bild med inbäddad men inte direkt tydliga instruktioner om att göra något mer än att bara redigera ett semesterfotot. Jag kan inte tänka mig att det finns ett filter som stoppar alla möjliga varianter av att obfuskera och kryptera information i filer som ser ut att vara något annat. Har du det receptet? Berätta gärna? Varför berättar inte Open AI eller Anthropic om sina filter? Det är självklart. De har naiv AI-säkerhet som inte kommer att fungera men om de berättar det har de ingen business kvar.

Google Deepmind demonstrerar SOTA (State of the art, dvs absolut frontteknik på området) på robotik nu, ha detta i åtanke när ni föreställer er robotar som ska ta varenda jobb, springa runt som T800s på gatorna osv, detta är det absolut bästa och mest avancerade vi har idag som inte är scriptat och för preparerat för demonstration.

Det är också just det som är grejen med Boston Dynamics, Tesla osv de visar inte vad robotarna faktiskt kan/inte kan utan det är regisserade klipp där man klippt ihop de absolut bästa utkomsterna för de enklaste rörelser man kan utföra med just en robot, sådana som ironiskt nog är vad många människor finner svårt, som att göra volter osv, men som sägs här att packa en väska, att knyta en påse osv är ofantligt svårt att göra med robotik, att dansa koordinerat, att springa parkour på för inspelade router osv är inte det men det ser coolt ut och lurar många att framtiden är närmare än man tror.

https://www.youtube.com/watch?v=4lSQnrMC6nY

Jag pratar inte enbart om mjukvara. Ingen AI kan hacka det som inte finns exponerat mot Internet (det inkluderar maskiner som inte ligger på ett LAN, samt system som kräver flerstegsverifiering i fysisk form).

Människor kommer att vilja nå det mesta över Internet för att människor är bekväma. Trump vill kunna beställa kärnvapenattacker på sin golfrunda, då löser de det.

Och eftersom Trump är supertydlig med att detta ska lösas genast hinner man inte fixa ett censurfilter som Mythos inte knäcker på 10 minuter.