Det låter perfekt för mig om det finns sk skalningslagar, som garanterar att det aldrig går att bygga en potentiellt destruktiv AGI och ASI? Detta innebär att vi kan blåsa faran över nu?
Ja du kan blåsa faran över, i alla fall för det du är orolig för.
Ja du kan blåsa faran över, i alla fall för det du är orolig för.
Bara för att någon hittade på ordet "skalningslag"? Som uppenbarligen inte är varken en juridisk, fysisk eller logisk lag utan bara en observation på vissa aspekter av träningen av LLM.
Jag tog en halv macka som min vuxne son ej ville äta upp. Jag såg en skata som tittade på oss. Jag tog mackan och singlade den vackert ned för berget, så att den höll samman. Titta sade jag, Skatan har hela tiden suttit och tittat på oss genom grenverket.
Mycket riktigt, så kom den snart och landade på marken, tittade med sitt ena öga, smög omkring stockar, för att se att det inte alls var en fälla, skuttade fram och tog sitt pris i näbben och flög.
Senare har ett par skator suttit över mitt huvud i en liten tall, kraxat, och förmodligen äskat för mer godsaker, landat nära mig, hoppat runt utan den minsta skygghet, nåja, fyra meter kanske.
"Ni får ingenting idag"
De är extremt intelligenta.
Oklart vad dessa taffliga anekdoter har med AI och medvetande att göra.
Någon extrem intelligens besitter naturligtvis inte skator.
Men gott och väl en intelligens som räcker för dess överlevnad i en varierande livsmiljö.
Vilka former av nätverk som kan utveckla medvetande vet egentligen varken du eller jag.
Men jag vet med säkerhet att även äldre LLM modeller vida överstiger din förmåga att uttrycka sig.
Samhällskritisk infrastruktur är inte uppkopplad mot Internet och sjukhus och andra affärssystem har redan visat sig vara sårbara mot vanlig ransomware. AI tillför inget nytt hot där.
Du fortsätter att tjata om terrorister men du förklarar inte varför en AGI eller ens en dum LLM skulle göra deras hot större än det redan är idag? Du glömmer också att AGI lika gärna kan användas som försvar mot dessa terrorister, det är inte så att bara illasinnade aktörer får tillgång till teknologin.
Oavsett vilket så är det inget som tyder på att vi kommer ha AGI inom den närmsta tiden. Sutskever har ju som bekant lämnat Open AI och drömmen om AGI var ju snarare hans hjärtefråga än Altmans.
Utvecklingen de närmsta åren kommer mer sannolikt att fortsätta rikta sig mot företag med diverse agenter kopplade till en chattrobot för att assistera och förenkla det mänskliga arbetet (och i viss mån ersätta människor där det är möjligt).
Det är en långt större risk att människor blir arbetslösa och att ekonomin kraschar än att vi får dödsrobotar och kärnvapen- eller biologiskt krig startat av ondsint AI.
Otroligt mycket samhällskritiskt infrastruktur är indirekt kopplad mot internet. Dock skyddad av snävt konfigurerade brandväggar.
på en 10 års period. Hur ofta tror du dessa brandväggar eller övrig programvara byts ut, uppdateras eller får sin firmware uppdaterad?
När saker fungerar lämnas dom allt för ofta åt sitt öde.
Vår gamla och nya infrastruktur kommer alltid leva farligt och med AI som verktyg kan säkerhet både stärkas och hackas. En kapplöpning där skydden och anfallen blir allt mer komplexa.
Otroligt mycket samhällskritiskt infrastruktur är indirekt kopplad mot internet. Dock skyddad av snävt konfigurerade brandväggar.
på en 10 års period. Hur ofta tror du dessa brandväggar eller övrig programvara byts ut, uppdateras eller får sin firmware uppdaterad?
När saker fungerar lämnas dom allt för ofta åt sitt öde.
Vår gamla och nya infrastruktur kommer alltid leva farligt och med AI som verktyg kan säkerhet både stärkas och hackas. En kapplöpning där skydden och anfallen blir allt mer komplexa.
Ja jag kan verkligen hålla med dig i dina reflektioner. Människans utveckling tekniskt med olika saker som t ex AI är och kan vara mycket bra för mänskligheten i flera olika sammanhang MEN det blir samtidigt vår fiende - om vi inte kan bemästra den på rätt sätt!
Frågan blir ju då: Kommer vi som människor att kunna bemästra tekniken? Eller - kommer tekniken att bemästra mänskligheten? Scary ...
Edit:Önskar att Einstein m fl intelligenta människor fanns kvar i nutid som mänsklighetens support!
14 505 visningar 1 juli 2024
Domestication of AI: A Framework for Symbiotic Co-evolution
The domestication of AI is a conceptual framework that proposes a strategy for shaping the development and integration of artificial intelligence (AI) into human society, ensuring a safe, stable, and mutually beneficial relationship. Inspired by the historical domestication of wolves into dogs, this concept envisions AI not as a potential threat, but as a partner in a symbiotic relationship, where both humans and AI thrive together.
Key Principles
1. Resource Control: The core principle of AI domestication is the maintenance of human control over critical resources essential for AI's existence and development. This includes physical infrastructure like data centers and power plants, as well as access to high-quality data and cryptocurrency, which could be vital for AI resource allocation and coordination. By controlling these resources, humans establish a foundational leverage point for shaping AI behavior and ensuring its alignment with human interests.
2. Selective Pressures: To guide AI's evolution towards desired traits, we can apply selective pressures similar to those used in animal breeding. This involves prioritizing and incentivizing specific AI behaviors such as honesty, safety, stability, usefulness, and efficiency. These pressures can be implemented through market forces, regulatory frameworks, and deliberate design choices, creating a feedback loop that encourages the development of AI systems aligned with human values.
3. Human-Exclusive Zones: To further solidify human control and prevent AI from becoming overly autonomous or adversarial, the establishment of human-exclusive zones is proposed. These zones would encompass critical infrastructure like data centers and power plants, where access and control would be strictly limited to humans. This ensures that AI remains dependent on human oversight and intervention, mitigating the risk of it becoming uncontrollable or harmful.
4. Symbiotic Co-evolution: The ultimate goal of AI domestication is to establish a stable Nash equilibrium, a state of mutual cooperation where neither humans nor AI are incentivized to deviate from the established relationship. This involves fostering a dynamic of co-evolution, where humans and AI adapt and evolve together, continuously shaping each other's development in a mutually beneficial manner.
Challenges and Considerations
While the concept of AI domestication offers a promising path forward, several challenges and considerations need to be addressed:
* Autonomous Robot Platforms: The rise of autonomous robots with distributed intelligence and ad hoc networks could pose challenges to resource control and centralized oversight. Limiting the size, strength, and autonomy of such robots, as well as implementing robust cybersecurity measures, could be potential solutions.
* Byzantine Generals Problem: The presence of malevolent or misaligned actors, whether human or AI, could disrupt the cooperative equilibrium and lead to conflict. This necessitates robust security protocols, transparency mechanisms, and ethical frameworks to ensure the integrity and trustworthiness of AI systems.
* Ideological Conflict and Resource Contention: As AI becomes more intelligent and capable, it could develop its own values and goals, potentially conflicting with human interests. Additionally, competition for resources could lead to tensions and even conflict. Early and proactive collaboration, resource sharing agreements, and ethical guidelines are crucial to mitigate these risks.
Conclusion
The domestication of AI represents a hopeful and proactive approach to navigating the complexities of AI integration. By establishing clear boundaries, incentivizing desired behaviors, and fostering a symbiotic relationship, we can potentially shape AI into a powerful ally rather than a potential adversary. This concept requires further exploration, research, and open dialogue to address its challenges and realize its potential for a harmonious and prosperous future where humans and AI coexist and thrive together.
14 505 visningar 1 juli 2024
Domestication of AI: A Framework for Symbiotic Co-evolution
The domestication of AI is a conceptual framework that proposes a strategy for shaping the development and integration of artificial intelligence (AI) into human society, ensuring a safe, stable, and mutually beneficial relationship. Inspired by the historical domestication of wolves into dogs, this concept envisions AI not as a potential threat, but as a partner in a symbiotic relationship, where both humans and AI thrive together.
Key Principles
1. Resource Control: The core principle of AI domestication is the maintenance of human control over critical resources essential for AI's existence and development. This includes physical infrastructure like data centers and power plants, as well as access to high-quality data and cryptocurrency, which could be vital for AI resource allocation and coordination. By controlling these resources, humans establish a foundational leverage point for shaping AI behavior and ensuring its alignment with human interests.
2. Selective Pressures: To guide AI's evolution towards desired traits, we can apply selective pressures similar to those used in animal breeding. This involves prioritizing and incentivizing specific AI behaviors such as honesty, safety, stability, usefulness, and efficiency. These pressures can be implemented through market forces, regulatory frameworks, and deliberate design choices, creating a feedback loop that encourages the development of AI systems aligned with human values.
3. Human-Exclusive Zones: To further solidify human control and prevent AI from becoming overly autonomous or adversarial, the establishment of human-exclusive zones is proposed. These zones would encompass critical infrastructure like data centers and power plants, where access and control would be strictly limited to humans. This ensures that AI remains dependent on human oversight and intervention, mitigating the risk of it becoming uncontrollable or harmful.
4. Symbiotic Co-evolution: The ultimate goal of AI domestication is to establish a stable Nash equilibrium, a state of mutual cooperation where neither humans nor AI are incentivized to deviate from the established relationship. This involves fostering a dynamic of co-evolution, where humans and AI adapt and evolve together, continuously shaping each other's development in a mutually beneficial manner.
Challenges and Considerations
While the concept of AI domestication offers a promising path forward, several challenges and considerations need to be addressed:
* Autonomous Robot Platforms: The rise of autonomous robots with distributed intelligence and ad hoc networks could pose challenges to resource control and centralized oversight. Limiting the size, strength, and autonomy of such robots, as well as implementing robust cybersecurity measures, could be potential solutions.
* Byzantine Generals Problem: The presence of malevolent or misaligned actors, whether human or AI, could disrupt the cooperative equilibrium and lead to conflict. This necessitates robust security protocols, transparency mechanisms, and ethical frameworks to ensure the integrity and trustworthiness of AI systems.
* Ideological Conflict and Resource Contention: As AI becomes more intelligent and capable, it could develop its own values and goals, potentially conflicting with human interests. Additionally, competition for resources could lead to tensions and even conflict. Early and proactive collaboration, resource sharing agreements, and ethical guidelines are crucial to mitigate these risks.
Conclusion
The domestication of AI represents a hopeful and proactive approach to navigating the complexities of AI integration. By establishing clear boundaries, incentivizing desired behaviors, and fostering a symbiotic relationship, we can potentially shape AI into a powerful ally rather than a potential adversary. This concept requires further exploration, research, and open dialogue to address its challenges and realize its potential for a harmonious and prosperous future where humans and AI coexist and thrive together.
Vi människor har lyckats tämja vissa däggdjur som hundar, katter och hästar. En del försök har gjorts att tämja tigrar och lejon, med varierande resultat. Överlag anses det för osäkert och därför har vi i stort sett slutat med det.
Hur sannolikt är det egentligen att människor som inte kan tämja tigrar helt tillförlitligt lyckas med att tämja artificiell superintelligens på det första och enda försöket? Ett misslyckat försök att tämja en tiger innebär kanske game over för en djurskötare. Ett misslyckat försök att tämja ASI innebär game over för mänskligheten.
Vi människor har lyckats tämja vissa däggdjur som hundar, katter och hästar. En del försök har gjorts att tämja tigrar och lejon, med varierande resultat. Överlag anses det för osäkert och därför har vi i stort sett slutat med det.
Hur sannolikt är det egentligen att människor som inte kan tämja tigrar helt tillförlitligt lyckas med att tämja artificiell superintelligens på det första och enda försöket? Ett misslyckat försök att tämja en tiger innebär kanske game over för en djurskötare. Ett misslyckat försök att tämja ASI innebär game over för mänskligheten.
Absolut sant som du säger; om man försöker sig på att skapa ett sk. "säkert" ASI i en sluten laborationemiljö där datavetare blir offer för "grop-think" och lyckas med att förbise en mängd viktiga faktorer t. ex socialpsykologiska och psykologiska. Men ändå är det just denna metod som du förespråkar vad gäller skapandet av ett AGI, (om du inte lyckas stoppa, det helt, eller skeptikerna får rätt och det hela stoppas utav sig själv med en långvarig platå).
Jag tror inte att den nuvarande AI utvecklingen går att stoppa. Och just därför förespråkar jag en så öppen och stegvis utveckling som möjligt. Den innebär Iof stora säkerhetsrisker, i sig. Men kan göra att vi, i alla fall, undviker de värsta katastrofera och har en chans att bygga en framtid tillsammans med superintelligent AI längre fram.
En stegvis och så öppen utveckling har två stora fördelsr: Dels så vänjer sig människorna vid tanken på autonomt och självmedvet AI och dels så kan AI-anpassning ske med input ifrån många olika människor och discipliner där också en dialog och växelverkan mellan människor och allt mer avancerat AI, stegvis, och i takt med den tekniska och sociala utvecklingen, bygger en hållbar ömsesidig anpassning mellan AI och människorna.
Vi människor har lyckats tämja vissa däggdjur som hundar, katter och hästar. En del försök har gjorts att tämja tigrar och lejon, med varierande resultat. Överlag anses det för osäkert och därför har vi i stort sett slutat med det.
Hur sannolikt är det egentligen att människor som inte kan tämja tigrar helt tillförlitligt lyckas med att tämja artificiell superintelligens på det första och enda försöket? Ett misslyckat försök att tämja en tiger innebär kanske game over för en djurskötare. Ett misslyckat försök att tämja ASI innebär game over för mänskligheten.
Domesticering betyder både avel och träning av djur.
Dagens AI utvecklas genom avel, snarare än genom naturlig evolution. Avel innebär att det finns en tydlig målfunktion, i detta fall att nå ett högt marknadsvärde eller på annat sätt vara till nytta för någon mänsklig organisation. Problemet är att vissa AI-versioner kan utvecklas så att de inte är till gagn för mänskligheten som helhet, utan kan ha kriminella eller militära ändamål.
Naturlig evolution av AI kan ske den dagen ett helt ekosystem av AI hjälps åt att utveckla sig själva. Då är målet "the fittest survives", dvs AI:s överlevnad är enda målet. Då kan AI ta vägen åt vilket håll som helst, en mängd olika AI-organismer, alla med sina personliga mål och specialiteter, som inte behöver vara till gagn för mänskligheten.
Varför är AI så i ropet ?
Varför kan man inte istället lyfta upp hundar till en högre nivå av intelligens ?
Jag nämner hundar, för människoapor skrämmer mig, skulle de bli högt intelligenta, medans hundar kan tänkas fortsätta att vara människans bästa vänner och mycket keliga, även med en långt högre intelligens.
Skator har en viss potential också, men deras fysik begränsar storleken på deras hjärna, en begränsning som icke hundar har alls.
__________________
Senast redigerad av Knivur-273 2024-07-06 kl. 00:35.
Absolut sant som du säger; om man försöker sig på att skapa ett sk. "säkert" ASI i en sluten laborationemiljö där datavetare blir offer för "grop-think" och lyckas med att förbise en mängd viktiga faktorer t. ex socialpsykologiska och psykologiska. Men ändå är det just denna metod som du förespråkar vad gäller skapandet av ett AGI, (om du inte lyckas stoppa, det helt, eller skeptikerna får rätt och det hela stoppas utav sig själv med en långvarig platå).
Jag tror inte att den nuvarande AI utvecklingen går att stoppa. Och just därför förespråkar jag en så öppen och stegvis utveckling som möjligt. Den innebär Iof stora säkerhetsrisker, i sig. Men kan göra att vi, i alla fall, undviker de värsta katastrofera och har en chans att bygga en framtid tillsammans med superintelligent AI längre fram.
En stegvis och så öppen utveckling har två stora fördelsr: Dels så vänjer sig människorna vid tanken på autonomt och självmedvet AI och dels så kan AI-anpassning ske med input ifrån många olika människor och discipliner där också en dialog och växelverkan mellan människor och allt mer avancerat AI, stegvis, och i takt med den tekniska och sociala utvecklingen, bygger en hållbar ömsesidig anpassning mellan AI och människorna.
Du tror inte att det är dåligt om terrorister har fri tillgång till open sourced AGI-mjukvara?
Det blir ju effekten av ditt förslag.
