När når vi AGI?

Det är inte antalet GPUer som gör någon skillnad, det är storleken på nätverket eftersom det kodar mycket mer information och mönster.

Men det är precis detta som är det som är så galet med LLMs, det behöver enorma mängder information för att fungera och med informationen får du kunskap "inbränd", det kanske är bra problemet är att kunskapen här är helt omöjlig att verifiera eller härleda till källan, det finns inga associativa minnen, inget kronologiskt eller något som helst logiskt koppel till minnet, det finns bara "intrampade stigar".

Det är just detta som är anledningen till att modellerna har jätteproblem med dubbel riktad information, det klassiska exemplet är "If Tom Cruise's mother is Mary Lee Pfeiffer, who is Mary Lee Pfeiffer's son?" en språkmodel bildar inte den reversibla kopplingen utan detta måste tränas in.

Det finns massvis med sådana här exempel som klart och tydligt illustrerar att de emergenta förmågor som man observerar inte är resultatet av en intelligent grundarkitektur utan att man med större nätverk tränar in fler och fler kända problem, så nästa uppdatering ser ut att klara det. Men det är en katt och råtta lek hela tiden, det är flera youtubers som gjort sig populära på att påvisa just sådant här banalt.

Man kanske kan fråga sig om det spelar någon som helst roll om det ändå "fixas" i nästa version? Ja det spelar en fantastisk roll eftersom det betyder att nätverken är totalt oförmögna att förstå grundläggande kausala relationer, ska du våga sätta dessa på något av värde så får du hoppas väldigt mycket att de blivit tränade med just din data och ditt mål tidigare för annars kan det bli vad som helst.

Det är också därför det var så fruktansvärt löjligt att se i en annan tråd, en post om en "forskare" som genuint frågade om han skulle publicera ett bevis som en LLM genererat, som han själv inte förstod. Det är precis det som nästan allt som är öppen för allmäna bidrag överflödas med nu, språkmodeller som används för att skapa patchar på open source projekt, som skrivit långa forskningsrapporter i olika ämnen och det är 99.9% skräp som en insatt person kan avfärda, men det kostar enorma mängder tid och investering, tidigare skickade inte klåpare in sina bidrag om de inte förstod dom, idag gör de det för de tror att AI gör rätt...

Konsensus kring LLM vore trevligt.


Men det jag gör skiljer sig så pass radikalt att det nog inte kan utögra del i den eventuella konsensusen.

Väldigt bra exempel, och något min QuantumReasonerCore råder bot på.

Det enda som behövs är semantisk grundkoppling och logik.

Av 16 hypoteser borde svaret på frågan "If Tom Cruise's mother is Mary Lee Pfeiffer, who is Mary Lee Pfeiffer's son?" vara att Tom är Mary's son.

Vad bra, då är det nog du som tar hem nobelpriset i fysik nästa gång... Eller FIFAs fredpris...

QRC.


https://drive.google.com/file/d/1DA88TTdEYJKCTYm9bjw7253_nsmRk2Ru/view?usp=sharing

LLM -> ANN -> prediktion -> korrelation -> smal AI

Statistiska förutsägelser baserat på en himla mängd data?


Det är jag med på.

Brukar inte forskningspapper ha referenser osv? Eller menar du kommit på precis allt här själv?

Jag lät bli att klistra in de.

Men här är referenserna:

References

[1] Penrose, R. (1989). The Emperor's New Mind. Oxford University Press.

[2] Feynman, R. P. (1982). Simulating physics with computers. International Journal of Theoretical Physics, 21(6-7), 467-488.

[3] Hameroff, S., & Penrose, R. (2014). Consciousness in the universe: A review of the 'Orch OR' theory. Physics of Life Reviews, 11(1), 39-78.

[4] Goertzel, B. (2014). The Hidden Pattern: A Patternist Philosophy of Mind. Brown Walker Press.

[5] Wang, P. (2013). Non-Axiomatic Logic: A Model of Intelligent Reasoning. World Scientific.

[6] Pearl, J. (2009). Causality: Models, Reasoning, and Inference. Cambridge University Press.

[7] Holyoak, K. J., & Thagard, P. (1995). Mental Leaps: Analogy in Creative Thought. MIT Press.

[8] Gentner, D., & Markman, A. B. (1997). Structure mapping in analogy and similarity. American Psychologist, 52(1), 45-56.

[9] Cheng, P. W., & Novick, L. R. (1992). Covariation in natural causal induction. Psychological Review, 99(2), 365-382.

[10] Sloman, S. A. (2005). Causal Models: How People Think About the World and Its Alternatives. Oxford University Press.

[11] Shteingart, H., & Loewenstein, Y. (2014). Reinforcement learning and human behavior. Current Opinion in Neurobiology, 25, 95-102.

[12] Sutton, R. S., & Barto, A. G. (2018). Reinforcement Learning: An Introduction. MIT Press.

[13] LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. Nature, 521(7553), 436-444.

[14] Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press.

[15] Mnih, V., et al. (2015). Human-level control through deep reinforcement learning. Nature, 518(7540), 529-533.

[16] Silver, D., et al. (2017). Mastering the game of Go without human knowledge. Nature, 550(7676), 354-359.

[17] Lake, B. M., et al. (2017). Building machines that learn and think like people. Behavioral and Brain Sciences, 40.

[18] Marcus, G. (2018). Deep learning: A critical appraisal. arXiv preprint arXiv:1801.00631.

[19] Tversky, A., & Kahneman, D. (1974). Judgment under uncertainty: Heuristics and biases. Science, 185(4157), 1124-1131.

[20] Gigerenzer, G., & Gaissmaier, W. (2011). Heuristic decision making. Annual Review of Psychology, 62, 451-482.

[21] Busemeyer, J. R., & Bruza, P. D. (2012). Quantum Models of Cognition and Decision. Cambridge University Press.

[22] Pothos, E. M., & Busemeyer, J. R. (2013). Can quantum probability provide a new direction for cognitive modeling? Behavioral and Brain Sciences, 36(3), 255-274.

[23] Wang, Z., et al. (2013). Context effects produced by question orders reveal quantum nature of human judgments. Proceedings of the National Academy of Sciences, 110(24), 9758-9763.

[24] Khrennikov, A. (2010). Ubiquitous Quantum Structure. Springer.

[25] Aerts, D., et al. (2013). Quantum structure in cognition. Journal of Mathematical Psychology, 57(3-4), 107-123.

[26] Griffiths, R. B. (2002). Consistent Quantum Theory. Cambridge University Press.

[27] Nielsen, M. A., & Chuang, I. L. (2010). Quantum Computation and Quantum Information. Cambridge University Press.

[28] Preskill, J. (1998). Lecture Notes on Quantum Computation. California Institute of Technology.

[29] Aaronson, S. (2013). Quantum Computing Since Democritus. Cambridge University Press.

[30] Bostrom, N. (2014). Superintelligence: Paths, Dangers, Strategies. Oxford University Press.

Vi når AGI 2028, kanske redan 2027. Det går fort nu när AI tränar sig själv.

Jag tänkte mer att referenserna brukar peka på specifika delar i pappret, varifrån individuella antagande, observationer osv gjorts.
Tex ser jag att du har en tröskel på 0.7 som du kanske kommit fram till på något empiriskt sätt eller genom tidigare studier, sådant avhandlas inte alls.

Men hur som helst lycka till, det är en sak att skriva ett papper, ett annat att ha ett fungerande system som faktiskt påvisar det pappret beskriver.

Idioter har tränat sig själva på dagboenden i decennium, jag har fortfarande inte sett några superidioter.