Lite associerat.
https://www.nyteknik.se/tech/8-000-mw-i-elkoe-microsoft-svarar-med-nytt-vaersting-chip-mer-ai-per-watt/4503439Nya Maia 300 ska minska Microsofts beroende av Nvidia. Chipet ska dessutom ge fler ai-svar per megawatt, säger Microsoft-tungviktaren Andrew Wall.
Nytt AI-chip från MSFT lär fylla Azur-datacentren, som används för inferens.
Redan nu används föregångaren Maia 200 för att driva ai-tjänster som Microsoft 365 Copilot, samt till att köra bolagets egna språkmodeller och motsvarande från Open AI.
Det färska Maia 300-chipet ska driftsättas i stor skala under 2027, och kommer att utgöra ryggraden hos bolagets stadigt växande skara av datacenter. På sikt är målet att driva nästan alla ai-tjänster med egna chip, enligt Microsoft – ett strategiskt viktigt drag med potential att spara stora summor.
Dvs föregångaren Maia 200 används redan. Så man har erfarenheter. Maia 300 lär vara större och bättre och ge billigare inferenser.
Dvs man förbättrar lönsamheten på inferenserna. Och då kan man eventuellt klara av priskrig mot de som använder dyrare utrustningen och knäcka en del konkurrenter. Och ta marknadsandelar.
Fokus framöver lär vara mer på att få ned kostnader för inferens.
Bakgrunden är att agenterna, som numera kan arbeta länge i flera steg, kräver betydligt mer beräkningskraft än vanliga chattbottar. Enligt en studie som Microsoft medverkat i förbrukade ai-agenter som skriver kod på egen hand 1 000 gånger fler tokens än när man bara ställer frågor om programmering till en chattbot.
Och det är ju lite intressant.
Dvs det kan eventuellt vara billigare att låta människor skriva koden och använda AI att fråga om ditt och datt. Än att låta AI-agenter skriva koden.
Ja det är ju ingen chock precis. Men man vill ju se det hända också.
Vi har då 3 contenders här:
* MSFT med optimerade chip för inferens
* AMD (Taalas) lika så men modellen är tom ROM'ad.
* Holländarna.
Sedan vet man ju aldrig vad Nvidia har puttrandes i garaget.
