Sora - ny text-to-video modell från OpenAI

OpenAI har precis presenterat sin nya text-to-video diffusion modell.

Det är sällan man trillar av stolen. Ta er en titt på https://openai.com/sora
Alla videos är genererade från text.

Inom de närmaste åren kommer vi förhoppningsvis ha AI modeller som kan generera videos från text nästintill felfritt. Därefter kommer vi fokusera på att generera de i real-tid, vilket gör att man kan använda de som en motor till program eller spel (allt som visas på en skärm egentligen). Lyckas man därefter generera 180fps kan man använda de i VR. Kopplar man därefter in andra modeller som t.ex. MinD-Vis kan man generera sin egna VR/AR värld utifrån vad man tänker på.

Framtiden ser ljus ut.

Man får hoppas att detta kommer ha begränsningar åtminstone. Annars kan man nog med säkerhet vinka hejdå till flera industrier, främst nog stock footage företag som Shutterstock. Kan också föreställa att detta kommer ha en påverkan på t.ex. pornografi-industrin samt generera otroligt många nya möjligheter inom kanske deepfake.

Men att vi har kommit såhär långt på såhär kort tid är intressant. Skönt att höra att denna teknologi har tagits fram av OpenAI, har goda förväntningar på att de kommer göra det rätta valet.

Självklart. Detta är inget som borde vara tillgängligt för allmänheten förrän de fått godkännande från deras red-team samt implementerat ordentliga watermark och försökt minimera alla risker.

Jag håller också med om att flera industrier riskerar att ryka, men allt beror egentligen på hur OpenAI hanterar situationen. Släpper de tjänsten så att man kan fine-tuna en modell, så kommer Shutterstock kunna träna sina egna modeller vilket förhoppningsvis kommer redusera riskerna för liknande företag. De kommer dock troligtvis inte hända då de ligger i deras intresse att tjäna pengar nu...

Annars ligger open source modeller efter ca 12 månader (för tillfället). I och med att Shutterstock har tillgång till bättre data, så tror jag att de har möjlighet att komma ikapp - men det återstår att se.

Deepfake och korta videos på sociala medier kommer bli ett jäkla svårt problem att lösa dock...

Mindblown. Det är så sjukt uppenbart nu att content kommer genereras mer än det faktiskt filmas. Och omvandlingen kommer ske typ....nu och nästa år.

Coolt

Här är en video med exempel för den som är nyfiken:

https://youtu.be/2fAPgOCjToA?si=ns_NaizhZhAhrpwj

Varför är folk orolig över shutterstock, äger de aktier i shutterstock eller? Varför bryr sig om shutterstock konkar? Sedan spelar det egentligen mindre roll vad openai gör, de är inte ensamma på scenen ändå, även om de tog ledningen nu (i teorin, då den inte är släppt än).

Detta är nog första uppdateringen på länge som jag har blivit riktigt imponerad av. Detta känns som ett stort steg framåt, både kvaliten och längden är mycket bättre. Men den är inte släppt än.

Om man sedan kunde kombinera detta med program där man har mer kontroll över resultatet

Inte för nöjesbranschen. Vad ska folk jobba med i framtiden?

Jag gillar när Will Smith äter spagetti

https://youtu.be/Itbc12qXr30?si=Swxzx5yx4M3JCF_b

UBI, varför vill du att folk ska arbeta?

Man skulle inte kunna tro att det är ai, bara en man som verkligen gillar spagetti.

Helt jävla sjukt hur bra generativ AI blivit på lite över ett år. Om detta hade släppts på första april hade jag trott det var fejk

Undrar hur stor andel av träningsmaterialet som kommer från CGI och i synnerhet spel.

En motsvarighet till stillbildernas problem med fingrar verkar vara bens och arms rörelser. För både Tokyokvinnan och löpbandsmannen byter ena sidans extremitet plötsligt plats med andra sidans. Tokyokvinnan bär strategiskt lång kjol.

En promt typ: "guitar fingerpicking virtuoso fretting wildly" borde resultera i ett dussin fingrar som flyger runt från hand till hand?