Separera röster från ljudfiler för deep learning?

Hade tänkt börja lära mig tensorflow eller theano.

Har en idé om hur man skall kunna skapa trovärdig/naturlig talsyntes om man först kan få en klassifiering av tonfallet på satsmelodin. Alltså inte bara att reducera ljudet till fonem som blir till tecken utan till en färgkodning som kan användas för att markera in och utandning (mängden luft i lungorna påverkar vokalerna), vad det är för tonfall på orden och därefter vilka fonem som använts. Till slut vill jag även att den skall kunna identifiera vem som säger vad och hur.

Har fått tag i ett antal poddar och tänkte att om jag klipper vid någon ms tystnad så borde man enkelt kunna separera ut ett otal ljudklipp där ett antal människor säger olika saker på olika sätt. Stötte på patrull direkt.

Grundproblemet är, hur rotar jag ut alla tystnader som bryts av att folk pratar i munnen på varandra utan att först lyssna igenom åtskilliga timmar ljud eller börja med att bygga en ljudklassifierare för att identifiera röster?

Finns det redan en sådan?

Det låter som ett riktigt konstigt sätt att ta sig an problemet.

Istället för poddar, satsa på ljudböcker. Det är en inläsare ensam och brukar ofta vara extremt bra ljudupptagning och helt isolerat.

Ja, betydlgit bättre källa till ljud än poddar, som överlag alltid har en relativt begränsad kvalitetsnivå. Liknande projekt har även använt officiella nyhetsuppläsningar som allt som oftast är tydliga utan att folk pratar i mun på varandra.

Lycka till