Ok, det var ju inte så svårt att lista ut.
Ordlistorna i firefox har samma format (myspell?).
Så i mitt fall var det bara gå till Options > Configure Texmaker > Editor
och skriva in sökvägen C:\Program Files (x86)\Mozilla Firefox\dictionaries\sv.dic
i fältet för Spelling dictionary.
Lämnar den informationen här till förmån för framtida generationer.