Schimmel ist an fast allem im Leben: Obst, Marmelade, Saft, Wein, teilweise auch Gemüse. Für die meisten Menschen ist er, solange es kleinere Dosen sind, wie auf den Lebensmitteln zB kein Problem. Schimmel ist halt vor allem dann für Menschen problematisch, wenn sie auf die Sporen allergisch sind. Grundsätzlich kommt es natürlich auch auf die Sorte vom Schimmel an. Der vom Käse ist zB von den Sporen her wirklich nur für Allergiker ein Problem. Verschimmeltes Brot dagegen sollte keiner Essen. Auch verschimmelte Wände sollte man eher zügig behandeln lassen. Wenn du eine schlimme Schimmelallergie hast, wäre ich daher mit den Pflanzen sehr vorsichtig. Wenn du schon stark zu Allergien neigst, würde ich vorsichtshalber die aus dem Schlafzimmer woanders hinstellen. Bei meiner Erde mit Schimmelbefall habe ich bisher noch keine Auswirkung auf die Pflanze festgestellt. Ich denke mir halt, dass es normalerweise in der Erde auch Schimmelbildung gibt und die meisten Pflanzen damit gelernt haben klar zu kommen. Ich habe dazu aber kein fundiertes Wissen und auch noch nichts im Netz gefunden. Es ist bei dir ja auch so, dass die Erde nur schimmlig riecht. Richtig gesehen hast du noch keinen. Es wäre daher alles erstmal eine Vorsichtsmaßnahme, aus meiner Perspektive.
PS: Grundsätzlich fördert das Klima natürlich die Schimmelbildung. Gibt so Wetter da schimmelt alles sofort. Feucht ist für Schimmel wichtig. Wenn es dann noch warm ist, wächst er sehr gerne, aber wie man im Kühlschrank sieht, hält ihn Kälte auch nicht ab.