Ja, Pflanzen kommen sehr gut mit Schimmelpilzen klar, weil diese sich normalerweise auf geschädigtes oder totes Material setzen. An gesunde Pflanzenzellen gehen sie nicht.
Die Sporen sind jedoch nicht gut für uns. Wenn sie sich ständig und in größerer Menge in unserer Atemluft befinden, können sie Allergien auslösen. Deshalb sollte man fröhlich wuchernde Schimmelpilze möglichst aus den Wohnräumen fern halten.
Ist eine grau-grau-Entscheidung, inwieweit man Risiken eingehen möchte oder nicht. Ich halte meine Pflanzen in Blumenerde, die ist auch nicht schimmelpilzfrei, aber es ist deutlich weniger als auf deinem Stein.