Moin,
wenn Du einen Garten hast, dann pflanz ihn dort ein. Buddleja sind ziemlich schlechte Kübelpflanzen.
Wenn sie im Topf nicht verhungern, verdursten sie oder werden zu viel gegossen. Das dürfte eine der Ursachen der von unten kommenden braunen Blätter sein. Sommerflieder im Topf müssen regelmässig gedüngt werden und brauchen einen recht großen Topf. Ein Rosen-Topf wäre ideal, da kann er mit seinem stark verfilzenden Wurzelwerk recht tief runterwachsen. Die Erde muss dann aber auch wiederum sehr strukturstabil sein um Nässeschäden zu verhindern. Ein höherer Anteil (mindestens 35 %) gröberer, offenporiger Steinchen im Substrat ist sehr zu empfehlen. Lava oder Bims wären gut.
Die Spinnmilben sind dann noch eine zusätzliche Folge der Balkonhaltung (?), vor allem wenn noch ein Dach darüber ist. Dort staut sich die Wärme bei der derzeitigen Witterung und die Luftbewegung ist im Vergleich zum Freien deutlich verringert. Kombiniert ergibt das ideale Bedingungen für die kleinen Sauger. Im Garten hat der Sommerflieder sie zwar auch, aber niemals so massiv und es fällt kaum auf.