Blauglockenbaum verliert alle Blätter

Ich hoffe, Ihr könnt helfen ...
Unser Blauglockenbaum ( 5 Jahre) hat in diesem Jahr das erste mal geblüht und trägt Früchte. Die Blätter fingen an, herunterzuhängen und teilweise gelb zu werden. Mittlerweile ist er fast kahl, er schmeisst die Blätter im rasanten Tempo ab. Was können wir noch zu seiner Rettung unternehmen? Er steht dort, wo nur am späten Nachmittag richtig Sonne ist. Die Blätter sind mittlerweile auch nicht mehr so groß wie zu seinen Anfangszeiten.
Wenn wir ihn beschneiden müssen, wie machen wir das richtig?
Danke vorab
Tanja

steht er da vielleicht zu trocken???
düngt ihr dort ab und zu mal?

Er steht dort eigentlich eher feucht ( Lehmboden), Grundwasser schon ab 1,30. Gedüngt haben wir ihn jetzt das erste mal, aber wohl zu spät. Bei den wenigen Sonnentagen die wir bisher hatten, scließe ich Trockenheit eher aus.