Es werden aber andere Früchte sein, als der der dein Nachbar hat.
Dein Baum ist ja nicht veredelt sondern ein Sämling.

Ausserdem kann es dadurch viele Jahre dauern, bis Früchte angesetzt werden

Würde ich so pauschal nicht sagen. Kann beides gut oder schlecht sein.
Wir haben sowohl veredelte als auch wilde Pflaumenbäumchen in unserem Garten und es gibt unter beiden welche, die sehr gut und fast von Anfang an tragen und welche, die kaum oder gar nicht tragen oder ihre Pflaumen nicht bis zur Reife behalten. Wenn du den Platz also nicht zwingend brauchst, würde ich ihm noch zwei-drei Jahre geben und dann eine Entscheidung fällen.