Lass ihn halt erst mal dort, wo er jetzt ist. Standortveränderungen bedeuten auch Stress!
Wenn er angewachsen ist, kannst Du ihn immer noch an draussen gewöhnen, auch wenns erst im nächsten Jahr ist.
Ich kann mir allerdings nicht vortsllen, dass Oliven sooo empfindlich auf Temperaturen unter 20° reagieren... In ihrer Heimat wirds doch auch mal etwas kühler! Man denke an den nördlichen Gardasee...