Du musst zumindest deinem VZ-Arbeitgeber Bescheid sagen und er kann es dir theoretisch auch verweigern. (gute Gründe, welche auch immer, steht in Gesetzestexten)
Deine Freizeit dient eigentlich aus Arbeitnehmersicht dazu, deine Arbeitsfähigkeit wieder herzustellen.