税务机关在行使代位权时，必须以书面形式通知纳税人。

根据《税收征收管理法》第五十条，税务机关行使代位权时可采取书面或口头形式通知。