从描述来看，如果车主拒绝驶离的，是可以强行拖车的。因为根据《道路交通安全违法行为处理程序规定》中的规定：“违反机动车停放、临时停车规定，驾驶人不在现场或者虽在现场但拒绝立即驶离，妨碍其他车辆、行人通行的，公安机关交通管理部门及其交通警察可以将机动车拖移至不妨碍交通的地点或者公安机关交通管理部门指定的地点。”
如果你同意开走，他就没权拖走；如果你的停车妨碍通行，他也可以拖走，如果不妨碍通行，他应该没权利拖走。
