要看双方的关系。如果房主和施工队存在合同关系(不一定非要建房合同,只要交给施工队就算合同关系),那么工人摔伤和房主无关。如果房主直接邀请工人建房并支付工资,则属于雇佣关系,工人摔伤属于工伤,房主应当承担赔偿责任。