是不是违法建筑需要根据具体情况就认定，如果当时他们的房屋申请了建设施工许可证，还有相关的规划文件，那么就是合法的建筑。这种东西需要去调查，不是说周边的房屋都是违建，他的房屋也是违建。当然了，如果你有相关的证据是可以，取申请行政机关查处违法建筑，行政机关不作为，可以依法提起行政诉讼，追究对方不作为的行政责任。前提是建立在有证据的情况下。
