监理在现场验收钢筋笼时，施工单位质检员不说话，监理跟质检员提出问题，桩基班组带班或工人有时就骂监理，焊缝质量比较差还说监理管的严甚至不停的骂。对此监理部也召集施工单位项目负责人、管理人员开过会，但是效果很差。发生第三次了，监理部要求调出这几个人，但是施工单位老板和班组的老板是师兄弟，监理又无行政命令强行要求离开。对此监理部后续工作应该怎么办，请指教。