施工单位拒绝整改或者不停止施工时，监理工程师应当及时向有关主管部门报告，而不是仅向建设单位报告。

当施工单位拒不整改或不停止施工时，监理方有法定义务向建设行政主管部门或其他有关部门报告，这是为了履行安全监管职责，防止事故发生。