招标人最迟应当在书面合同签订后5日内，向中标人和未中标的投标人退还投标保证金及银行同期存款利息。

根据《招标投标法实施条例》规定，招标人最迟应当在书面合同签订后5日内，向中标人和未中标的投标人退还投标保证金及银行同期存款利息。这是为了保障投标人的资金权益，防止招标人无故占用投标人资金。