如果行政单位的利息收入上缴逾期了，需要尽快向税务部门申报和缴纳相关税费，避免因逾期而产生滞纳金等额外费用。具体操作步骤如下：
1. 填写税款申报表。首先需要填写符合要求的税款申报表，包括税款所属期间、纳税人识别号码、税款金额等内容，此外还需要填写收入所需缴纳的税种。
2. 缴纳逾期罚款和滞纳金。应先核算欠税金额，包括利息收入应缴纳的税款及相关罚款和滞纳金。利息收入应缴纳的税款可以通过税务部门的网上税务局、移动端APP、银行网点等多种方式进行缴纳。
3. 缴纳后办理税务注销。缴纳了所欠税款和相关费用后，可以前往税务部门办理税务注销相关手续，以免产生不良信用记录等后果。