解析：
A项错误，“处长被辞退”是不可以提起行政诉讼的，因为行政机关对行政机关工作人员的奖惩、任免等决定是不属于人民法院的受案范围的。
B项正确，科员拒不赡养父母，情节严重，已经构成“遗弃罪”，此时单位可以给予其“开除”处分。
C项正确，商务厅厅长退休后第二年到商务厅下属的商贸公司任职，违反了“公务员辞去公职或者退休的，原系领导成员的公务员在离职三年内，其他公务员在离职两年内，不得到与原工作业务直接相关的企业或者其他营利性组织任职，不得从事与原工作业务直接相关的营利性活动”这一《公务员法》中的规定，该省公务员主管部门责令其限期改正是正确的做法。
D项正确，公务员是有“对机关工作和领导人员提出批评和建议”的权利的，故“科长向局长提出改正意见”是符合规定的。
本题为选非题，故正确答案为A。