解析：
判别是否属于行政处罚，最重要的是看有关行为是否违犯了《行政处罚法》的相关规定。
A项的行为属于《行政处罚法》的范畴；
B项《新治安管理处罚法》对醉酒的人约束至酒醒属于行政强制措施；
C项对严重违反《公务员法》的公务员给予开除处分属于行政处分；
D项对到期不缴纳税款的纳税人，按日加收滞纳税款万分之五的滞纳金是《中华人民共和国税收征收管理法》所规定的，不属于行政处罚范畴。
故正确答案为A。
本题相关知识点：
《行政处罚法》第八条规定了行政处罚的种类，包括：
（一）警告；
（二）罚款；
（三）没收违法所得、没收非法财物；
（四）责令停产停业；
（五）暂扣或者吊销许可证、暂扣或者吊销执照；
（六）行政拘留；
（七）法律、行政法规规定的其他行政处罚。
注意：法律可以设定各种行政处罚。限制人身自由的行政处罚，只能由法律设定。