1979年7月，五届全国人大二次会议通过的关于修改宪法若干规定的决议和地方组织法规定，县和县以上的地方各级人民代表大会设立常务委员会。

1996年7月，阜阳市胜利召开了第一届人民代表大会第一次会议。根据宪法规定，第一次在本市设立了地方人大的常设机关——阜阳市人民代表大会常务委员会。

阜阳市人民代表大会常务委员会是阜阳市人民代表大会的常设机关，对阜阳市人民代表大会负责并报告工作。

常务委员会由主任、副主任若干人、秘书长、委员若干人组成，常务委员会的组成人员由阜阳市人民代表大会在代表中选举产生。常务委员会的组成人员不得担任国家行政机关、审判机关和检察机关的职务。常务委员会每届任期与阜阳市人民代表大会每届任期相同。

根据宪法和有关法律的规定，阜阳市人民代表大会常务委员会行使下列职权；

在本行政区域内，保证宪法、法律、行政法规和上级人民代表大会及其常务委员会决议的遵守和执行；

领导或者主持本级人民代表大会代表的选举；

召开本级人民代表大会会议；

讨论、决定本行政区域内的政治、经济、教育、科学、文化、卫生、环境和资源保护、民政、民族等工作的重大事项；

根据本级人民政府的建议，决定对本行政区域内的国民经济和社会发展计划、预算的部分变更；

监督本级人民政府、人民法院和人民检察院的工作，联系本级人民代表大会代表，受理人民群众对上述机关和国家工作人员的申诉和意见；

撤销下一级人民代表大会及其常务委员会的不适当的决议；

撤销本级人民政府的不适当的决定和命令；

在本级人民代表大会闭会期间，决定副市长的个别任免；在市长和人民法院院长、人民检察院检察长因故不能担任职务的时候，从本级人民政府、人民法院、人民检察院副职领导人员中决定代理的人选；决定代理检察长，须报上一级人民检察院和人民代表大会常务委员会备案；

根据市长的提名，决定本级人民政府秘书长、局长、委员会主任的任免，报上一级人民政府备案；

按照人民法院组织法和人民检察院组织法的规定，任免人民法院副院长、庭长、副庭长、审判委员会委员、审判员，任免人民检察院副检察长、检察委员会委员、检察员，批准任免下一级人民检察院检察长；

在本级人民代表大会闭会期间，决定撤销个别副市长的职务；决定撤销由它任命的本级人民政府其他组成人员和人民法院副院长、庭长、副庭长、审判委员会委员、审判员，人民检察院副检察长、检察委员会委员、检察员的职务；

在本级人民代表大会闭会期间，补选上一级人民代表大会出缺的代表和罢免个别代表；

决定授予地方的荣誉称号。

阜阳市人民代表大会常务委员会于1996年7月由阜阳市第一届人民代表大会第一次会议选举产生后，于2001年2月、2006年6月两次换届，现为阜阳市第三届人民代表大会常务委员会。阜阳市第三届人民代表大会常务委员会现有组成人员35人。其中，常委会主任1名，副主任7名，秘书长1名（兼），委员27名。