安徽合肥人。1954年生，朦胧诗代表诗人。自1984年被工厂除名后，一直靠阶段性的打工为生。他前后曾从事过车间操作工、绿化工、电台编辑、杂志编辑、计划生育宣传干部、广告公司策划等多种职业。1972年开始诗歌创作，他的诗《中国，我的钥匙丢了》《雪白的墙》被列为新时期朦胧诗代表诗作。1991年加入中国作家协会。诗作被选入高中教材。
著有诗集《少女军鼓队》（中国文联1986年版），思想随笔集《独自成俑》（天津社科2001年版）《地主研究》（文化艺术出版社2001年版）《梁小斌如是说》（即出）。诗歌《中国，我的钥匙丢了》、《雪白的墙》选入《百年中国文学经典》。《雪白的墙》(选入高中语文教材)获1982年全国中青年诗人优秀新诗奖。
2005年中央电视台新年新诗会上，梁小斌被评为年度推荐诗人。
推荐语中这么写到：
“诗人梁小斌，一个磨难时代的诗歌童话，他坚韧而坚强地持续写作，在生活的边缘依然把诗歌完全融入了生命的状态。
新时期文学启蒙时这位诗人坚实、清澈、透明而深邃的诗句，在中国所有城市的旷野呼啸而过，他朴素而寓意深切的诗歌依然影响着现在的人们。
梁小斌诗歌中蕴涵的深情和智慧，是近15年来汉语写作历程一个多棱面的见证，更难得可贵的是，这样冰块一样生活着的诗人，通过自己卧薪尝胆的努力，恢复或说绵延着一种纯粹、高贵的文学理想：以透明消解阴晦，以深沉埋葬浅薄，以少战胜多。”