两年后，“文革”开始，作协被砸烂，东总布22号院也被北京市的机关接管。冰心、臧克家、张天翼、张光年、陈白尘、李季等人被关进牛棚，经常被送到13号院劳动，运家具、搞卫生。

每年，作协还会主办“纪念世界文化名人”活动。纪念泰戈尔那次，因为作家中很少有人熟悉泰戈尔，林绍纲和同事专门去找了研究泰戈尔的专家，分析他的生平和作品，写出报告和发言稿。

《喀麦隆交通事故37人死亡 埃及交通事故6人死亡》评论家黄秋耘写了很多当时看来完全够右派资格的文章，林绍纲至今记得他有一篇文章叫《刺在哪里》，文辞严厉。但邵荃麟是黄秋耘在香港做地下工作时期的老领导，对他知根知底，党组会上将他力保了下来，只做留党察看。