故事发生在1935年的上海。在马路上谋生的又一天生活结束了，乐队的吹鼓手小陈、报贩老王、理发师、失业者、小贩这几个“有难同当、有福同享”的把兄弟组成的“雄赳赳”的队列，来到太平里低矮的小阁楼。小陈和老王的住处正好与邻居小云、小红姐妹的住处对窗而临。这姐妹俩因家乡失陷，从北方流落到上海，被一个琴师和他的鸨母妻子所霸占，从此过着不堪忍受的苦难生活：小云为鸨母卖笑赚钱，小红则终日随琴师出入茶楼酒馆卖唱。
天真无邪的小红与机灵诙谐的小陈两情相悦，经常临窗以歌声和琴声传递情意。而内心经受着重创的小云也在暗中恋着小陈，但小陈却因小云干的营生而瞧不起她。只有老实善良的老王很关心小云。
一天，小红随琴师去酒楼卖唱，被流氓头子古成龙看中，他便买通了琴师要把小红占为己有。琴师和鸨母见钱眼开，决定把小红卖给古成龙。小红深知自己将遭厄运，只好同姐姐一起和小陈、老王商量。老王在墙壁上旧报纸上看到了一则“养女告鸨母”的消息，便心生一计，和小陈一起去找律师，可是当律师告诉他们打官司需要500两银子时，他们才意识到“打官司还要钱”。老王左思有想，从旧报纸上撕下一个“逃”字递给小陈。小陈恍然大悟，于是在兄弟们的帮助下，他偷偷地把小红接出来，搬到了别的地方，并且结为夫妻。
小红被救出了魔窟，可老王还惦记着小云。他劝小云也逃出来，小云却没有勇气。一天夜里，小云在街头被警察追赶，情急之中逃到了小红的住处。从此以后，小云也在这里住了下来，并将自己对小陈的爱意转移到了老王身上。几个人在苦难的生活中寻求乐趣，在黑暗的现实中互相扶持。
报纸上登载着巨额白银出口的消息，各行各业都不景气。理发师为理发店将要歇业而发愁，为了不使理发店关门，小陈和老王又吹号又敲鼓，颇有声势地帮忙招揽生意。
琴师夫妇和流氓古成龙一直因为小红和小云的失踪而耿耿于怀，他们终日四处搜寻。琴师这天刚好从理发店经过，看到了小陈和老王后，暗中跟踪，找到了他们的住处。第二天，琴师就纠集了古成龙等恶棍前来抓人。正巧这时老王和小陈都出去了，小云从窗口发现他们后，便掩护小红越墙逃走，自己却在与琴师的搏斗中被一刀扎中。古成龙一看要出人命，抽身溜走。琴师见状心虚，也逃之夭夭。
等到老王他们闻讯赶来的时候，小云已经奄奄一息了。老王焦急地吩咐小陈等人照看一下小云，自己跑出去找医生。可当老王因钱不够医生不肯来而无奈地回到家里时，小云已经含恨离开了人世……
