吴晗故居坐落在上溪镇苦竹塘村，由吴晗的父亲吴瑸珏于1924年所建。前廊式天井院砖木结构建筑，占地面积463平方米。故居坐北朝南，面阔五间，整体建筑大体上呈“凹”字形，呈轴对称分布，上下两层，由正堂、边房、两厢及花园组成。整个建筑南立面山墙融合了西洋式建筑的装饰风格，具有民国时期建筑的时代特征。
吴瑸珏是清朝末年的秀才，一生爱好文史，能诗会赋，写有一手好书法。生长在书香世家的吴晗自幼对书籍涉猎颇广。家里的书斋“梧轩”珍藏了许多文史类的线装书，这为吴晗的启蒙提供了广阔的学习天地。
6岁时，父亲请客人饮酒，让小吴晗也陪客。客人要试试吴晗的才学，随口而出:“橱中又无美酒好菜，何必请人饮酒!”吴晗眨眨眼，笑盈盈吟道:“橱中无菜市中有，饮酒何必杏花村?你们都说读书好，我谓耕者比我高!”
吴晗出口成章，儒雅之气度实让客人吃惊，一时传为美谈。人们认为吴晗日后必成大器。吴晗7岁时，父亲将他送至金华傅村私立育德小学上学。教他语文和历史的老师杨志冰，很器重他，认为吴晗有一目十行、过目不忘的惊人才华。有一次，杨老师看吴晗上课时似听非听，就罚他“站”，要他复述课文。不料，吴晗不慌不忙，将2000多字的《祭十二郎文》流利地背诵出来，使老师和同学大吃一惊。
随着年龄的增长和知识的渐丰，家里的书斋已经满足不了他学习上的需求，他便开始向附近和邻村的人家借书。因为读书又多又快，吴晗在当地有“蛀书虫”的称号，每次去别人家借书，常常在回家的路途上便把书看完了，然后又立刻折返回去还书。书主人对此十分惊奇，便去考查他看书的效果。每每吴晗都能把章节大意完整不落地表述出来，令人大为赞叹。
1925年中学毕业后，因为家中经济问题，吴晗只能停止学业回乡在本村的椒峰小学教书，把学到的知识反哺给家乡人民。1927年，他怀着强烈的升学愿望，不惜以出家相逼，毅然决然地离开了故乡，辗转从金华来到杭州，考入之江大学预科，从此再也没有回到苦竹塘。
从杭州到上海，从上海到北京，再到昆明，最后又辗转回来。吴晗走遍了大半个中国，一路学习知识、传授知识，一路为革命奋斗，撒下星星之火。上世纪40年代，吴晗和闻一多曾名噪一时，他们是国统区勇敢的持不同政见者，称为“一只凶猛的老虎”和“一头愤怒的狮子”。作为民主炮手的吴晗，不论是1945年5月3日出席联大“五四青年座谈会”发表的《论五四运动》演讲，还是同年9月出席昆明教育文化界庆祝胜利晚会揭露蒋介石欺人之语的演讲等，都是一个硬骨气文人字字诛心的肺腑之言。这些掷地有声的话语是坚船利炮，无畏地驶向国民党的黑暗势力，抨击他们的专制腐败。
抗战结束，1946年5月西南联大解散，吴晗回到上海，其间听闻李公朴、闻一多先后被暗杀的噩耗，深陷挚友之死的巨大悲痛中，怒不可遏，写下一系列文章痛斥国民党独裁、专制、暗杀的罪恶行径。挚友已去，国统区依旧黑暗无边，斗争还得继续，从此以后自己不是一个人在战斗，而是代表着故去的挚友和千千万万受苦的百姓在战斗。
在为民主战斗的过程中，吴晗在思想和心灵上与中国共产党越走越近，于1948年12月向党中央呈送入党申请书，并于1949年1月14日正式入党，从此开始了他作为忠实党员的人生。
在外奔走的吴晗心中仍然牵挂着远在千里的家乡父老，不时地从北京寄去书籍存放在家中供村民阅读，与家乡的恩师杨志冰保持着持续的通信，并于1954年担任北京市副市长之际给义乌县委写信，要求把家乡的房产捐献出去，做些力所能及的贡献。
吴晗故居遗留下来的老物件已经不多，仅有的木物件上，雕花早已残破不堪，都是“破四旧”的惨烈印记。作为文革中第一个被揪出来的人，残酷的折磨白天黑夜轮番而来，没有尽头，吴晗身上常常是旧创未平、新伤又起。儿女被迫与他划清界限，发妻袁震也被迫害致死，种种的苦难排山倒海地向他压来。1979年7月，北京市委为“三家村反党集团”冤案平反，为吴晗恢复党籍，恢复名誉。
故居正堂中放着吴晗的画像，左右两边方正地挂着廖沫沙书写的诗句“人生自古谁无死，留取丹心照汗青”。这两句话选自文天祥的《过零丁洋》。作为吴晗先生的挚友同时也是难友，相同的理想、相同的遭遇，此诗是最能体现他心境的。时光荏苒，吴晗最终达成了他“照汗青”的宿愿。他依旧是那个敢于直言，不畏艰险的“猛虎”吴晗，依旧是人民的公仆、党的坚定追随者。
