吴氏是闽南大姓，俗语谓：“陈、林半天下，吴、许占一半”。吴氏在晋江分布广泛，磁灶、安海、青阳、深沪、罗山、金井、龙湖、东石、池店、紫帽、陈埭、永和、英林各镇有吴氏聚居的村落80多个。他们分属不同支派，如梅溪磁灶“先举公”派，龟湖象畔“十一郎公”派，龙湖岱阳锡坑“浔阳公”派等，但归根溯源都以春秋时吴季札为祖。
史载，吴氏出自姬姓，周太王古公亶父有意让第三子季历接替王位，长子泰伯、次子仲雍善体父意，遂逃往东南荆蛮之地，建立吴国。子孙乃以国名为姓。季历得继周王位，传与子姬昌，即周文王。后来仲雍的十八世孙吴王寿梦生有四子，长诸樊、次余祭、三夷昧、四季札。季札聪明仁德，得父兄之爱，寿梦亦想让其继承王位，季札认为不合于礼，坚辞不受。于是诸樊兄弟体谅父意，相继而立，每人都准备将王位传给季札，季札始终谦让不受，以至逃避乡间。但季札并非藏拙，而是一个才能出众的人，他多次出使齐、郑、鲁、卫、晋等国，每到一地，总能见微知著，对其国政治提出独到见解，得到中原各国有识之士的敬服。故司马迁作《史记》赞他：“噫!若季子者，高风亮节，高人一等，岂后世一节一曲之士所可得而拟者哉!观其生蛮夷，行礼适义，闻乐知政，究观人情，深识国体，非学而知，天性然也”。季札的封地在延陵(故址在今江苏常州市)，季札的后裔，遂以“延陵”为郡望，以“三让”、“让德”作为堂号。
灵水吴氏是季札之后，元末有吴懒翁者，迁来晋江五都灵水乡居住，于明代繁衍成为当地大姓。与灵水吴氏发祥的同时，闽南有不少吴氏支派，如“福赐公之漳州镇海为祖，而代毓显人；士铭公在南安黄龙为祖，而称列右族；恭德公在龟湖仙锦为祖，而衍支逾茂；下浯以贵生为祖；围头以公名满者为祖；城东观下以公名敬者为祖”。只因上世经历战乱，旧谱散逸，灵水吴氏对于祖宗传承脉络已不可尽知。
明嘉靖四十年(1561)修《灵水吴氏族谱》，族人吴从宪作《延陵谱序》，叙其支派云：“按吾谱旧稿，有世祖、应祖者，兄弟殷富，自光州固始从王审知人闽，寄迹南台、兴化府塘下，再徙泉州晋江龟湖象泮加埭。其地七星山苏木之祥，旧传为莲叶出水，遂永卜居焉。此吴氏祖也。传至始祖懒翁，慕灵源山水之胜，复自象泮徙居灵水……” 主修《灵水吴氏族谱》的吴希澄则认为：“闽之吴来自光州固始，又闽之通姓。予家长史公始之闽长乐来，居泉之东门，公在元仕为长史，讳鑑，字明之，号虚白，墓在灵水墓庵山正中”。其由东门迁来之说又与象泮徙居之说有异。
吴从宪之子吴可承于明万历年间重修族谱，他曾到江西、福建各地调查家族源流，认为吴氏来自光州固始的说法不可靠，而是迁自四川。“自黄帝而下二十六世至泰伯，四十五世至季札，九十五世至蜀宣公(宣公行一，字守德，以蜀主孟知祥封驸马宣城公，公惧祸不测，与夫人孟氏揭家自蜀阆中县兰登谷迁江南，居抚州石井，复迁南丰祝家山金斗窠。)公长子纶，生十二子，其第十宝公方自南丰折入邵武府建宁县。”而后传建宁、长乐吴氏，再辗转徙居晋江灵水。
因祖辈事藐远难稽，灵水吴氏就秉取“谱其所可知，阙其所不知”的态度，将肇基始祖懒翁列为一世祖。 懒翁(1325—1387)名性，字志仲，元时居泉州东门，晚年携孙温明(1375一1443)移居灵源山(又称大鹏山)下，辟地葺草舍居住，其时山下居民鲜少，有柯、陈、方、李四姓同居住，山木蒙密，山虎为患，懒翁作《诮虎文》以祭山神，痛言：“吾念乡间，久不宁谧，鏖战之后，郡县萧索，百万馁鬼，啾啾坏壁……”求山神“备闻斯义，亟行并逐，毋或曲庇”。后虎果尽去，不复为患。乡人敬服，称他为“东门先生”。
灵水一带山色虽佳，奈土地瘠薄，吴氏传裔有从事农耕的，有从事海运贸易的。明初征科严苛，人多逃亡，也有人借航海之便逃亡台湾。如四世吴孜(1420～1498)，“在灵水，东皋(江苏如皋)两处建家，两处传衍”；吴敏，(1433一1509)，“衍传漳州海澄梧贯乡”。应为行船经商者。五世吴惠(1438—1487)衍传台湾，妻黄氏号顺简(1446—1529)，“卒葬台湾云天山”。黄氏是晋江族谱中记录的最早往台湾的女性。六世吴鉴(1465一1529)，早年带其三弟吴镒往台湾。吴鉴居嘉义县刘厝庄，吴镒居草湖庄。吴鉴晚年回家乡，在灵源山上设霁云书院，教授子孙，栽培了不少人才。
灵水吴氏七世吴希澄(1491一1573)，字克静，号泉滨，于明正德十一年(1516)中举人，授广东惠州府长乐县知县，是吴氏首中科举者。《晋江县志·宦绩》记他：“劝农桑，广积储，虽旱不害。民以情诉者进见无时，虚心晓譬，曲直咸平。以忤监司意，归隐灵源山下。”族谱记他：“壮年得官，即袖手以退，自力食于田。力衰，习古医方，翩翻岁月，不复知有人世矣。”王慎中曾赠诗日：“家在深山非避秦，相聚正值桃花春；近看道气眉间异，暗接心期语下亲。”
八世吴从宪(1522～1581)，字惟时，号鹏峰，明嘉靖三十四年(1555)中举人，四十一年(1562)中进士，初授行人，擢监察御史，巡盐浙江、巡按山东、浙江，出为江西副史、浙江参政。在任时“抑奸殖良，兴废去蠹，民吏怀畏”，巡按浙江时，冢宰张瀚授意从宪举其子乡荐，从宪不应，因此得罪张瀚，遂外转。从宪宽洪有雅量，为御史不作气矜张，中怀耿介。嘉靖末年，有晋江县令以御倭之后军饷不充为由，拟加征盐户钱粮充饷，吴从宪言诸当道，悉免不行。一时盐户皆感其德。
九世吴可远(1545—1594．)，字以毅，号近峰，从宪次子，授辽东司都事塞外参军，曾奉命出使高丽，高丽王魄遗数千金，毫无所受。万历二十一年转保定别驾，卒于官。 吴可官(1552—1629)，字以能，号葵云，从宪三子，任官粤右，署昭平邑，万历三十四年(1606)转襄阳参军。诸子孙随任人籍在襄阳谷城县。
十世吴淳夫(?一1629)，字复东，号犹三，万历三十八年 (1610)进士，官至太子太傅工部尚书，因依附魏忠贤被列入“逆案”，夺职归家。病死原籍，葬灵源山，墓地尚存。 值得宣扬的是，灵水吴氏与番薯在闽南的引种传播有密切关系。该族明代从事商贸海运者多有其人，如七世天叙，字克谱，谱记其“卒于商舶，年仅二十有八，生卒莫详。”八世际阳 (1536—1589)，字惟建，谱记其“练事明达，长于筹算……偕其长子三同航海吴越间，为什一计”。九世可鼎(1551—1599)，字以调，号逢源，“慕苏坑内山水幽胜，与堂叔玉山公共卜居焉，离祖屋里许，种果树数百株……晚得朱薯(番薯)一种，教人种植。今闽中处处有之，迄今饱其利，等若五谷，其功泽甚多。”首先引种番薯，传播闽南。后由闽南传播全国，其功厥伟。清末民初，灵水吴氏又以腌制“灵水菜脯”外销而扬名东南亚。 自懒翁肇基灵水，600余年来吴氏传衍蕃盛。嘉靖年间修谱，遂定自八世起，通族取定“讳行”为：“隆基垂裕，锡我鸿祉，宜体高恩，永绍徽美。”与其相对的“字行”为“懋德慎修，陶成瑞器，奇琛特达，龙文宝贵。”现已传至二十四、五世。
灵水包括前乡、后乡、曾林，加溜、田厝五个自然村，计有吴姓千余人。又历来随着族人仕宦、经商，迁徙传衍广东、广西、湖南、湖北、江西、四川、浙江、安徽，福建省内福州、泉州、漳州、南安及晋江本市东埔、庵上等村。侨居海外的遍及东南亚、美国、加拿大，以侨居印尼者最多。今海内外传裔已达数万人。 灵水吴氏迁台者亦甚多。除上述灵水吴氏五、六世于明中期过台湾的记录外，族人吴文启近年还广搜尚存的各房谱牒，整理出《晋江市灵水吴氏衍传台湾情况表》一份。综合各房记录，十一世往台湾的有吴启峻等4人，十二世往台的有吴廷异等6 人，十三世往台的有吴元读等22人，十四世往台的有吴士建等 48人，十五世往台的有吴世典等86人，十六世往台的有吴隆愿等73人，十七世往台的有吴基宣等32人，十八世往台的有吴垂基等6人。吴氏族人渡台的活动自清康熙年间至光绪年间没有间断过，而且多数聚居嘉义县草湖庄、刘厝庄。住台的族亲经常回乡探视谒祖，捐资修建大小宗祠祖厝，直至日本占据台湾之后，两岸关系被迫中断。而彼时居住台湾的灵水族裔已逾万人。
灵水吴氏现有大宗祠1座，小宗祠7座。其大宗祠吴氏家庙始建于明嘉靖四十年(1561)，是在吴氏始祖懒翁祖宇基地上兴建的。相传懒翁素习青囊之秘术，善识风水。迁居郡南时，曾踏勘多处，观其山龙，察其地气，试泉水之轻重、清浊、气味，寻求福地。因赏识灵源山水之秀，泉水甘香，令饮者神清气爽，且每瓢重于别处一两有余，故择此地居住。到则为文驱除虎患，得乡人敬慕。有李姓者，巨富数万，欲分给居宅财产，懒翁固辞不受，只求其菜地一蚯，构筑茅屋安身。此地坐落灵源山东南侧，靠近灵水源头，前有平地开阔肥沃，正是一处风水宝地。六世吴镒，人称“地中仙”，对此祖居极为推重，以为是福泽之区，龙脉结穴，建议起建祠堂，而体制“不宜过高，过高则尽阳；又不宜过大，过大则伤神；门前最忌壅蔽。”于是族人据其建议在此地建成三开间二落祠堂一座，奉祀懒翁及以下列祖。
历明、清至民国元年，祠堂几经重修，1986年海内外族人又鸠资按原貌进行重修。 祠堂坐西北，面东南，傍依灵源山，遥望石井江。门前有三级台地依次筑埕，视野开阔。一对旗杆竖立在第三级埕前。虽然祠堂是三开间建筑，却有气势：台基甚高，门前列五级台阶。中间特别开宽而左右次间略窄。凹寿前石柱镌联：“独麟献瑞于侧，双凤呈祥在前。”点明祠堂的风水佳地。大门挂木联：“周至德裔，明长史家。”门簪刻为龙首突出，托着红漆万字花纹为底的匾额，上书金字“吴氏家庙”。门侧木雕宝瓶夔龙窗，下安着一米多高的麒麟堵石，凹寿两边用青石线雕“四聘图”、“梅竹图”的对看堵，皆显得古色古香，与众不同。
祠堂内部结构也是门厅、天井开阔而两庑较窄。厅前廊安卷棚顶，作为拜亭，中厅地面比拜亭升高一级。厅柱、廊柱皆用粗大杉木，黑漆柱面，上书金字联对。如：“壶水锺灵花邑开气运，源山挺瑞绣斧破天荒。”“谱世家太史曾推第一；锺灵气瑞文上灼魁三。”“峰峙大鹏，蔚起人材锺瑞气；笔驱猛虎，保存民物著雄文。”皆古代文人撰写。祖宗龛前，梁枋之间挂满“大理寺卿”、 “三朝御史”、“太傅尚书”、“监察御史”、“四代一品”、“粤海金汤” 之类金字匾。厅梁中还悬挂着一副吴氏始祖季札的绸缎绣像，并绣有对联：“志异征诛三让两家天下，功同开闢一杯万古江南。”横批是“世家第一”。近年泉南各村吴氏轮流祭祀始祖季札，1988年，“延陵始祖诞辰2574周年戊寅泉南纪念会”就在灵水村吴氏家庙中举行。
久未沟通的台湾族亲与祖家开始有了联系。1986年灵水宗祠重修落成时，台湾世界商会副会长、吴氏正德宗亲理事长吴敦厚撰写一联寄来：“八闽孝子裔，三让帝王家。”1998年纪念始祖季礼诞辰2574周年纪念盛会时，吴敦厚又以台湾鹿港吴姓宗亲会理事长的名义寄来贺信及中堂一帧：“祐我无疆”。俗语“千里送鹅毛，物轻情义重”，台湾族亲的对联，贺信和中堂都得到灵水宗亲的重视，至今珍重地保存在灵水吴氏家庙中。