吕氏出自姜姓，相传炎帝之后有伯夷者，佐尧掌礼，使遍掌四岳，号为太岳，又佐禹治水有功，命为侯伯，后赐四姓，以绍炎帝之后。其一封于吕国(在今河南省南阳市西部)，历夏、商，世有国土。周文王聘为帝师，帮助武王伐纣建立周朝的吕尚(姜子牙)就是吕侯的后裔。周宣王时，改吕国为甫国。春秋时，被楚国所灭，其后代以吕为姓，或散处海滨，或散居韩、魏、齐、鲁。魏徐州刺史、万年亭侯吕虔之裔孙行钧，世居河东郡(秦初置，相当于今山西省黄河以东夏县一带)，衍为大族。吕行钧四传至吕湮，唐肃宗朝为相。吕湮后裔吕占，字竞茂，于唐末由河东徙居福建泉州晋江七都曾埭草垵居住，是为吕氏人闽始祖。
晋江吕氏在宋代成为一个簪缨世家。六世吕晏，号天申，初为泉州府助教，后官至工部侍郎，累赠尚书，住泉州相公巷。吕晏子二，长璃、次鑑，俱登进士。吕璃字季玉，曾任漳浦县令、宜州通判等职，为官清廉，有善政，历官至光禄卿，封中都县开国子，赠金紫光禄大夫、太师、鲁国公。吕(左王右寿）生有十子：惠卿、德卿、温卿、和卿、虞卿、康卿、谅卿、升卿、道卿、季卿，有八人登进士。族子修卿、仁卿、明卿、崇卿、裕卿、乔卿、夏卿、兴卿、俊卿等，亦皆有名。有宋一代，晋江吕氏先后中进士者37人，其中榜眼2 人，探花1人，解元1人，特奏名8人。其中最有名的是吕惠卿与吕夏卿。
吕惠卿(1032～1111)字吉甫，北宋嘉祐；占二年(1057)进士，王安石变法时，任太子中允、崇政殿说书，曾兼任经筵馆阁、制置三司条例司的检详文字，司农寺、国子监、军器监主管官员，还任过知谏院、知制诰、翰林学士和宰相府都检正，后升任为参知政事。是神宗皇帝一名重要顾问，王安石变法的核心人物。“事无大小，安石必与惠卿谋之”。惠卿学识渊博，能言善辩。文艺优通，以其才智积极从事变法活动。王安石罢相，他任参知政事，继续推行新法，被称为“护法善神”，招致保守派诬谤围攻。绍圣间贬任延安知府，为抵御西夏入寇，吕惠卿修米脂等寨以备，“寇至，欲攻则城不可近，欲掠则野无所得，欲战则诸将按兵不动，欲南则腹背受敌，留二日，即拔寨去。”表现他过人的军事才能。在元代编修的《宋史》中，吕惠卿被列入“奸臣传”，而今，对他的历史地位和作用已另有定评。
吕夏卿，北宋庆历二年(1042)进士，历经仁宗、英宗、神宗三朝，曾官江宁县尉，直秘阁同知礼院、史馆检修同起居注、知制诰等，是宋代著名的史学家，参加编修《新唐书》。《宋史》评价他： “学长于史，贯穿唐事，博采传记杂说数百家，折衷整比，取其精华。又通谱学，创为世系诸表，于唐书最有功。”
据《吕氏宗谱》，吕惠卿原住于安海西垵，他是宰相曾公亮的女婿，“因曾公亮之母求吕府西垵地归一重新为曾府”，吕氏再择地南安朴乡而建居。吕夏卿则建宅于泉州府城睦宗院西偏。吕氏因族大分支，除住泉城、迁南安的外，在晋江还分布于大房、古坑、黄塘、梅屿、小桥、后亭、内市、南坑、西仓、罗裳、乌浔(科任)、湖尾、莲塘等村落。并迁徙于本省的浯州(金门)、漳州、永春、德化、永定、龙岩、同安、兴化、惠安、安溪以至四川、湖南、台湾等地。
宋元交替时，蒲寿庚举泉州降元，命名儒吕大奎书降表，吕大奎抗拒不从，其族遭到镇压，涣散各方，族谱亦遭兵火煨烬。至明嘉靖年间，族人儒林郎古林氏再修族谱，万历间孝廉震夏氏又重修。清乾隆五十一年(1786)，吕氏合族在泉州三朝铺元老坊顶，即吕夏卿故宅地建造大宗祠，集各房谱参互考订，修撰《吕氏宗谱》，并编“名行”、“字行”诗篇，以使子孙姓名字号划一，昭穆有别。自二十六世起，名行为：“肇启原悠裕，承基尚振荣，联辉培吉士，济美树芳声，惠迪仁为质，因心义以行，礼真谦则益，智远静斯清，广业宜修德，光前在显名，嗣徽余庆集，永序自观成。”字行为：“尔甫希贤哲，于兹毓俊良，子孙敦本实，伯仲炳文章，若汝忠惟允，如余孝有常，立廉存素志，秉节植宏纲，登仕才猷著，经邦体用彰，云扔循祖法，奕世锡嘉祥。”
深沪镇科任村吕氏是晋江吕氏较大的一支，现有人口1600 余人，自清代即建有吕氏宗祠。祠堂于1981年就原址重建，坐西向东而大门向南。墙壁悉以细琢条石砌筑。塌寿大门两旁装嵌青石镌刻“菲律宾渭水吕氏家族会重建宗祠志，，石碑，腰堵、水车堵装饰雕花青石。大门镌联：“源宗渭水帝师世，派衍洛阳宰相家。”横额是“渭水流芳”。门前三级石阶，外铺石埕，埕角立着旗杆。
祠堂大厅面宽三间，进深三间，前有天井、两庑(右庑开大门)和下厅。大厅石柱镌刻联文：‘‘理学绍薪传，致知格物崇朱子；孤忠殉国难，取义成仁比信公。…‘十农工商，一字认真便是祖宗肖子；忠孝廉节，四德克尽堪称天地完人。”下厅也镌一联：“百代不忘相公巷；千秋犹忆古人家。’’左庑壁间，刻着“温陵晋邑科任吕氏家族字行”。大厅内隔出安放神主的神龛。义在案桌上摆着一座神橱，内供炎帝与姜子牙的塑像。因为炎帝为吕、卢、高、纪、许诸姓的共祖，科任许氏与吕氏每年轮流奉祀着炎帝的神像。
据《科任吕氏家谱》，其一世祖名藩京，即开闽吕占公十九世孙，吕夏卿派下第十一世。元末明初来居乌浔。藩京生二子：志益、志皋。志皋生三子：望毅、望旭、望晃，“望毅号五世，与宗弟吕谓玉买田园承住乌浔……弟望晃．号三才．永乐二年乘舟商贩洲林兜，居住后口口端，又移烈屿。望旭踵吕正七甲之门．见毅，私备白金数两买吕开田屋与同居住。”“志益开店，出祖浮。生一子望珍，娶乌浔吴氏。于洪武二年……珍生七郎而吴替，堂兄望毅直到浮桥指点，据住吴宅，聚首相依，同心协力。承吕正七甲……” 乌浔地处深沪南面，濒临大诲，明代设有乌浔巡检司，筑有司城。是处土地瘠薄，居民多以航海经商或捕鱼为业。故吕氏很早就有一支因经商移居金门，且发展甚蕃。而自清康熙年间开始，吕氏多有东渡台湾谋生者。如《科任吕氏家谱》记冠姬公派下二房就有：
十三世：伯泰公四子胤尾公(1717—1761)，往台湾身故。
十四世：孕满公次子鸿蒲，往台身故，生卒莫详。
十五世：标正公(1751--1790)，考殁在台湾。
标什公，移居台湾。
标业公(1745—1802)，往台湾身故。
十六世：炳皓(1792—1857)，妣沈氏，名于京，谥恬静，台湾淡水女。
炳乞公，字于介(1796--1832)，殁在台湾。
炳增公(1820--1863)，考往台殁于海。
炳月公(1812～1880)，考殁于台湾。
炳同公(1820—1859)，考溺于澎湖内。
十七世：培治国，在台湾身故。
培贵公(1844～1863)，考随舟往台经商，装货西渡，殁于狂浪。
培想(1835～1863)，考往台湾身故。
据以上记载，可见科任吕氏历来凭借沿海之便，频繁东渡台湾。现在，与家乡有联系的迁台吕氏族人己有数十人。台北的吕进发先生，不仅缅怀祖家，而且热爱祖家的传统文化“南音”，和他的夫人在台湾组织“闽南乐府”南音社，几年来多次带团回大陆交流献艺，并且数次到科任为族亲们演唱。