一般认为，客家人多住丘陵浅山，是因为他们晚到台湾，近来史家发现，早期开发北部平原的许多客家先民，其实是为了追逐茶叶、樟脑等「新兴产业」的利益，才转往桃竹苗山区。新竹县关西镇，农作以茶园为主，是今天人们眼中典型的客家庄。
而被视为首先在台开疆垦荒的郑成功，手下部将多的是客家人。郑氏家族可以在台湾维持三代，台湾史学者津津乐道其中原委，就因为有陈永华、刘国轩两位广东客家人，一文、一武的辅佐明郑政权，陈永华更被视为奠定台湾汉文化基础的第一人。 至于较晚开发的东北部，乾隆末年吴沙拓垦宜兰平原，招徕的是包括粤、泉、漳三籍人士。今天被视为「福佬」地区的宜兰平原，拥有三十四座客家三山国王庙，高居全台第一。 除客家大本营新竹、苗栗、屏东，台湾现有的一百多座三山国王庙，分布扩及北部宜兰、中部彰化、云林以至嘉义等非客家县市。「宜兰冬山乡、员山乡几乎是一村一座，」根据客家文化工作者杨国鑫的查访结果，台中丰原也有三座，若非具有相当人数、财力，新移民是无力盖庙的，「可见早期丰原市住了不少客家人。」
只见闽人笑，不见粤客哭？
在十七、八世纪，客家人开发台湾西部平原的贡献不下于闽南人，人口也约略相当。十八世纪中叶后，形势骤变，闽南人遽增，客族日渐落居下风，终于成为只占人口百分之二十的「弱势团体」。 客家人在台湾为何成为少数族群？过去认为，台湾在光绪建省之前，一直归福建管理，闽人因行政、地理之便，来台人数自然占多数。
但近年来从事台湾史研究人士不断搜集史料，认为康熙二十三年清廷颁布的「渡台禁令」是最早影响台湾闽、客比例的决定性因素。 康熙年间，施琅击灭试图反清复明的郑氏家族后，上奏〈台湾弃留疏〉，剖析台湾在海防的重要性，清朝将台湾回收入版图，设置郡县。 施琅是福建晋江人，他一面陈述台湾的重要，却又提出三条渡台禁令，除要求渡台者须先经官方批准，禁令第三条特别指陈：「粤地屡为海盗渊薮，以积习未脱，禁其民渡台。」身为客家人的台北商专副教授范振乾认为，施琅吃尽郑氏家族两位客家部将的亏，因此在击败郑经后，对粤客展开报复，刻意打压客家族群。 根据连横《台湾通史》记载，渡台禁令之后，闽南成为台湾主要移居人口，大量施姓宗族成员也纷纷来台垦殖。连横就称康熙末年在台湾中部开凿施厝圳、富甲一方的施榜是「闽台第一家」。
针对施琅以广东多出海盗，禁止粤客来台，范振乾认为，这是施琅为图一己之私的藉口。当时清朝疲于三藩之乱，加上施琅收复台湾居功厥伟，因此台湾政事全交由施琅处理，许多客家人因此被原船「遣返」大陆，有些人逃进山区。直到乾隆末年，渡台禁令正式解除，一百年里，客家人与所有台湾早期移民一样，除面对地理屏障「黑水沟」，必须与「六死三生一回头」的命运一赌，官方禁令的落井下石，让客家人渡台倍加艰困。 「劝君切莫过台湾，台湾恰似鬼门关。千个人去无人转，知生知死都是难，就是窖场（坟场）也敢去，台湾所在灭人山（必死无疑） ……」长期从事客家民俗采集的黄荣洛，在民国七十五年发现客家人移垦台湾的山歌诗「渡台悲歌」。 今天鹿港民俗文物馆展示的一块碑文上，记载当时航运由闽南人操控，港口抽收规费，由于海关人员多索红包，加上省籍歧视，常故意刁难广东籍客家人，于是乾隆五十五年客家籍医生徐道、廖霖等人联名呈请台湾兵备道，严禁对客家籍人加索规费。
台湾最早的「民间组织」？
渡台禁令加深客家移民渡台的辛酸，但客家在台湾分布图的形成，原因复杂，一纸禁令尚不足以说明。 最早从事著述台湾客家史的陈运栋指出，渡台禁令虽阻碍惠、潮客家人来台，但广东北部嘉应州蕉岭、梅县的客家人却转道福建，登陆台湾南部，成为早期客家迁台的主要族群。 康熙前后在台湾西部平原上与漳泉人士扮演同等份量的客家人，也并未就此销声匿迹，高屏「六堆」客家人组织就是重要例证。但过去人们对历史的认知不足，误以为客家人因禁令完全退出台湾西部平原的开发舞台。
在早期不安定的移民环境中，客家村落为了自卫，常设防御门楼。高雄县美浓镇的东门楼，是为了防御当时平埔族的入侵。
