荔枝的历史就是岭南文明、文化与中原地带的交流史，也是中国与外国的文化交流史。
荔枝作为中国华南地区的特色美味水果，已有二千多年的栽培历史，广西浦北和六万大山南面的合浦堂排就曾出土过西汉的荔枝皮、核。中国最早记载荔枝的文献是西汉司马相如的《上林赋》，文中称荔枝为“离枝”；赋中这样形容栽培荔枝的盛况，说是“邱陵，下平原……煌煌扈扈，照曜钜野”。公元一世纪后期，荔枝仍然很难为内地所见，因此被列入《异物制》，正式得名“荔枝”。一般相信荔枝是源自中国南部的野生森林。公元三世纪时张勃着的《吴录》有“苍梧多荔枝，生山中，人家亦种之”的记载。苍梧便在今日的广西境内。现在广东，广西及海南的原始森林中仍然可以找到野生的荔枝树。《西京杂记》中说：刘邦称帝时，收到南海尉赵佗自岭南进奉的荔枝，很高兴，还报之以蒲桃。公元前116年，刘邦的曾孙刘彻攻破南越，取岭南荔枝百株移植到陕西，建“扶荔宫”一所，后因风土不适，终止移植。
《东观汉记》中记载：“南海旧献龙眼荔枝，十里一置，五里一堠，奔驰险阻，道路为患”，这种情况一直延续到东汉。由此可知，在汉代荔枝作为一种珍贵的果品已为中原人所知，而且可以推断出当时的荔枝品质优良，为统治阶级所垂涎。
根据《唐书•地理志》记载，在唐代，荔枝由于其特有的美味，再次被当作贡品，这种名果为人尊崇又达到一个高峰。原因之一，是盛唐时期深受李隆基宠爱的杨贵妃特别喜爱这种美果，年年都要岭南进贡，加上杜牧的著名诗篇“一骑红尘妃子笑，无人知是荔枝来”的流传，更让人对荔枝的美味倾心。唐代著名官吏和诗人张九龄、白居易还分别写了《荔枝赋》和《荔枝图序》。由于统治者和官吏的重视，当时的育种水平不断提高，《北户录》记载当时已经出现了无核荔枝。唐代的本草著作《本草拾遗》也对这种美味的热带水果作了著录。
宋代的时候，荔枝的名声进一步大增。这一方面由于当时的育种水平有了提高；另一方面还得力于荔枝产区学者的努力。特别值得一提的是当时蒲田人蔡襄写下了现存最早的一本荔枝专著——《荔枝谱》。书中记述福建所产的荔枝达到32个品种，对荔枝的特点和产地，以及各地所产荔枝的优劣进行一番评价。
荔枝在明代栽培更盛，根据明徐渤《荔枝谱》记载，福州郊区的凰岗一村就有很多的品种，而荔枝树的数量竟有数百万棵。当时的栽培育种取得了很大的成就，邓道协《荔枝谱》记载:“荔枝原无用核种者，皆用好枝刮去外皮，以土包裹，待生根如毛，再用土覆一过，以腊月锯下，至春遂生新叶”。从这种技术中我们不难看出古人在果树繁殖方面显示出的高超艺术，栽培荔枝是通过高压条繁殖的。据曹蕃《荔枝谱》所言，当时“种植蕃衍，品格变幻，月盛日新”，新的品种不断涌现。随着荔枝生产的发展，品种的增多，有关的专著不断涌现。其中徐渤的《荔枝谱》记述了许多对后世影响深远乃至今天还在栽培的品种。
广东栽培荔枝兴盛起来大约是明清时期的事情。根据有关记载，明清时期，广东珠江三角洲栽培龙眼和荔枝非常普遍。在华南的那些地方不但栽培历史悠久而且名品繁多。清屈大均《广东新语•木语》还记载，人们在长期的育种过程中，逐渐培育出分别适合在水边栽培的“水枝”和山中栽培的“山枝”两种不同的生态型。因此有所谓“近水则种水枝，近山则种山枝”。一般“山枝”后熟。同书记载，山枝的优良品种很多，如挂绿、马口铃、春荔、水浮子、露花、小华山、绿罗衣、尚书怀、公领孙、丫髻、将军荔、状元红等。
解放后荔枝得到了缓慢的发展，但在文化大革命期间荔枝生产也同样遭到了破坏，以广东省为例，1965年荔枝产量为4.81万吨，1975年为1.55万吨。党的十一届三中全会以来，国家对农村进行了经济体制改革，实行家庭联产承包责任制，并逐步对部分农产品进行了流通体制改革，给予了果农生产经营自主权，给水果业发展注入了生机与活力，促进了水果业的发展。荔枝是中国传统名优水果，发展尤为迅猛，1985年全国荔枝栽培面积不足10万公顷，经过二十年的发展，2006年达57.04万公顷，产量也由原来的10万吨，发展到现在的150.80万吨，一跃成为全国第四大果树。与此同时，有关荔枝的科研也在不断的深入开展，荔枝新品种、生产新技术不断得到推广应用。
中国的古籍中荔枝最初称作“离枝”。据考证，一般认为荔枝是源自中国南部的野生森林。现在广东、广西及海南的原始森林中仍然可以找到野生的荔枝树。
在灵山县伯劳镇，现在还有两棵野生荔枝，当地人叫山荔或酸枝，志书又称其为火山荔。从植株形态、果皮龟裂片形状、果实肉薄且包不过核、肉核难分离以及味酸等特征来看，它们是原生的，是栽培荔枝的原种。
另据史料记载，公元前2世纪汉朝刘邦称帝时，南海尉赵佗以荔枝进奉。公元1世纪的《民物志》、3世纪的《广志》中，荔枝都是作为岭南物产登录在册。由此可见，荔枝在中国南部的栽种和生产已有两千年的历史。
在宋朝，灵山香荔在中国物产和文学史上曾两度闪射耀眼的光彩。著名文学家苏东坡从海南岛的儋州流放地北归逗留合浦期间，品尝了从灵山送去的这一佳果后，留下了脍炙人口的“日啖荔枝三百颗，不辞长作岭南人”的千古佳句。宋神宗皇帝吃过大理寺丞梁世基从西江南岸老家送去的这一珍品后，亦欣然赐诗：“横浦江南岸，梁家间世贤。一株连理木，五月荔枝天。”
在今日的中国，广东，广西，海南，福建，四川，云南及台湾都有种植荔枝，大约是从北纬18度至北纬28度都有。中国以外很多国家亦有种植，近者东南亚大部份国家如越南，泰国等都有荔枝出产，远者地球另一方的美国佛罗里达州及加利福尼亚，及澳洲的昆士兰亦有引入荔枝裁种。
在国外，欧洲、美洲、亚洲、非洲的几十个国家也产荔枝，但都是直接或间接从我国引入栽培的。
《荔枝谱》中国古代有关荔枝的专著。北宋书法家蔡襄(1012～1067)撰。成书于1059年。书中论述了福建荔枝的栽培、服食、加工和品种。全书按专题分为以下7卷。①阐述天下荔枝唯福建、广东、南粤、巴蜀有之。真正良种产于福建的4个郡，其中福州最多，兴化军特奇、泉州和漳州亦知名。②介绍兴化军的风俗，凡园池胜地，只种荔枝，其中陈紫品种色香味最佳，天下第一。③叙述福州种荔枝最多，甚至一家有万株的。商人将荔枝加工品外运，陆路至京师、北戎、西夏，船行到新罗、日本、流求和大食，莫不爱好。④认为食荔枝对人体有益无害，有人一天吃千颗，也不生病。⑤介绍种植技术。例如荔枝新苗畏寒，冬季要覆盖；长成后，春天开花,色白,每隔一年开花一次，叫作歇枝。⑥介绍加工方法。有红盐法、白晒法和蜜煎法等。其中白晒法的制品色黄白而味美，用于进贡和销往外地。⑦列出福建32个荔枝品种的成熟期、果实大小、颜色、香味浓淡、酸甜程度等。按品质排列顺序，领先的12个优良品种是陈紫、江绿、方家红、游家紫、小陈紫、宋公、蓝家红、周家红、沙家红(前9种以种植者的姓命名)、法石白、绿核和园丁香。其余20种未按品质排顺序，它们是虎皮、牛心、玳瑁、硫黄、朱柿、蒲桃、蚶壳、龙牙、水荔枝、蜜荔枝、丁香荔、大丁香、双髻、真珠、十八娘、将军、粉红、中元红、火山和绿荷包。书中对每一品种的特征都有简要的说明。