两岸具有实际意义的直接接触、协商和谈判，始于1985年5月的“两航”（中国民航与台湾华航）谈判。此后，随着两岸各种交流的日益扩大及由此衍生问题的不断增多，两岸间围绕具体、个别的事件或问题进行接触、商谈也越来越频繁。例如，1990年7月，台湾海峡发生两起悲剧，台湾当局用船舱被钉死的小渔船驱返二十六名大陆偷渡渔民，其中二十五人被活活闷死；8月，又改用军舰押送大陆偷渡渔船，行驶到海峡中线时，军舰掉头返航，一下子把渔船撞沉了，二十一人淹死。四十六条人命促使两岸红十字会坐到一起，紧急商议遣返事宜，9月即签署《金门协议》。这是1949年以来两岸官方授权民间团体签订的笫一个书面协议。1991年8月，中国红十字会总会代表曲折、庄仲希，及大陆两位新闻社记者范丽青、郭伟锋完成历史性的首次访台，化解了两岸在交涉处理“闽狮渔事件”过程中的僵持局面，使两岸关系跨出了一大步。

    但是，这些就一时一事随机式处理的方式，很难适应两岸关系现实发展的需要。长期以来，由于缺乏有效的运作机制，两岸许多事务性问题得不到妥善处理。这样，呼唤建立有效交流、协商机制的“汪辜会谈”就应运而生了。

    1990年4月，中国刚经历了一场政治风波，美国宣布对中国进行经济“制裁”，海峡两岸的关系也较前显得紧张而转入冰点。正是在这时，华东师范大学哲学系接待了一位来自台湾地区的客人——台湾著名学者南怀瑾先生的弟子张尚德教授。张尚德是台湾地区著名的禅门宗师，此行有意在内地委托一家印刷厂印制禅学研究书籍，在祖国大陆进行交流。听说张先生还带有巨额投资意向，欲寻与上海市主要领导会面的机会。他是带着其师南怀瑾先生的嘱托而赴大陆推动两岸关系的接触的。

    4月26日上午9时，张尚德教授在地处上海市中心附近的华侨饭店九楼松鹤厅作了整整一天的“禅的超越性”报告。下午4点半，在报告会接近尾声时，只见汪道涵轻车简从，仅带了方秘书一人从黑色的奥迪车上走出。华侨饭店即刻安排工作人员在最短的时间内将大宴会厅隔出一间小会客厅，并将汪道涵、张尚德教授引入会客厅。

    两人进行了两岸历史性的对话，对话主旨从佛学、禅宗、投资到中国传统文化、天地、祖宗，再到孙中山、博爱、天下为公、制度、主义、信仰、和解，渐渐地进入了两岸关系……汪老谈得兴趣盎然，原打算一个小时的会见又延续了半个小时。最后，汪老风趣地笑吟了一首客家民谣赠张尚德先生的秘书（吴秘书祖籍系广东梅县客家人）：“临别赠送酒一杯，望君早日衣锦归；路边花儿切莫采，家中还有一枝梅。”

    这次上海会面之后，两岸加快了民间交往的步伐。张尚德回到台湾后发表在达摩出版社的回忆文章中提到，进入大陆前夕，在南怀瑾先生香港的寓所中，两岸密使已在接触。在一篇讲“汪辜会谈”台前幕后的文章中，张尚德的大陆之行被称为“汪辜会谈”的幕后举动。

    1990年11月21日，台湾海峡交流基金会正式成立，并于翌年3月9日开始挂牌运作，作为台湾方面负责两岸交流的“民间中介机构”。前国民党中常委辜振甫先生出任该会首任董事长。

    1991年12月16日，大陆海峡两岸关系协会宣告成立，这是以促进两岸交往、发展两岸关系、实现祖国和平统一为宗旨的民间团体。首任会长是曾任上海市长的汪道涵，名誉会长是荣毅仁。