石器时代，我国的先民们在打制石器工具时，就从石块中区分出“石之美者”，并将其琢磨加工，作为原始装饰和器物，这便是宝玉的滥觞。浙江余姚河姆渡遗址第四文化层发现的28件用玉和萤石制作的装饰品，是我国迄今发现最早的玉饰件，它们的年代距今约7000年。良渚、红山、龙山文化时期，已初步形成了我国的玉文化体系。一些考古学家认为，中国在石器和青铜器时代之间有一个玉器时代，形成了一个北起燕山、南到广东的新月形文化圈。
中华人文始祖的轩辕黄帝，以玉分赐部族首领，作为享有权力的标志。自先秦时代，祭祀朝聘，礼仪大典，都非玉莫办。《周礼·春官·大宗伯》云：“以玉作六瑞，以等邦国。
王执镇圭（一尺二寸），公执桓圭（九寸），侯执信圭（七寸），伯执躬圭（六寸），子执谷璧，男执蒲璧。”在商周，玉为礼天祀地之礼器，据记载：“以玉作六器以礼天地四方，以苍璧礼天，黄琮礼地，青圭礼东方，赤璋礼南方，白琥礼西方，玄璜礼北方。圭璧以祀日月星辰，璋射以祀山川。”以后历代许多帝王的“传国玉玺”，都是以玉刻制的。我国皇帝秦始皇，就是用“白”、“玉”二字组成的“皇”字表示他拥有最高的权力，并用古代最有名的“和氏璧”制成传国玉玺，他临终还要他的儿子到宗庙里郑重地接受。
夏商周三代有专治琢玉的“玉人”，掌握玉器的“玉府”。
商代是嗜玉的时代，奴隶主贵族佩玉、玩玉的习俗很盛，不论男女，都要佩带玉饰。玉制的礼器种类增多，有璧、琮、圭、璋、璜等，并出现了玉制的生产工具和戈、矛、戚、钺、刀等仪仗用器。有的青铜器上也装配有玉质部件。在玉雕工艺上，商代已掌握了阴刻、浮雕、圆雕、透雕等方法，并首创了立体玉雕人像和各种动物。周武王灭商时，“得旧宝玉万四千”。可见商代制玉发达的程度。从殷墟“妇好”墓出土的玉器，最能说明殷人嗜玉如命。墓中共出土750余件玉雕，奇姿异态，种类多样，包括礼器、仪仗器、工具、生产用具、装饰品及艺术品等，其中的龙、凤、虎、熊、牛、鹿、狗、兔、鹤、鹦鹉等动物，形象生动，造型简练，运用了夸张、变形等艺术手法，十分精湛。殷人爱玉，但中国的东半部并不产玉，那些玉石材料大部分来自西域和田。为了玉石贸易，以和田为基点向东向西，在公元前13世纪时即已形成一条“玉石之路”，它比世界闻名的“丝绸之路”早1000年。
周代，玉器被蒙上了一层神秘的色彩，孔子言：君子之心如玉。古书上说玉有“六德”，它“温润而泽比于仁；缜密以栗比于智；廉而不刿比于义；垂之如坠比于礼；扣之其声清越以长，比于乐；瑕瑜不掩比于忠；孚尹旁逵比于信”，玉德比君子，完善得无以复加，故有“君子无故，玉不去身”之说。冠上的“旒”，是一串串小圆玉；发髻上的笄，用玉制成；
服饰所用的佩玉和带钩都是玉石，人死后口中要放“玱玉”，贵族死后脸上覆盖“缀玉面罩”，汉代死者有金缕玉衣。凡国家祭祀、宴飨、朝礼、聘礼、无一不用玉；自天子至庶人，未有身不佩玉者；国家重典，社会礼文，未有不以玉成之。真是无处不用其玉。
玉在文化中也起着重要作用。在山西侯马晋国的祭祀坑中，玉圭上留下不少朱书盟誓文字。战国行气铭玉珮上，周身刻有“行气”铭文，是我国最早关于气功运动的记载。《诗经·淇澳》中的“如切，如磋，如琢，如磨”，记载着古代的制玉方法。一些美好事物总是与玉联系在一起，在一些词语中广泛地流传下来。例如称颂人才为“璠玙器”、“怀瑾握瑜”；颂扬一个人的操守，为“宁为玉碎，不为瓦全”等。
硬玉中的翡翠，呈柔润、娇艳的绿色，有“玉中之王”的美誉。翡翠极为珍贵，以前多为帝王豪富所占有，慈禧太后殉葬的珠宝中就有大量的翡翠是珠宝、首饰、玉器、古玩中的上品。我国翡翠工艺品载誉世界，早在30年代琢成高七尺的翡翠塔，在美法等国展出，轰动一时。
我国自古视玉为宝，西周金文中的“宝”字，就是室内藏有玉和贝，素有“金有价，玉无价”之说。战国时，楚人的和氏璧价值连城，唐代的夜光杯，明代的“一棒雪”梅花玉杯，在文学中流传着脍炙人口的故事。今天，北京故宫珍宝馆中展览的《大禹治水玉山》，重达5300公斤，是用整块巨型碧玉雕成，其上层峦叠嶂，古木苍森，众多人物在劈山开石，费时十年完成，是我国玉雕之冠，有“玉王”之誉，被列为一级国宝。1989年间问世的举世瞩目的翡翠四宝，琢技新颖，旷世无比，亦定为国宝。
秦汉之际，礼制丕变，玉器的政治、宗教意义为之大减，但玉的神秘色彩却大增。方术之士认为，玉可为生者避邪，为死者保尸。《后汉书·礼仪志》规定，皇帝死后用金镂玉衣，列侯始封、贵人、公主用银缕玉衣，大贵人、长公主用铜缕玉衣。大贵人、长公主用铜缕玉衣。魏晋南北朝时期，炼丹大盛于时，“食玉”以求长生之风也随之兴起，并延及隋唐。
早期玉器的礼仪观念和美学价值消失殆尽。宋代，徽宗嗜玉成癖，精巧仿古玉器层出不穷。明代御用监设有玉作，专为皇室制作玉器。苏州是著名的民间玉雕产地。清代玉琢业更见发达。
玉石中含锡、锌、锰等微量元素，佩玉长期接触、按摩人体，有利于体内各器官功能的平衡，但尚未证明食玉能被人体消化吸收。事实证明，以玉保尸也无任何科学根据。
正如英国著名自然科学史家李约瑟博士所说：“对于玉器的爱好，可以说是中国文化特色之一。”
