“西域”一词，最早见于《汉书·西域传》，是和张骞的名字分不开的。
汉武帝即位之初，从匈奴投降者的口中得知：在敦煌祁连山一带原来居住着月氏人，因遭受匈奴的攻击，被迫西迁到伊犁河流域，建立了大月氏国。不久，他们又被为了摆脱匈奴压迫而向西迁徙的河西地区乌孙人赶走，西迁中亚。因此大月氏对匈奴恨之入骨，时刻想回来报仇雪恨。汉武帝就想联络大月氏对付匈奴。当时西去大月氏的必经之路——河西走廊还处在匈奴的控制下，行程充满着危险。于是汉武帝公开招募能担当出使重任的人才。
张骞以武帝宫中郎官的身份应诏，汉武帝批准了他的请求，还从应征者中挑选了一百多名随从，其中有个投降过来的匈奴人叫堂邑父。
公元前139年，张骞手持汉节，带着一百多人离开长安。他们一行走出陇西（今甘肃临洮南），进入匈奴控制的地区。尽管他们小心翼翼，还是被匈奴发现，将他们扣留。单于恶狠狠地问张骞：“月氏在我们匈奴的北面，汉朝怎么能越过我们往那里派使臣？”张骞他们被匈奴扣留了十年，尽管如此，张骞始终不忘自己的使命。有一天，张骞和堂邑父趁匈奴人不防备，骑上快马逃了出来，一直向西走了几十天，来到一个叫大宛的国家。
大宛王早就听说有个富饶的汉朝，很想互通往来，见到汉朝的使者来到，非常高兴，还派向导带领张骞前往大月氏。可是，月氏已经在大夏建立了国家，已经失去了向匈奴报仇的愿望。
张骞他们经过一年多的努力，也没能说服月氏王与汉朝联盟攻打匈奴，只好离开月氏回国。为了避免再次被匈奴俘虏，他们改走南道，打算经莎车、于阗，越过羌族地区，然后从祁连山进陇西回国。不料，当他们路过羌中地区时，又被匈奴俘虏。一年后，张骞他们乘匈奴发生内乱逃了出来。汉武帝见到十三年未见的张骞，非常高兴，拜他为太中大夫，封堂邑父为奉使君。
张骞还想再到西域去，他向汉武帝说：“我在大夏看见邛山出产的竹杖和蜀地出产的细布。大夏人说是他们的商人从身毒（今印度）买来的。大夏在长安西边12000里。大夏人从身毒买到蜀地的东西，可见身毒离蜀地不远。我们要从蜀地出发，走西南那条道，经过身毒到大夏，就不必经过匈奴了。”
汉武帝认为张骞分析的很有道理，于是派四路使者带着礼物去结交身毒。四路使者都没有到达最终的目的地，但他们的行动对汉武帝开发西南地区提供了有益的帮助。
公元前119年，张骞又带人向西出发了。同许多国家建立友好往来和外交关系。张骞他们动身回汉朝时，乌孙派遣使臣同他们一起来到汉朝，并带来几十匹乌孙良马。
公元前114年，张骞在长安病逝。又过了几年，张骞派出去的那些副手陆续回到长安，从此，汉朝同西北各国关系更加密切，汉朝和各国使节商团来往络绎不绝。对东西方社会经济发展都起了推动作用。
张骞开辟的西域这条路，后来人们就叫它“丝绸之路”。唐代以后，海运逐渐发达，西北地区民族政权兴衰变化急剧，这条陆上通道的重要性与安全保障逐渐降低而趋于衰落。在元代，由于驿路畅通，又曾繁荣一时。
