永初五年（公元111年），汉安帝下诏，让中央和地方大臣举荐一名有道德、有才能的人到京城里做官，当时任大司农的鲍德便举荐了张衡。汉安帝对张衡的才学也早有所闻，于是“公车特征”，把张衡接到京城洛阳，拜为“郎中”。
因此官并不费力，故张衡在公事之余开始研究《太玄经》等天文学，探讨天地的结构。
天地究竟是怎样的呢？当时有两种解释，一是盖天说，一是浑天说。
盖天说是一种很古老的学说，认为天是圆的，地是方的，天就像一口大锅，把地扣在里面。后来为了合理地解释日月星辰的出没等天象，人们又把“天圆地方”说做了几次修正，制造出一套“七衡六间”令人难以捉摸的理论，但天盖在地上的基本认识并没有改变。
浑天说是一种新兴的学说，据说是西汉时期的天文学家落下闳提出来的，主张天包着地，天一半在地上，一半在地下。这种学说解释天象比盖天说方便。比如晚上为什么看不见太阳？利用浑天说就能做出圆满的解释。但有时也会使浑天说陷入难堪的境地，如太阳和月亮是怎样转入地下的呢？浑天说就解释不通了。再加上盖天说比较符合人们的直观感觉，所以在浑、盖之争中，盖天说往往占上风。
张衡在前人研究的基础上详细研究了这两种学说，最后认为浑天说比较合理。他对浑天说加以修正发挥，使浑天说成了当时最圆满的一种天体结构学说。
汉安帝听说张衡在天文上有高深的造诣，便于元初二年（公元115年），任命张衡为太史令。
张衡接任太史令以后，立即来到坐落在洛阳平昌门南的灵台（即为当时的天文台）。这座灵台是光武中元元年（公元56年）建造的，高九丈，周围20丈，占地达4400平方米，有12个门，上下两层平台，平台间有坡道相连，气势雄伟壮观。这里的总领导者是灵台丞，属太史令管辖。下面有候气的，候风的，候星的，候日的等40多人，机构庞大，分工细密。
很快，张衡就发现，灵台的建筑虽然雄伟，但观天象的仪器却很陈旧，年久失修，不堪应用。他决定重新修造，特别是浑天仪，这是形象地体现浑天学说的一种重要的天文仪器，更应该好好地加以修改研制。
“浑天仪”，类似于现在的天球仪，用精铜铸成，主体是一个球体，代表天球。球体可以绕天轴转动。天轴和球面有两个交点，一个是北天极，一个是南天极，在球的表面上列有28星宿和其他恒星。
球面上还有天球赤道圈和黄道圈，二者成24°夹角，分列有24节气。球体外面有两圆环，一个是地平圈，一个是子午圈（通过南北天极和天顶的圆环）。天轴支架在子午圈上，和地平圈斜交成36°角，这也是浑天仪坐落处的洛阳地区的北极仰角及地理纬度。
历史上记载制造浑象最早的是西汉宣帝时的大司农中丞耿寿昌（公元前73～公元前49年），至于他造的浑象是什么样子，史书上没有留下任何记载。大概只是一个刻满星辰的大圆球，用人力转动圆球，就可以演示不同的天象。
张衡就在耿寿昌的基础上开始了辛勤地研究制造新的浑天仪的工作。他花了一年的时间，先做模型进行试验。模型是用竹子做的。他把竹子劈开，刮削成簿簿的竹蔑，在竹蔑上刻上度数，然后弯成圆环，用细针穿连起来，这样，一个简易的浑象模型就造成了。张衡把这个模型叫做“小浑”。他利用这个模型对照着天象，不断试验，不断调整模型的构造和竹蔑上的刻度，直到完全满意了，才叫人用精铜铸成正式仪器。
仪器制成了，为了使仪器自动运转，张衡叫人铸造了两把铜壶，壶底开孔，又巧妙地利用齿轮系统跟浑象联系起来。铜壶里注满水，水从壶底孔里流出，推动齿轮转动，转动的齿轮又带动浑象绕轴转动。张衡前后花了一两年的时间，到公元117年（安帝元初四年），一架用水力推动，可以自行运转的浑天仪终于诞生了！
张衡的浑天仪惊动了京都的学者，他们纷纷来到太史令官邸，争先恐后地参观张衡的杰作。浑天仪在制造房里放着。一走进制造房，就会看到在房子正中有一个直径足有四尺多的大铜球，放在一个精制的架子上，钢球上铸着二八八宿中外星官，闪光耀眼。铜球外面还有几道铜囵，加上复杂的漏水转动装置，气势磅礴，令人赞叹不已。铜球在漏壶的推动下缓缓地转动着。
学者们对浑天仪这巧妙的构造很是惊奇，但对其是否能准确地演示天象表示怀疑。有一位学者问张衡：“张太史，是否让它演示一下？”
张衡说：“我正想请各位大人鉴定一下仪器是否精确呢？天黑以后，可以把门窗关严，让屋里的人看不到外边的星空。你们可以分成两组，一组在屋里看着仪器，不断向外面报告仪器上所表示的天象情况，一组在屋外观察星空，看是否和屋里仪器上的情况相符。”
学者们很高兴，按照张衡的部署很快安排停当。
入夜，晴朗的夜空繁星点点。不一会儿，屋里的人报告说：“月亮正在升起。”屋外的人也看到东南方向升起一弯明月。接着屋里的人又不断报告：某星已升起，某星已到中天，某星转入地下……，皆与屋外人看到的实际天象相合。
试验完毕，屋内外的人一起把张衡围了起来，纷纷向他祝贺，称赞道：“这真是巧夺天工的伟大发明啊！”
