此诗大约在唐肃宗乾元二年（759年）冬或上元元年（760年）春所作。当时李白在江夏写了长诗《经乱离后天恩流夜郎忆旧游书怀赠江夏韦太守良宰》，诗中云：“一忝青云客，三登黄鹤楼。顾惭祢处士，虚对鹦鹉洲。”可见李白对祢衡是很敬仰的，这首《望鹦鹉洲怀祢衡》，可能是同时所写。
据《后汉书·祢衡传》记载：祢衡少有才辩，而尚气刚傲，好矫时慢物。孔融深爱其才，在曹操面前称赞他。曹操因被他所辱，把他送与刘表。刘表又不能容，转送与江夏太守黄祖。黄祖之长子黄射在洲上大会宾客，有人献鹦鹉，令祢衡写赋以娱嘉宾。祢衡揽笔而作，文不加点，辞采甚丽，鹦鹉洲由此而得名。后黄祖终因祢衡言不逊顺，把他杀了。李白一生道路坎坷，虽有超人才华而不容于世。这时，他从流放夜郎途中遇赦回来，望鹦鹉洲而触景生情，思念起古人祢衡来了。故作此诗以表敬仰。