吴道子自幼便失去双亲，过着贫困潦倒的生活。他曾向书法名家张旭、贺知章等人学习书法，但是却并没能取得很好的成就。后来为了解决生计，他又向民间的画师和雕工学习绘画。因为学习认真刻苦，所以还没到二十岁，他所画的画作就已经被人称赞为“穷丹青(35)之妙”。

公元709年，韦嗣立升任中书侍郎，吴道子便在韦嗣立手下当小吏。后来，吴道子被委派到瑕丘任县尉。公元713年，吴道子辞去官位，纵情于洛阳山水之间。

由于他在画坛小有名气，唐玄宗闻知后将他召回长安任内教博士，并下令规定他在没有旨意的情况下不能画画。在入内供奉后，吴道子除了在宫里画画，也时常陪唐玄宗外出游览。有一次他随唐玄宗来到洛阳，与将军裴旻(36)和书法家张旭二人相见。三人当即各自发挥所长，表演了一番：善舞剑的裴旻舞剑一曲，善草书的张旭挥笔泼墨，而吴道子则现场作画，三人的表演可谓是妙不可言。