Жак-Луи Давид родился 30 августа 1748 года в семье оптового торговца железом Луи-Мориса Давида и его жены, Мари-Женевьев (урожд. Бюрон) и в тот же день был крещён в церкви Сен-Жермен-л’Осеруа. До 2 августа 1757 года — дня смерти своего отца, возможно, погибшего на дуэли, жил в пансионе монастыря Пикпюс. Благодаря брату матери, Франсуа Бюрону, девятилетний Жак-Луи, позанимавшись с репетитором, поступил в Коллеж Четырёх Наций на курс риторики. После чего мать, оставив ребёнка в Париже на попечении брата, уехала в Эврё. Будущее Жака-Луи определили её родственники: брат Мари-Женевьев, Франсуа Бюрон, как и её шурин, Жак-Франсуа Демезон, были архитекторами, также семья была связана родством с художником Франсуа Буше. Когда у ребенка были замечены способности к рисованию, было решено, что он станет архитектором, как и оба его дяди.