со всей серьезностью, без всяких шуток. Иногда выражение относят к "бильярдному" языку.
В некоторых разновидностях игры в бильярд требовалось положить в лузы определенное количество шаров. Случайно вкатившиеся в лузу шары шутливо называли "дураками".
По другой версии оборот древнее. Он родился во времена русского средневековья и связан с обычаями московского царского двора. Когда в царских палатах родовитые бояре собирались "думать государеву думу", принимать серьезные решения, то их заседания проходили в строгой секретности. Туда не пускали никого - тем более острословных и болтливых "дураков", т. е. шутов, которых было принято держать при царском дворе.