Il avait d'abord, sur la demande de Cosme Ier, exécuté un modèle en cire jaune d'une brasse de hauteur. Ce modèle réduit plut au duc, qui voulut avoir l'ouvrage en grand pour la place de la Seigneurie. Ici commença une série de tribulations incroyables. Benvenuto ayant demandé qu'on lui fournit les moyens d'établir à l'aise ses fourneaux, le prince donna ses ordres à un majordome, lequel, à son tour, donna les siens à un petit homme sec et maigre, qui était payeur, et qui se nommait Latanio Gorini. Ce homme, dit Benvenuto, « avec ses petites mains d'araignée, sa petite voix de moustique (on ne connaît que trop la musique de ces bestioles ailées à Florence) et sa lenteur de limaçon, me fit pourvoir tant bien que mal de pierres, de sable et de chaux, juste de quoi bâtir un colombier assez mesquin. Je me rassurai en me disant à part moi que les petits commencements ont parfois de grands résultats. Je soufflais au derrière de Gorini pour le faire avancer; je criais après des ânes boiteux et un petit borgne qui les conduisait, et, en attendant, malgré ces difficultés, je préparais l'emplacement de mon atelier. Benvenuto avait, en effet, déraciné arbres et vignes, et les choses semblaient près de marcher, quand il fut appelé par le majordome. Celui-ci le reçut dans la salle de l'Horloge du Palais-Vieux, et lui demanda, le verbe haut, de quel droit il bâtissait. « Du droit que m'a conféré Son Altesse. » Là-dessus dénégations arrogantes dudit majordome, Benvenuto n'était point, je le répète, de nature patiente; on peut même affirmer qu'il avait la tête singulièrement près du bonnet. Il se tint donc tout rouge, et envoya promener le majordome et son duc », comme Michel-Ange avait fait de Jules II en une occurrence analogue. L'affaire s'arrangea cependant après coup, et 200 écus de gages furent alloués à Benvenuto pour le travail qu'il entreprenait. 