Den nationella jordbruksunionen organiserade evenemanget som en protest mot förseningar i fördelningen av EU:s jordbruksstöd.
Det ändrades till att handla om "bredare landsbygdsekonomi och livsmedelskedjan frågor" efter den skotska regeringen lovade 200 miljoner pund för att stödja jordbrukare under tiden.
De skotska ministrarna Richard Lochhead och John Swinney samt den skotske Toryledaren Ruth Davidson talade inför mötet.
Jordbrukarna har drabbats av förseningar i handläggningen av utbetalningarna inom den gemensamma jordbrukspolitiken på grund av problem med ett datorsystem på 178 miljoner pund som inrättats för att administrera det nybildade systemet i Skottland.
Den skotska regeringen sade att 59 procent av betalningarna nu har gjorts.
Några demonstranter krävde att Lochhead skulle avgå. Han sa: "Vi ska få ut betalningarna, vi ska lösa problemen."
Han sade: "Medan vi har en kraftfull politisk debatt inne i kammaren, är alla politiska partier överens om att livsmedelsproduktionen i detta land är en absolut prioritet.
"Att hjälpa våra livsmedelsproducenter i deras timme av behov, oavsett om det är på grund av de frågor vi har haft med betalningar eller vädret, eller på grund av låga marknadspriser, måste vi göra vad vi kan för att se till att de färdigheter du representerar och de jobb du upprätthåller och det stöd du ger till Skottland upprätthålls framöver."
Den skotske konservativa ledaren Ruth Davidson uppmanade demonstranterna att fortsätta att utöva påtryckningar på regeringen.
Hon sade: " Om detta hade varit en fråga som påverkar det urbana Skottland, skulle den ha lösts för flera månader sedan.
"Det finns en verklig fråga om vad som händer nu. Det finns fortfarande en verklig fråga över nästa års påståenden, med tanke på att vi vet att datasystemet inte fungerar."
Scottish Lib Dem ledare Willie Rennie berättade för demonstranterna att den skotska regeringen behövde "att agera snabbt för att få pengarna ut genom dörren", medan finansminister John Swinney berättade för dem "din röst har hörts".
Dussintals jordbrukare samlades utanför det skotska parlamentet för ett rally som lyfte fram landsbygdsfrågor.