David Davis avvisade Nicola Sturgeons krav på att Holyrood skulle få befogenheter över områden som invandring som en del av alla avtal med Bryssel.
Den konservativa politikern var i Skottland en dag efter att den skotska regeringen offentliggjorde sitt förslag till folkomröstning om självständighet.
Han träffade sin skotska regerings motsvarighet Michael Russell för samtal.
När han tillfrågades om premiärministern var "realistisk" med sina krav, sade han: "De är båda reserverade makter. Invandring och internationella frågor är båda reserverade befogenheter."
Före EU:s folkomröstning i juni hade ledare för Brexit och sedan justitieminister Michael Gove föreslagit att Skottland skulle kunna få befogenheter över invandringen som en del av ett avtal om att lämna EU.
Men Davis sade: "Det är svårt att se hur en separat invandringspolitik skulle fungera."
Han insisterade på att Brexit-arrangemangen skulle vara ett "Förenade kungariket-avtal", och avvisade den skotska regeringens förslag om att landet skulle kunna behålla sin plats på den europeiska inre marknaden.
Förste minister Nicola Sturgeon har sagt att en folkomröstning kommer att hållas om det anses nödvändigt att "skydda Skottlands intressen" efter Brexit-omröstningen.
Men hon har insisterat på att hennes regering "undersöker alla möjligheter" för att skydda Skottlands plats i Europa, och hon har sagt att hon kommer att offentliggöra förslag under de kommande veckorna för att behålla Skottland på den europeiska inre marknaden även om Storbritannien lämnar landet.
Efter sitt första möte med Davis sade Russell att han snart skulle kunna tillkännage en formell process för skotska bidrag till Brexitprocessen.
Vid Strathclyde University i Glasgow sade Davis, medan det "måste bli en överenskommelse i Förenade kungariket", att det skulle "inkorporera skydd för det skotska folket".
Han sade också att den slutliga överenskommelsen skulle "återspegla det skotska folkets intressen".
Davis sade: "Syftet är att få största möjliga tillträde till EU:s marknad utan hinder, samt att kunna få tillgång till andra marknader globalt.
"Hur uppnår vi det? Vi är inte på det stadiet än, men det är målet."
Han fortsatte: " Jag tror inte att det skotska folket vill ha ännu en folkomröstning, men det är för dem.
"Jag har helt enkelt fått det enda målet framför mig, vilket är att få bästa möjliga affär, och det inkluderar det bästa avtalet för det skotska folket."
I går sade Maltas premiärminister, Joseph Muscat, att han tror att Förenade kungariket faktiskt kan komma tillbaka till Brexit.
Davis sade till BBC Scotland att så inte är fallet: "Det kommer inte att hända. Premiärministern har klargjort att den nu ökända frasen "Brexit betyder Brexit" kommer att inträffa.
"Folket har gett oss en instruktion, vi måste genomföra den."
Den brittiska regeringens brexitsekreterare insisterar på alla arrangemang för att lämna EU skulle vara ett "Förenade kungariket-avtal".