Böterna följer den tidigare RBS-handlarens, Shirlina Tsangs, fällande dom för bedrägeri förra året.
Hon dömdes till 50 månaders fängelse efter att ha fångats förfalskande uppgifter om handeln på tillväxtmarknaderna.
Hongkongs tillsynsmyndigheter sade att RBS:s kontroller var "allvarligt otillräckliga".
Kommissionen för värdepapper och terminer (SFC) sade också att det fanns "betydande brister i dess förfaranden, förvaltningssystem och interna kontroller".
Men tillsynsmyndigheten sade att böterna tog hänsyn till bankens snabba åtgärder för att varna myndigheterna när de väl hade upptäckt den olagliga handeln, som ägde rum på dess tillväxtmarknader under 2011.
"Detta förtjänar betydande kredit och är anledningen till att dagens sanktioner inte är tyngre," Mark Steward, SFC: s chef för tillsyn, sade i ett uttalande.
RBS svarade med ett uttalande och läste: "Vi införde ett omfattande saneringsprogram som stärkte vår styrning och tillsyn och vår kontrollmiljö."
Böterna är relativt små jämfört med andra som banken har fått under de senaste åren.
I december enades RBS om att betala 391 miljoner euro (320 miljoner pund) i böter till Europeiska kommissionen för dess roll i försöken att rigga Yen Libor och Euribor - Tokyo och euro motsvarigheter i London interbank erbjuds ränta, eller Libor.
Samma månad bötfälldes det 100 miljoner pund (60 miljoner pund) av amerikanska tillsynsmyndigheter för brott mot Förenta staternas sanktioner mot Iran, Sudan, Burma och Kuba.
Banken befanns ha tagit bort lokaliseringsinformation om betalningar till amerikanska finansinstitut från länder som Iran och Kuba.
Royal Bank of Scotland (RBS) har bötfällts HK$6m (460 000 pund) av Hongkongs tillsynsmyndigheter efter det att de inte upptäckt en rad otillåtna transaktioner av en av sina handlare.