De nombreuses actions liées aux semi-conducteurs ont subi des pertes importantes, après que la conférence annuelle des développeurs de Nvidia n'ait pas réussi à donner un nouvel élan au rallye mondial des actions liées aux puces, axé sur l'intelligence artificielle.
Les actions du secteur de l'énergie ont été les plus performantes, après un bond de 2 % des prix du pétrole brut au cours de la nuit.
Le Nikkei a glissé de 0,8% à 39 429 73, à 0130 GMT, abandonnant une partie de la hausse de 2,7% de lundi, lorsque les investisseurs ont acclamé les rapports des médias offrant un aperçu de ce que les décideurs politiques de la BOJ feraient mardi.
Le Topix plus large a baissé de 0,2%, avec un sous-indice des actions de croissance en baisse de 0,5%, tandis que les actions de valeur sont restées stables.
"Avec tous les médias annonçant la fin des taux négatifs, du contrôle de la courbe des taux et de l'achat d'ETF - ce que l'on pourrait appeler l'ensemble des trois - le marché a déjà complètement intégré ce résultat", a déclaré Kazuo Kamitani, stratège actions chez Nomura Securities.
Il a déclaré que la mise à jour du graphique à points à la fin de la réunion de politique de la Réserve fédérale américaine mercredi serait un "point focal" à court terme. Les marchés japonais sont fermés ce jour-là pour cause de fête nationale.
Il n'y a pas d'heure fixe pour l'annonce de la politique de la BOJ, mais elle a récemment eu lieu à peu près au moment où les marchés boursiers rouvrent après la pause de la mi-journée à 0330 GMT.
Les hauts responsables de la BOJ, y compris le gouverneur Kazuo Ueda, ont souligné que les achats d'obligations se poursuivraient même si le contrôle de la courbe des taux était supprimé, et que la banque centrale ne procéderait pas à des hausses successives après avoir abandonné les taux négatifs.
Le fabricant d'équipements de test de puces Advantest, qui compte Nvidia parmi ses clients, a été l'un des plus mauvais élèves du Nikkei mardi, avec une chute de 2,5 %.
SoftBank Group, investisseur de startups axées sur l'IA, a chuté de 0,7 %.
L'opérateur de magasins Uniqlo, Fast Retailing, a été le plus grand frein au Nikkei en raison de son poids particulièrement important dans l'indice. Les actions de Fast Retailing ont chuté de 1,8 %.
Inpex a été la valeur énergétique la plus performante du Nikkei, avec un gain de 2,3 %. Parmi les principaux secteurs, les mineurs - qui comprennent les explorateurs de pétrole - ont gagné 2,2 %, tandis que les producteurs de pétrole et de charbon ont augmenté de 1,2 %. (Reportage de Kevin Buckland ; rédaction de Subhranshu Sahu)