大蔵次官を経て、退官後も東條内閣などで大蔵大臣を務めており、戦時財政を担った中心的人物でもある。「日本遺族会」と改称し右傾化させた張本人と目されたり、またA級戦犯として有罪判決を受け服役しながらも赦免後に要職に就いたことを批判されたりもしたが、その一方でタカ派ながら過去の敗戦責任を痛感して叙勲を辞退したり、巣鴨で服役中に刑場に向かうA級戦犯を目の当たりにした経験から法務大臣当時は死刑執行に否定的という一面もあった。事実、賀屋が法務大臣だった1964年(昭和39年)は日本の近世以降初めて死刑が実施されない年となった。大正13年(1924)、関東大震災後の帝都復興に関連して電話の拡張計画が取りやめそうになった。当時は公債財源でやっていたが、帝都の復興のために巨額の公債の発行が必要だから電話の公債は出せない。電話の拡張はやめるというわけである。当時電話の架設が遅れて東京の売買相場は3千円を超していた。それなのに打ち切るとは無茶だと抵抗したが上司は聞き入れない。そこで私は逓信省の役人を呼んで、架設実費を架設希望者に負担させるという案を全国的にたてさせた。東京は1500円、横浜は800円?といったようなことである。その案を当時の井上準之助蔵相に持参して行くと「君、それはイカンよ。官業はタダでやるべきだ。道路だってタダで通れるだろう。実費を1500円もとるのは無茶だ」だという。そこで私は「ご趣旨はよくわかりますが、電話の拡張を打ち切ると今3千円の電話の相場が1万円にも上がります。人々がどんなに困るか。1万円も出さないと電話が架からないのと1500円なら架るのとどちらが良いかです」というと、井上さんは「なるほどそうだな。それにしても1500円は高い。負けろ」と言われて、東京は1200円にした。数人の経済評論家の会合だ。昭和4年(1929)、この人たちが井上蔵相の金解禁に反対して立った。私はこの問題の直接の担当者ではなかったが、金解禁は無用有害であるという考えを持っていた。やらんでいい、やるなら新平価で解禁すべきだ、当時の日本の経済実勢に沿う為替相場による貨幣価値の安定を考えてやるべきである、旧平価で解禁するなどは全く経済の実勢を知らぬものだと考えていた。石橋君一派の考えも同じで、これは正直に言って井上蔵相の全面的敗北であった。そんなわけで主計局と雑音会は随時意見交換をしていた。私は戦争回避に努力はした。最後には開戦の決定に参加した。私の政治責任は決して逃れることはできない。あれだけの日本の歴史に対する汚辱と国民の惨害に対して重大な責任者がないはずはない。私はその一人である、と自ら判断している。終戦1ケ月目の9月15日、警視庁から「占領軍の命により」ということで迎えに来た。私は三歳になる孫と握手をして別れを告げ、迎えの車に乗った。12月8日の開戦記念日に、私たち戦犯は巣鴨刑務所に移された。それからは全く囚人扱いとなった。裸にされて頭からDDTをぶっかけられ二畳敷きの独房に入れられて錠をおろされた時は、まったく処置なしという感じだった。食事はもちろん全くひどいものであったが、どんなにまずいものでも、考えれば自ら労せず三度三度供給されることは、実にありがたいことだと思った。10年の刑期も馴れてくると私は刑務所世話業を始めた。巣鴨には一時1400~1500人もの戦犯がいたが、A級戦犯はわずか20何人で、ほとんどがBC級である。その人々はジュネーブの陸戦法規違反でやられているが、実相を聞くと裁判の手続きその他について遺憾のものが多い。罪なくして罪にされたものも相当あるようである。その家族は頼りにする人と収入を失い、非常に生活の苦しみを受けている。開戦の責任のある我々から見れば、誠に気の毒でなんとか慰め、力になりたいと思った。その手始めは、素人芝居が許されたが、おしろいもなければカツラもない。そこで、かってこの巣鴨にいて今は釈放されている笹川良一君に手紙を書いてそれらの差し入れを頼んだ。笹川君は早速必需品を差し入れてくれた。最初に慰問に来てくれたのは石井獏氏のバレエだった。このときの感激は忘れられない。その他一流どころが何回も来てくれ、吉田奈良丸師などは関西から上京して自分の興行を取りやめてみんな無報酬で来てくれた。のり子さんら、多数の一流芸能人がたびたび在監者を慰めた。横綱安芸ノ海は引退していたが、私が後援会長だった関係もあって若い者を連れて来て土俵をつくってくれ、出羽ノ海部屋、伊勢ケ浜部屋の主力が来て楽しませてくれた。碁の好きな人には、広島高校の旧友瀬越憲作九段が専門の有段者数人を連れて月例の指導に来てくれたのだった。