1945 16年2月16日，蘇聯、美國、英國在莫斯科召開會議，決定組建遠東國際軍事法庭，由美國、中國、英國、蘇聯、法國、澳大利亞、加拿大、新西蘭、荷蘭、印度、菲律賓等十壹個國家組成。根據遠東國際軍事法庭憲章，法庭有權審判犯有以下三項罪行的日本甲級戰犯:破壞和平罪；戰爭罪；反人類罪。約瑟夫·基南被任命為遠東國際軍事法庭首席檢察官兼盟軍總部國際檢察局局長。
東京審判前，剛到東京的紀南公開表示，要用自己在法務省的經歷，對抗日本戰犯，制服這些強盜。在法庭上，紀南口若懸河，伶牙俐齒，經驗豐富。有時喜歡長篇大論，用大文章，引用“名言”(如羅斯福等。).因為我的傲慢，我有時脾氣不好。由於他的強勢、剛毅、霸道的態度，人們給他起了個外號叫“魔鬼檢察官”。
在濟南的強力推動下，國際檢察機關全力以赴，審訊戰犯，收集證據。檢察官們進行了分工，分擔了日本備戰、中國滿洲事變、日本全面侵華和太平洋戰爭等各個階段的檢察工作。
1946年4月29日，紀南正式向法院遞交起訴書。壹天後，起訴書被送到28名被告手中。
5月3日上午8點42分，1946，押送日本戰犯的汽車來到遠東國際軍事法庭大門口。在《朝日新聞》記者看來，“這群戰犯就像壹個行色匆匆的隊伍。”
遠東國際軍事法庭庭長韋布爵士宣讀了開庭詞，首席檢察官紀南開始宣讀起訴書。壹位日本記者曾對開庭第壹天做了壹個比喻:“每壹幕都像在看莎士比亞的名劇！”