日本黑帮直接起源于18世纪一些准合法的商人，他们在大城市的街道上开设赌场或兜售商品，被人们称为“博徒(bakuto)”和“的屋(tekiya)”，也就是指巡回的赌档和商贩。后来这些人逐渐结成团伙，并发展成等级清晰、规矩森严的黑道家族或帮派。至今，日本的黑社会团伙中仍有被称为“博徒”和“的屋”的两派。
到了19世纪晚期，日本黑帮与“民族主义”、“军国主义”和政治联系到了一起。许多黑帮开始与政客勾结政客利用他们暗杀对手，武装贸易集团，甚至参与了与周遭国家的战争。二战后，日本黑帮借助混乱的局势进一步加强了在日本的政治经济地位。
