日本黑幫直接起源于18世紀一些準合法的商人，他們在大城市的街道上開設賭場或兜售商品，被人們稱為“博徒(bakuto)”和“的屋(tekiya)”，也就是指巡回的賭檔和商販。后來這些人逐漸結成團伙，并發展成等級清晰、規矩森嚴的黑道家族或幫派。至今，日本的黑社會團伙中仍有被稱為“博徒”和“的屋”的兩派。

到了19世紀晚期，日本黑幫與“民族主義”、“軍國主義”和政治聯系到了一起。許多黑幫開始與政客勾結政客利用他們暗殺對手，武裝貿易集團，甚至參與了與周遭國家的戰爭。二戰后，日本黑幫借助混亂的局勢進一步加強了在日本的政治經濟地位。