有人稱日本黑幫實際上脫胎于過去特立獨行的“傾奇者”，他們衣著怪異、舉止怪誕，常常身配長刀，恐嚇村民，甚至濫殺無辜。其實，關于日本黑社會的起源，可以說是上述幾個故事的混合。

在武士階層被廢除之后，許多武士失去了生活重心，逐漸轉向暴力犯罪。也有些武士開始經商或從事見不得光的行業(如開設賭場和妓院) 。這些暴徒、浪人以及進入日本市場體系的其他新生力量都有個共同點：他們不被社會接受。

在日文中，やくざ一詞就反應了黑道成員卑下的地位。這個詞源自日本的牌戲“おいちょかぶ(Oicho-Kabu)”。“おいちょかぶ”類似于21點，游戲的輸贏由每手牌點數之和的尾數大小決定，最小點數為0。如果摸到8、 9、3三張牌(三張牌之和為20)，那么這一手牌的點數就是0，持牌者輸。

日語中8、9、3的發音分別是“や”、“く”、“ざ”，因此這三個發音組合起來就成了“やくざ”，也就是“無用的、沒有價值”的意思。

“やくざ”原指黑幫分子，但是現在這個詞也泛指日本的有組織犯罪。暴力団(Boryokudan)與やくざ同義，它是一個貶義詞，指那些沒有傳統榮譽感的暴徒。日本警方在提到黑幫分子時，常用“暴力団”一詞。