有人称日本黑帮实际上脱胎于过去特立独行的“倾奇者”，他们衣着怪异、举止怪诞，常常身配长刀，恐吓村民，甚至滥杀无辜。其实，关于日本黑社会的起源，可以说是上述几个故事的混合。
在武士阶层被废除之后，许多武士失去了生活重心，逐渐转向暴力犯罪。也有些武士开始经商或从事见不得光的行业(如开设赌场和妓院) 。这些暴徒、浪人以及进入日本市场体系的其他新生力量都有个共同点：他们不被社会接受。
在日文中，やくざ一词就反应了黑道成员卑下的地位。这个词源自日本的牌戏“おいちょかぶ(Oicho-Kabu)”。“おいちょかぶ”类似于21点，游戏的输赢由每手牌点数之和的尾数大小决定，最小点数为0。如果摸到8、 9、3三张牌(三张牌之和为20)，那么这一手牌的点数就是0，持牌者输。
日语中8、9、3的发音分别是“や”、“く”、“ざ”，因此这三个发音组合起来就成了“やくざ”，也就是“无用的、没有价值”的意思。
“やくざ”原指黑帮分子，但是现在这个词也泛指日本的有组织犯罪。暴力団(Boryokudan)与やくざ同义，它是一个贬义词，指那些没有传统荣誉感的暴徒。日本警方在提到黑帮分子时，常用“暴力団”一词。
