有人称日本黑帮实际上脱胎于过去特立独行的“倾奇者”，他们衣着怪异、举止怪诞，常常身配长刀，恐吓村民，甚至滥杀无辜。其实，关于日本黑社会的起源，可以说是上述几个故事的混合。
在武士阶层被废除之后，许多武士失去了生活重心，逐渐转向暴力犯罪。也有些武士开始经商或从事见不得光的行业(如开设赌场和妓院) 。这些暴徒、浪人以及进入日本市场体系的其他新生力量都有个共同点：他们不被社会接受。
在日文中，やくざ一词就反应了黑道成员卑下的地位。这个词源自日本的牌戏“おいちょかぶ(Oicho-Kabu)”。“おいちょかぶ”类似于21点，游戏的输赢由每手牌点数之和的尾数大小决定，最小点数为0。如果摸到8、 9、3三张牌(三张牌之和为20)，那么这一手牌的点数就是0，持牌者输。
日语中 8、9、3的发音分别是“や”、“く”、“ざ”，因此这三个发音组合起来就成了“やくざ”，也就是“无用的、没有价值”的意思。
“やくざ”原指黑帮分子，但是现在这个词也泛指日本的有组织犯罪。暴力団(Boryokudan)与やくざ同义，它是一个贬义词，指那些没有传统荣誉感的暴徒。日本警方在提到黑帮分子时，常用“暴力団”一词。
日本黑帮直接起源于18世纪一些准合法的商人，他们在大城市的街道上开设赌场或兜售商品，被人们称为“博徒(bakuto)”和“的屋(tekiya)”，也就是指巡回的赌档和商贩。后来这些人逐渐结成团伙，并发展成等级清晰、规矩森严的黑道家族或帮派。至今，日本的黑社会团伙中仍有被称为“博徒”和“的屋”的两派。
到了19世纪晚期，日本黑帮与“民族主义”、“军国主义”和政治联系到了一起。许多黑帮开始与政客勾结政客利用他们暗杀对手，武装贸易集团，甚至参与了与周遭国家的战争。二战后，日本黑帮借助混乱的局势进一步加强了在日本的政治经济地位。
日本的黑道家族表面上和黑手党家族的结构一样，由组长(kumicho，相当于黑手党的教父)来统管整个家族，在他之下还有若干舍弟、干部、若头，形成一个金字塔结构。此外，各地区还有各地区的头目、副手、顾问以及众多的普通会众，这让日本黑帮的结构更加复杂。有的黑帮家族的结构有所不同，是由小帮派结成的联盟。
黑帮组织中的核心架构是一种类似父子的关系，这一关系把所有的组织成员牢牢地绑在了一起。在黑帮家族中，“父亲”会借助其影响力来保护“儿子”，同时给予 “儿子”忠告和指导，以此换取“儿子”完全的忠诚和无条件的服从。日本社会对荣誉和传统的重视也进一步加强了这种关系。但如果“儿子”没有完成“父亲”交待的任务时，这种父子关系并不能保护他免受惩罚，例如逐出帮派甚至断指。家族中的每一个人都可能既是“父亲”又是“儿子”面对上级时扮演“儿子”的角色，面对下属时则扮演“父亲”的角色。
不论是加入黑帮家族还是在黑帮家族中结为父子关系都需要举行一种特殊的仪式。在仪式中，主持者先为新加入的成员和他的老大各倒一杯酒，让二人各喝一点，随后交换酒杯再喝一点。老大要将杯中的酒喝完，而新人只能小口啜饮。
尽管许多日本黑道家族有明显的民族主义烙印，但有的帮派也会吸收韩国成员。日本人常常瞧不起韩国人，这加剧了日本黑道的卑下地位。而日韩之间高回报的走私交易也加强了韩国对日本黑帮的影响。
在黑道家族中，女性通常被边缘化。甚至连黑帮成员的妻女也只能得到比下人稍高一点的待遇，有时她们还会成为黑帮成员淫乐的工具。妇女很少在黑帮中掌权，不过也有特例。
日本黑社会组织就是犯罪团伙，他们像所有犯罪团伙一样参与各种可以牟取暴利的活动。非法赌博和卖淫是日本黑道的主要行当，走私毒品、军火和色情出版物等违禁商品也是有利可图的产业。而征收保护费的做法更是日本黑帮赚钱的常用招数。
日本黑帮还利用非法所得经营房地产、建筑和娱乐等合法产业。
比较有势力的黑帮组织常在日本股市里做文章，有时甚至是通过合法手段。他们可能会搜集或者伪造某公司的罪证，以此来勒索公司的董事会，以获得该公司的股分。在获得该公司股分之后，他们会将其成员派驻董事会，并以向外公布罪证为由来要挟公司的管理人员。黑帮通常可以利用这种方式获得公司业务的主要控制权或一大笔封口费。
许多黑帮的敲诈和勒索都经过了精心策划，以维护日本式的传统礼节。黑帮组织可能会邀请某公司参加高尔夫比赛，组织假的慈善募捐或者以极高价格购买某些商品。这些公司的领导人虽然没有受到直接胁迫，但却非常清楚“请求”背后的威胁，因此他们都会乖乖与黑帮合作。
纹身艺术在日本有着悠久的历史，可上溯到2000多年前。居住在日本的早期居民—阿伊努人（the Ainu），就曾经有纹身的习俗。渔捞是阿伊努人重要的生计方式，因此他们用纹身装饰身体，潜入水中捕鱼。这恐怕是日本纹身艺术的最早起源了。
日本社会发展的不同时期对纹身的态度是不同的。日本曾接受纹身的行为，但也一度宣布其为非法。后来，他们被视为是与“活受罪”相同的处罚，专门用于被流放的罪犯，是耻辱的标志。再后来，慢慢扩展到劳工间用以显示兄弟感情的帮派标志，情人间海誓山盟的秘密见证，或凡人受到佛教庇护的护身符，等等。这些发展都经历了一定的历史阶段。
江户时代（1603年—1868年），纹身艺术成为浮世文化的一部分。当时在社会上，妓女就用纹身让自己显得更有魅力。“工人”（laborers）、“火人”(fireman)则多用身体纹身（body tattoos）。
从1720年开始，纹身正式作为对罪犯的惩罚，取代以前的刑罚割除人的鼻子或者耳朵等。纹在罪犯身上的图案主要有两种：手臂上的环状纹身图案，或者是刻在额头上的文字。这种处罚方式持续了150年，直到1870年由明治政府废除。
在这150年间，这种处罚方式使社会上形成一个新的阶层，即有纹身的社会遗弃者。他们在社会上没有地位，无所适从。其中许多人是武士阶层废除以后一无所长的武士们。他们除了拉帮结伙成为不法之徒以外别无选择。这可能使日本民众对纹身产生了恐惧心理，这种影响一直持续到今天。
其次，除了这一历史政策对纹身造成影响外，江户时代的文化发展也是日本纹身艺术发展的另一重要原因。约在18世纪即江户时代的后半期，随着制度的衰败，普通民众拥有越来越多的自由和力量，传统的日本纹身艺术随着其他的民间大众艺术繁荣起来。
与上层阶级不同的是，民众试图摒弃数百年的儒家信仰的影响，开始开创属于自身的艺术文化。他们关注于小说、戏剧。这些新的发展趋势都使得当时的日本大众文化形成新的体系。
在这个时期，中国的古典小说《水浒传》被翻译介绍进日本，在日本社会相当流行。《水浒传》中的一百单八位好汉形象在日本民众中大受欢迎。
有些所谓的“绿林艺术家”就将这些英雄好汉的形象纹在人体上。随着时间的流逝，其中的一些有纹身技艺的人就成为专门的纹身艺术家。
这一过程中发展起来的日本纹身艺术具有独特的日本传统艺术形式，被称之为Horimono。这种Horimono纹身艺术是将英雄形象用斑斓的色彩纹满人的身体，这种方式大致上就成为日本纹身的一种固定的风格。但在当时，纹身是属于下层阶级的。
到了明治政府时期，在努力追随西方文明的潮流下，明治政府颁布法律禁止纹身，认为纹身是一种原始部落的野蛮行为。但有趣的是，随着西方资本主义的入侵，外国商船驶入日本港口，日本纹身却随着这些商船传遍西方世界。
20世纪上半期，对Horimono的禁止到1948年结束了。有人认为禁止被取消是因为战后美国大兵门对日本纹身的需求使其合法化了。不管怎么说，日本纹身在历史上确也是命途多舛。一些日本男女在日本外国记者俱乐部（Foreign Correspondents Club of Japan）展示身上的传统刺青。刺青在日本正逐渐蔚为风潮。