El grupo Yakuza se comenzó a formar durante la época Edo, cuando muchos Samuráis que eran expulsados por su daimyo (señor feudal), por no ser realmente necesarios para éste, se convertían en samuráis ambulantes sin hogar ni empleo, conocidos como ronin.

Algunos ronin se dedicaban a hacer encargos sucios para gente de la alta sociedad, y otros simplemente se dedicaban a ser maleantes. Con el transcurso del tiempo se fueron organizado bandas de "ronin", que se encargaban de proteger pequeños poblados a cambio de recibir de los habitantes del lugar comida y alojamiento; si bien luego comenzaron a extorsionar para pedir más cosas. Asimismo, surgió el problema de las batallas desatadas entre bandas de "ronin" con el objetivo de controlar la misma zona.

El termino Yakuza surgió a finales del siglo XIX, siendo utilizado por primera vez entre el grupo de delincuentes conocido como los “bakuto”, quienes se dedicaban a montar negocios de apuestas y juego ilegal. Los “bakuto” gustaban de jugar un juego de cartas en el que la peor mano era un ocho, un nueve y un tres: sea, "ya", "ku" y "za", en idioma japonés tradicional. Para poder ganar la partida cuando el jugador tenía YAKUZA, el mismo tenía que ser realmente hábil ya que no dependía de la suerte sino de su astucia; de ahí que la palabra YAKUZA terminó siendo utilizada por los criminales japoneses para designarse entre ellos.

A lo largo de los años, entre los criminales denominados "yakuza" se fueron organizando bandas que procuraban hallar nuevas formas de hacer dinero. Los Yakuza tal y como se conocen hoy en día tomaron verdadero poder a partir de la Segunda Guerra Mundial, cuando se hicieron con el control de los negocios ilegales, como la prostitución, las apuestas ilegales, el tráfico de drogas, el comercio ilegal, etcétera. Además ciertas bandas de ideología ultraderechista comenzaron a operar y extorsionar dentro de grupos políticos.

Así, fueron surgiendo los primeros grupos de criminales organizados que operaban de forma similar a los Yakuza actuales. Sus reglas y códigos se sustentan en la obediencia al mayor rango, la fidelidad absoluta a la banda y el ultranacionalismo. Se desempeñan en toda clase de actividades ilegales, tales como el lavado de dinero, los juegos de azar y espectáculos, la especulación de bienes inmobiliarios, la extorsión, la prostitución, y el tráfico de drogas, pornografía y armas. También están muy ligados a la política.

Los Yakuza se organizan en clanes con una estructura muy estricta y cerrada, como si de una empresa se tratara, donde todos los miembros forman parte de lo que consideran una “familia”. Siguen el sistema Senpai-Kohai para adoctrinar a los novatos y ante todo rinden obediencia a un estricto y brutal código de honor; el cual especifica terribles prácticas como por ejemplo, la amputación de un dedo meñique para aquel miembro que cometa algún fallo grave o incurra en traición. De ahí que es muy probable que un japonés que tenga amputado el dedo meñique, pertenezca o haya pertenecido a una banda Yakuza.

El clan Yakuza más importante es el denominado Yamaguchi-gumi, al cual se estima que pertenecen actualmente unos 40.000 miembros activos. Se considera que esta banda posee el “honor” de ser la agrupación de gángsters más grande del mundo, no solo por el número de miembros sino también por su poder económico. Manejan desde cadenas de Pachinkos hasta negocios de pornografía por Internet, tráfico de drogas y prostitución.