Mujica es descendiente de vascos que llegaron a Uruguay hacia 1840, originarios de la localidad vizcaína de Múgica. Nació el 20 de mayo de 1935 en el barrio montevideano de Paso de la Arena, hijo de Demetrio Mujica Terra y Lucy Cordano.

Su familia materna estaba compuesta por inmigrantes italianos. El apellido Cordano, del abuelo Antonio, es originario del valle de Fontanabuona, provincia de Génova, en la región de Liguria, cerca de Rapallo; de la misma zona venía la familia de la abuela Paula, los Giorello. Su madre nació en Carmelo, lugar donde los padres de esta, cultivadores de viñas, compraron cinco hectáreas en la Colonia Estrella para cultivar los viñedos.

En 1956, conoció al entonces diputado nacionalista Enrique Erro por vía de su madre, quien participaba de su sector. Desde entonces, comenzó a militar para el Partido Nacional, donde llegó a ser secretario general de la Juventud del mismo.

En las elecciones de 1958 triunfa por primera vez el Herrerismo y Erro fue designado ministro de Trabajo, siendo acompañado por Mujica en esa época, aunque sin llegar a ser funcionario del Ministerio.

En 1962, Erro y Mujica abandonan el Partido Nacional para crear la Unión Popular, junto al Partido Socialista del Uruguay y un pequeño grupo llamado Nuevas Bases. En esas elecciones postulan a Emilio Frugoni como candidato a presidente de la República, perdiendo rotundamente las mismas con un 2,3 % del total de los votos.

En los años sesenta se integró al Movimiento de Liberación Nacional-Tupamaros, con el que participó en operativos guerrilleros, al tiempo que trabajaba en su chacra hasta que, requerido por la policía, se refugió en la clandestinidad. Durante el gobierno de Jorge Pacheco Areco la violencia fue en aumento. El Poder Ejecutivo utilizó reiteradamente el instituto constitucional de las medidas prontas de seguridad para hacer frente a la guerra de guerrillas, así como a la creciente oposición de sindicatos y gremios frente a sus políticas económicas.

En enfrentamientos armados fue herido de seis balazos. Fue apresado cuatro veces y, en dos oportunidades, se fugó de la cárcel de Punta Carretas. En total, Mujica pasó casi quince años de su vida en prisión. Su último período de detención duró trece años, entre 1972 y 1985. Fue uno de los dirigentes tupamaros que la dictadura cívico-militar tomó como «rehenes», lo que significaba que serían ejecutados en caso de que su organización retomara las acciones armadas. En esa condición, pautada por el aislamiento y por duras condiciones de detención, Mujica permaneció once años. Entre los rehenes también se encontraba Eleuterio Fernández Huidobro, actual ministro de Defensa Nacional, y el líder y fundador del MLN-Tupamaros, Raúl Sendic.

Luego del retorno a la democracia salió en libertad, beneficiado por la Ley n. º 15.737 del 8 de marzo de 1985, que decretó una amnistía de delitos políticos, comunes y militares conexos con estos, cometidos a partir del 1.º de enero de 1962.

Tras algunos años de la apertura democrática creó, junto con otros referentes del MLN y otros partidos de izquierda, el Movimiento de Participación Popular (MPP), dentro del Frente Amplio. En las elecciones de 1994 fue elegido diputado por Montevideo. Manifestó sentirse «como un florero» al comenzar su actividad parlamentaria.⁷ No obstante, su presencia en la arena política fue llamando la atención de la gente, ya que Mujica supo capitalizar el descontento. En las elecciones de 1999 fue elegido senador. Simultáneamente, su sector político apuntaba a una estrategia de acumulación.

El 1º. de marzo de 2005 el presidente de la República, Tabaré Vázquez, lo designó ministro de Ganadería, Agricultura y Pesca. La actuación de Mujica en el elenco gubernamental se asimiló más a la presencia de un operador político y a un generador de opinión con una novedosa capacidad de diálogo con la sociedad. En particular, se destacó por sus expresiones curiosas, sus comentarios sorprendentes y sus «salidas de tono». Esto gustó en muchos sectores de la ciudadanía, por la franqueza de los planteamientos. Abandonó el cargo el 3 de marzo de 2008, dejándole el puesto a su entonces viceministro Ernesto Agazzi. Desde entonces regresó a su banca en el Senado y en todos los medios, tanto políticos como de prensa, se mencionó con insistencia su eventual postulación presidencial.

El 28 de junio de 2009, tras las elecciones internas de los Partidos Políticos, resultó elegido como candidato único a la presidencia por el Frente Amplio, tras vencer a sus competidores con un 52,02 % de los votos totales.

El 25 de octubre de 2009, Mujica ganó con una votación cercana a la mitad del total de votos válidos, lo cual le valió disputar el balotaje contra Luis Alberto Lacalle el 29 de noviembre de 2009. Ese día fue electo presidente con un porcentaje superior al 52 % de los votos emitidos y a la noche dirigió un mensaje a la ciudadanía en la que llamó entre otras cosas a vencer los prejuicios.

José Mujica prestó juramento el 1 de marzo de 2010 en el Poder Legislativo, para desempeñar el cargo de presidente de la República Oriental del Uruguay. Esta promesa fue tomada por su propia esposa Lucía Topolansky, por ser la primera Senadora de la Nación. Se desarrolló con la presencia de autoridades de diferentes partidos políticos uruguayos y de varios representantes de diferentes países.

Al concluir la ceremonia y el discurso de Mujica, él y el vicepresidente entrante Danilo Astori se dirigieron hacia una caravana que desembocaría en el lugar de la toma de mando. Asumió de forma oficial su cargo de presidente del Uruguay unas dos horas y media después del juramento, en una ceremonia realizada al aire libre a pedido explícito de Mujica, en la Plaza Independencia (la más importante del país) frente a muchísimo público y autoridades nombradas.

Mujica y su esposa viven con gran austeridad, desde hace décadas, en una chacra en la zona de Rincón del Cerro, zona Rural de Montevideo donde se dedicaron al cultivo de flores como actividad económica. Al asumir como presidente de la República, en vez de trasladarse a la residencia presidencial de Suárez y Reyes, el matrimonio decidió permanecer en su residencia.

En las elecciones nacionales de 2014 es electo como Senador de la República cargo que comenzó a ejercer el 3 de marzo de 2015 luego de haber trasmitido el mando del nuevo gobierno a su compañero Tabaré Vázquez el 1ero de marzo de 2015. El 15 de agosto de 2018 renuncio a su cargo de Senador para acogerse al retiro jubilatorio.

Es convocado desde distintos ámbitos, políticos, académicos, empresariales, de organizaciones de trabajadores, de estudiantes a dictar conferencias y compartir espacios de reflexión e intercambio.