Nadat hij kort de rabbijn van Ramle was, diende Rav Elyashiv jarenlang het Israëlische Opperrabbinaat en kreeg als Dayan een positie binnen de Hoge Raad van het Rabbinaat. Tijdens zijn ambtstermijn was hij nauw betrokken bij andere grote Torageleerden van het Bees Din zoals Rabbi Betzalel Zolty, Rabbi Yaakov Ades, Rabbijn Eliezer Goldsmidt en Rabbi Ovadia Yosef.

Hij was der mate geschikt als Dayan, dat hij zich nog liever terug trok in plaats van concessies te doen aan een zaak waarvan hij het gevoel had dat hij in gelijk stond. In 1972 nam Rav Elyashiv ontslag. Maar Rav Elyashiv hield altijd wel een grote macht over de Rabbinale uitspraken en andere belangrijke procedures in Israël.

Bij de oprichting van de vrome politieke partij Degel Hatora in 1989, werd Rav Elyashiv gevraagd of hij de religieuze politieke leider van de partij wilde worden. Rav Elyashiv heeft het verzoek, monde Rabbi Elazar Menachem Mann Shach, de beroemde Rosh Yeshiva van Ponevezh en toen onbetwiste leider van de Litvische Charediem, ingewilligd. Zo kwam hij op openbare bijeenkomsten en deelde hij in de taak van het maken van beslissingen. Toen de partij samen met en Agudath Israel toetrad tot het overkoepelende Verenigd Tora Jodendom, hield hij nog steeds grote invloed op het beleid van de partij die op dit moment, juli 2012, 5 van de 120 zetels in de Knesset heeft.

Ondertussen bleven zelfs leden van Agudath uit de Verenigde Staten hem om advies en richtlijnen te vragen op gebied van beleid en gemeentelijke kwesties met betrekking tot het welzijn van charedisch Jodendom. Ondanks zijn uitzonderlijke geleerdheid en invloed, had hij geen officiële titel, niet als hoofd van een gemeente of jesjive. Wel volgde hij Rav Shach op als dé leider van de Litvische charediem en werd hij als de grootste Posek Hador Hagaon van deze generatie beschouwd, waardoor hij ook als titel 'Maran Rav' droeg, een titel voor uitzonderlijk gerespecteerde rabbijnen.

Op een keer ging Rabbi Orlofsky met zijn masjgiach voor advies naar de Maran omdat hij een ingewikkelde vraag had. Hij was al eens eerder naar een Gadol gegaan, maar het duurde lang voordat hij een antwoord kreeg. Zijn masjgiach bracht hem naar Rav Elyashiv. In het kleine appartement was een Rosh Yeshiva, avreichiem, zakenlieden en een vrouw met een kip om vragen te stellen. Toen Rabbi Orlofsky aan de beurt was, vatte de Maran zijn directe antwoord in één zin om de vraag verder te laten rusten.

Zijn huis was constant vol met mensen die hem nodig hadden. Honderden Joden stonden voor zijn bescheiden appartement om zijn mening te vragen over hun persoonlijke dilemma's of wilde gewoon een broche van hem ontvangen. Ook kwamen zij naar zijn nachtelijke lessen uit Talmoed, waarvan een groot deel uit zijn hoofd kende.