終戦後改めて俳優座養成所で演技の勉強をしなおし、1946年に俳優座入団、同年の『文化議員』で初舞台を踏む。1954年、同じ俳優座の準劇団員だった東恵美子、初井言栄らとともに劇団青年座を結成。その後、日活と専属契約を結び多くの映画に出演し、青年座創生期は屋台骨として、劇団を支える。以来、舞台をはじめ映像分野でも幅広く活躍する総合女優として活躍。
1956年、同じ青年座創立メンバーだった俳優・森塚敏と結婚する。結婚前に既婚者であった小沢栄太郎と深刻な不倫関係にあった。小沢との関係は1950年代初頭に清算するも、この事態に苦悩していたとされた小沢の当時の妻が1954年に自殺している。森塚とは1971年に離婚し、青年座を退座。その後は終世独身を通した。
テレビドラマ初出演は、1953年、NHK『竜舌蘭の誓い』とされる。本名・山岡比佐乃での主演作であった。以後、脇役を中心に、多くのテレビドラマに出演する傍ら、契約が切れる1960年代中盤まで日活の映画にも数多く出演した。1966年には、主演映画『こころの山脈』も公開され、女優としてステップアップしていった。
山岡の女優としてのスタンスを決定付けた作品が、1970年の『ありがとう』であった。母娘役で水前寺清子と共演。1974年の第3部まで「母・山岡、娘・水前寺」のコンビで好評を博し視聴率50%を突破、怪物ドラマと呼ばれた。この作品により京塚昌子や森光子、池内淳子とともに「日本を代表するお母さん女優」として、不動の地位を確立。以後、多くのホームドラマで理想となる母親役を演じ続け、「日本のお母さん」として、絶大な人気を誇った。またその面倒見のよさ、事務所の掃除やスタッフへ手料理を振舞うなどの気前のよさから、数々の俳優・女優からも「お母さん」として慕われていた。
TBS・東芝日曜劇場には、多くの作品に出演した。杉村春子・山岡・奈良岡朋子の3女優が演じる3姉妹が経営する炉端焼「花舎」を舞台にした『おんなの家』は16作を数え、池内淳子主演で、山岡や長山藍子らが脇を固めた『女と味噌汁』も1965年から1980年までの間に、38作が放映された。
また、『三男三女婿一匹』、『あんたがたどこさ』、『夫婦は夫婦』など、森繁久彌とのコンビによる作品も多く製作された。なお、左とん平によると、「（芸能界の大御所である）森繁先生を叱れるのは山岡さんしかいなかった」とのこと。
どちらかといえば準主役級の名脇役としての印象が強い山岡だが、『ありがとう』以降はテレビドラマの主演作も多い。1972年『みんなで7人』、1974年『家族あわせ』、1976年『いごこち満点』、1977年『晴れのち晴れ』、1979年『愛』、1981年『ちょっといい姉妹』などの連続ドラマではいずれも主演、前述の東芝日曜劇場でも主演作は数多かった。また、1983年『かあちゃんの黄色いトラック』、1986年『母の叫び』、1987年『嫁いびり姑三人旅』、1989年『別宅にて急逝』、1990年『お姑さんの登校拒否』など、1980年代から1990年代初頭は2時間ドラマでの主演作も存在する。
特に橋田寿賀子が脚本を手がけたドラマや、石井ふく子がプロデュースしたドラマへの出演が多かったので、山岡は「橋田ファミリー（石井ファミリー）の看板女優」とみなされることが多かった。
また、「ミス・マープル」シリーズの吹き替えも好評で、山岡が新劇出身であることを改めて印象付けた。
1998年10月1日、晩年の代表作とも言える1990年から続いてきたドラマ『渡る世間は鬼ばかり』の主役・岡倉節子役を降板。番組の顔とも言える山岡の突然の降板劇は、世間で数々の憶測を呼んだ。後になって、胆管癌に伏していたことが分かったが、降板時は癌の公表はされていなかったため、（山岡の）認知症発症説や橋田壽賀子との確執説が噂されるなど、ワイドショーや週刊誌などを賑わせた。また、当時メディア出演が多くあった橋田が「山岡さんは私のことがよっぽどお嫌いなんでしょうね」などと山岡への不用意な発言を度々行ったことも騒動に火に油を注いだ。世間からは「山岡さんは癌のために第4シリーズを降板した」と思われがちだが、癌公表前の第3シリーズ出演中の時点で次シリーズの出演意思はなかった。
山岡の逝去後に、TBSの追悼番組内で藤岡琢也がパート3撮影時に山岡から直に『お父さん、私は今回でこの役を降りるつもりなんだけどごめんなさい。』という話があったと語った。
実際の降板理由は、パート3撮影時に発覚した石井ふく子の脱税騒動で自分の名前が脱税のために勝手に利用されていることによる石井への不信感と、総胆管結石及び肝機能障害のため体調を崩し、自身の年齢も考えて、今後は自分の好きな仕事だけをしていくと決めたためだったとされる。またこれと時を同じくして、東京にあった住まいを引き払い、愛知県豊田市に知人が開設する予定を立てていた老人ホームに「終の棲家」として入所することを決めており、引越しの準備もパート3が放送された時期にはすでに始めていたという（その際、財産整理という意味合いから姪と養子縁組を結んでいる）。
同年12月15日に所属事務所を通じて、山岡は「70年突っ走ってきてそろそろゆっくり歩いて行こうかと思っていた矢先に『癌』という最悪のシナリオをいただいてしまいました。ただ、幸いなことに、このシナリオには結末が書いてありません。私が自由に演じていいことになっているんですね。力が入りますよ。もう少し時間がかかると思いますが、しばらくこの女優の底力を見守って下さい」というコメントを発表した。この発表を聞いた橋田はそれまでの自分の発言を悔い、神社へお百度参りし、山岡の回復を祈ったという。
しかし、このコメント発表から僅か2か月後の1999年2月15日、胆管ガンによる心不全のため、親族や池内淳子、長山藍子、石井ふく子らに見取られ神奈川県川崎市の病院で逝去。。同年7月8月に芸術座で予定されていた、念願の単独座長公演『月の光』の舞台を踏まぬままの、無念の死だった。山岡の代役は、親友の池内淳子が務めた（池内は『月の光』による演技により菊田一夫演劇大賞等を受賞）。
なお、山岡の死去は、各局のニュース速報でも流れ、連日のワイドショーなどでも大きく報道された。一部スポーツ紙では、一面トップ記事扱いにもなった。通夜・葬儀には「日本のお母さん」として慕われた山岡らしく、「これだけ大物俳優・女優が揃う通夜・葬儀は珍しい」と評されるほど多くの俳優仲間・後輩が訪れ、一般の参拝客も相当数訪れた。通夜・葬儀の演出は石井ふく子が担当し、棺の葬儀場入りの際は、棺を乗せた車が1時間をかけて明治座、帝国劇場、芸術座をまわり、沿道には1万人のファンが集まった。遺体は渋谷区の代々幡斎場で荼毘に付された。
同年2月19日にTBSが放送した追悼番組は、18.6%の高視聴率を獲得した。
晩年は朝の隅田川散歩を趣味とし、道すがら行われていた太極拳のグループに自らも参加しようとしたが、「いろいろ悪いところが出てきちゃうので（TBSラジオ『永六輔・遠藤泰子 誰かとどこかで』にて発言）」と初回体験以後は行わなかった。
山岡が逝去後に「徹子の部屋」へ池内が出演したときには、黒柳と二人で山岡との思い出を話して、晩年は池内、黒柳の三人に、親友であった永、夏木陽介などと一緒に以前から有料老人介護施設へ入居して隠居生活をしようと約束をしていたそうで、「そこでみんなで仲良くのんびり過ごしたいわね」という話があったと語っている。

『おかみ三代女の戦い』で共演した、当時人気絶頂のアイドルであった高橋由美子の素行の悪さに激怒し 「このチンピラ!!」と一喝した、とある女性週刊誌で報道された（この報道をきっかけに、高橋=素行悪しのイメージが世間に広まってしまい、高橋は人気が低迷したと言われている）。
ただ、この件については上記の週刊誌報道が誇張しているといえた側面も大きい。実際には番組制作発表の際に山岡が「高橋（由美子）さんは演技では優等生だけど、もし私だったら、あんなチンピラに旅館の女将は任せない」という発言をしたことが発端とされており、後に高橋由美子自身が『徹子の部屋』において「あれは女子高校生が旅館の女将に抜擢されるというドラマ設定を踏まえた発言で、実際の山岡さんは優しかった」と発言し、また生前山岡との親交が深かった黒柳徹子も「山岡さんは本心でそんな事をおっしゃる方ではない」と発言した。また、某有力芸能事務所が自社所属アイドルを売り出すために、当時アイドル界の頂点に君臨していた高橋に対する「潰し」を仕掛けた陰謀であるとの説もあるほか、山岡の使った「チンピラ」という言葉自体、元来「駆け出しの若輩者」といったニュアンスでも使われることから、必ずしも高橋本人の素行の悪さを指摘した言葉であったかどうかは今となっては不明である。
和田アキ子との逸話
和田アキ子も山岡に叱責された1人である。山岡と和田は、1973年、TBS系ドラマ『あんたがたどこさ』で初共演。このドラマの撮影に遅刻した和田は共演者に謝罪せず、そのまま撮影に臨もうとしたのだが、その姿を見た山岡は咄嗟に数多くの共演者やスタッフがいる前で、激しく和田を叱責。あまりの剣幕に怯えた和田は泣き出すが、山岡は「泣けば良いって云う訳ではないでしょ!、時間を守るのは人として当たり前の事です」と更に叱責した。
これ以来、和田は挨拶の大切さや時間厳守を教えてくれた山岡を「（芸能界での）おっ母（かあ）」と呼び、深く尊敬するようになったと云う。和田は毎年山岡の誕生日に花束を贈り、山岡も和田のことを真の娘の様に可愛がったと云う。TBS系バラエティー番組『テレビ探偵団』にゲストで出演した際、司会の三宅裕司からの「今まで、ドラマで印象に残っている娘役は?」という質問に対し、山岡は「和田アキ子」と答え、和田との交流エピソードを紹介した（和田からプレゼントされた指輪のことや和田への手作り弁当のことなど）。のちに、別番組でそのVTRを見た和田は、涙を流した。
今日、和田が『芸能界のゴッドねえちゃん』と呼ばれる程、後輩に対して礼儀作法にうるさく指摘する様になったり、色々と面倒をみる様になったのは、この時の山岡の厳しい一言のお陰だという（TBSテレビ『アッコにおまかせ!』での発言より）。

* しとやかな獣（監督：川島雄三、1962年、前田よしの役）
* 雁（監督：池広一夫、1966年）
* カモとねぎ（監督：谷口千吉、1968年）
* かげろう（監督：新藤兼人、1969年）
* 赤頭巾ちゃん気をつけて（監督：森谷司郎、1970年）
* 青幻記 遠い日の母は美しく （1973年、東和）
* 悪魔の手毬唄（監督：市川崑、1977年、井筒いと役）
* 植村直己物語（監督：佐藤純彌、1986年）
* 次郎物語（監督：森川時久、1987年）
* 善人の条件（監督：ジェームス三木、1989年、清川いさ子役）
* 釣りバカ日誌7（監督：栗山富夫、1994年、田上夏江役）
* 秋桜（監督：すずきじゅんいち、1997年）
テレビドラマ
* 氷雨（1959年、NHK）　-　DVD発売
* 娘と私（1961年 - 1962年、NHK）
* 虹の設計（1964年 - 1966年、NHK）
* ただいま11人（1964年 - 1967年、TBS）
* 東芝日曜劇場・女と味噌汁（1965年 - 1980年、TBS、村井すが役）
* ザ・ガードマン第54話「秘められた愛情」（1966年、大映テレビ室、TBS）
* 肝っ玉かあさん（1968年 - 1972年、TBS、清田八重役）
* ありがとう（1970年 - 1975年、TBS）
* あしたからの恋（1970年、TBS、谷口常子役）
* みんなで7人（1972年 - 1973年、TBS、長岡正子役）
* あんたがたどこさ（1973年 - 1975年、TBS）
* 東芝日曜劇場・おんなの家（1974年 - 1993年（日曜劇場の単発ドラマとしての最後の作品）、TBS、葵役）
* おんな家族（1974年、TBS）
* 家族あわせ（1974年、TBS）
* 明日がござる（1975年 - 1976年、TBS）
* いごこち満点（1976年、TBS、青山ハナ役）
* 三男三女婿一匹（1976年-1980年、TBS）
* 晴れのち晴れ（1977年、TBS）
* ドラマ人間模様・夫婦（1978年、NHK）
* やる気満々（1979年、TBS）
* 愛（1979年、TBS）
* 心（1980年、TBS）
* 水曜劇場・拳骨にくちづけ（1981年、TBS）
* 野々村病院物語（1981年、TBS、看護婦長・広島友子役）
* ちょっといい姉妹（1981年 - 1982年、TBS）
* さよなら三角またきて四角（1982年、TBS）
* 野々村病院物語II（1982年 - 1983年、TBS、看護婦長・四方直子役）
* 風の中のあいつ（1984年、NTV）
* ドラマ人間模様・國語元年（1985年、NHK、秋山和津役）
* 年末時代劇スペシャル （NTV）
** 忠臣蔵（1985年、スズ役）
** 白虎隊（1986年、井上とめ子役）
** 田原坂（1987年、石千代役）
* 火曜サスペンス劇場「女の中の風」（1988年、NTV / 東映）
* 水曜グランドロマン「別宅にて急逝」（1989年、NTV）
* 花も実もある（1990年、NHK）
* 渡る世間は鬼ばかり（1990年 - 1997年（1998年、第4シリーズ第1回の第3シリーズの総集編）TBS、岡倉節子役、アメリカ旅行に出る形で降板直後に永眠、ニューヨークで客死した設定となる）
* 木曜ゴールデンドラマ 「さらば愛しき人よ」（1991年12月5日、讀賣テレビ）
* 六畳一間一家六人（1992年、NHK）
* 女の言い分（1994年、TBS、西郷蒔子役）
* おかみ三代女の戦い（1995年、TBS、久松志津枝役）
* 魔の季節（1995年、TBS、渡紀久枝役）
* 金のたまご（1997年、TBS、桜井りえ役）
* 裸の大将放浪記（関西テレビ・東阪企画）
舞台
* 流水橋（共演・森光子）
: 文化庁芸術祭賞、菊田一夫演劇賞を受賞。
* おもろい女（共演・森光子、芦屋雁之助）
* 雁（共演・若尾文子、東山紀之）
* 近松心中物語（共演・平幹二朗、太地喜和子、市原悦子）
* 元禄港歌（共演・平幹二朗、太地喜和子、市原悦子）
* ハムレット（共演・平幹二朗、中野良子）
* 鶴亀屋二代（共演・森繁久彌、堺正章、京塚昌子）
* ナポリの王様（共演・森繁久彌、小沢栄太郎）
* 遙かなり山河（共演・森繁久彌、司葉子）
* 櫻姫（共演・佐久間良子、江守徹）
* 初蕾（共演・池内淳子、長山藍子）
* レティスとラベッジ（共演・黒柳徹子）
* 夫婦（共演・芦田伸介）
* トーチソングトリロジー（共演・鹿賀丈史）
* もず（共演・古手川祐子、淡路恵子）
* 渡る世間は鬼ばかり（共演・藤岡琢也、泉ピン子）
* 幸福（共演・長山藍子、赤木春恵）
* かたき同志（共演・京塚昌子、泉ピン子）
* 夢千代日記
* 田川のお仙
* うちのおばあちゃん
* 結婚する手続き（共演・宇津井健、長山藍子）
* いくじなし（共演・沢田雅美、新藤栄作）
吹き替え
* アガサ・クリスティー ミス・マープルシリーズ（1984年 - 1992年、NHK、テレビ東京） ミス・マープル役
* キャサリン・ヘプバーンの吹き替え
** 大草原
** アフリカの女王
** 去年の夏 突然に
CM
* キッコーマン
* 日本コカ・コーラ「スプライト」
* ミツカン「すし酢」