Klub Awal

Hyypiä memulai kariernya bersama Pallo-Peikot di mana dia bermain di banyak posisi kecuali posisinya saat ini yaitu sebagai pemain bertahan^[5] dan KuMu, sebelum bergabung dengan klub divisi utama Finlandia (Veikkausliiga) MyPa pada musim 1992. Di sana dia berhasil memenangkan tropi Piala Finlandia bersama MyPa pada tahun 1992 dan 1995. Pada tahun 1995, dia mendapatkan kesempatan untuk berlatih di Newcastle United dan merasakan untuk pertama kalinya sepak bola Inggris pada usia 22. Hyypiä berkomentar "(Newcastle) sangat membantu karier saya. Saya pernah berlatih selama dua minggu pada tahun 1995 di bawah bimbingan Kevin Keegan dan itu membuat saya mengetahui lebih dalam tentang sepak bola Inggris. Saat itu saya hanya seorang pemain muda dari Finlandia dan saya sungguh tidak berharap banyak. Saya hanya pergi untuk mencari pengalaman, tetapi itu adalah pengalaman yang sangat bagus dan saya sangat menikmati waktu saya di sana. Semua itu banyak membantu saya untuk melihat lebih dekat klub besar Inggris dan berharap dapat kembali lagi ke Inggris."

Willem II Tilburg

Setahun setelah itu Hyypiä bergabung klub Belanda Willem II. Hyypiä bermain selama 4 tahun bersama klub Eredivisie tersebut dan dalam waktu singkat menjadi pujaan dan mendapat hati para fans dengan meraih penghargaan sebagai fan's player of the year pada tahun terakhir berkarier di sana.^[5] Hyypiä menjadi kapten dalam kualifikasi menuju Liga Champions, meskipun akhirnya dia tidak bermain di sana lagi di musim berikutnya.

Liverpool

Pada 19 Mei 1999, Hyypiä dibeli oleh Liverpool, tim yang didukungnya semenjak kecil, dengan harga £2,6 juta, dia direkomendasikan kepada mantan chief executive Peter Robinson oleh seorang kameramen TV.^[7] Segera setelah kedatangannya, Hyypiä segera menjadi bek tengah yang tangguh berpasangan dengan Stéphane Henchoz. Pada musim kompetisi 2000–2001, Hyypiä menjadi kapten bergantian dengan Robbie Fowler ketika Jamie Redknapp, sang kapten tim, mengalami cedera panjang. Selama musim tersebut, Hyypiä dan Fowler memimpin tim untuk meraih treble yang sangat bersejarah: Worthington Cup, Piala FA dan Piala UEFA.

Pada tahun 2002, Hyypiä menjadi kapten tim sepenuhnya setelah Redknapp, mengalami cedera yang sangat panjang, serta bersama Fowler meninggalkan klub. Setelah permulaan yang sangat baik dalam kariernya bersama Liverpool akhirnya menurun dan pada musim 2003 posisi Hyypiä sebagai kapten digantikan oleh Steven Gerrard.

Pada tahun 2003, Hyypiä menerima kartu merah ketika bertanding melawan Manchester United, satu-satunya kartu merah dalam kariernya.^[8]

Pada tahun 2004, manajer Liverpool yang baru Rafael Benítez mengubah posisi Jamie Carragher untuk berpasangan dengan Hyypiä di posisi bek tengah. Tampaknya ini yang membuat Hyypiä bersama tim meraih sukses di musim tersebut, dengan menjuarai Liga Champions, di belakang mereka berdua membuat barisan pertahanan sangat solid. Pada 10 Agustus 2005, dilaporkan bahwa Hyypiä setuju untuk memperbaharui kontrak selama 3 tahun setelah berdiskusi selama seminggu bersama the Reds yang membuat dia akan bertahan di Anfield hingga 2008.

Selama musim 2005–2006 dia menjadi pilihan ketiga untuk posisi kapten setelah Jamie Carragher terpilih sebagai wakil Gerrard. Di musim ini pula dia masuk menjadi 25 pemain Liverpool sepanjang sejarah yang paling banyak bermain bersama klub saat tampil di Carling Cup melawan Arsenal pada Januari 2007.

Banyak spekulasi yang berkembang pada musim panas 2007 di mana dia dihubungkan dengan Fulham, Newcastle United, Reading dan Wigan Athletic,^[9] Namun Hyypiä meyakinkan bahwa dia akan bertahan hingga kontraknya berakhir.^[10] Pada 25 Agustus 2007, Hyypiä mengalami cedera hidung saat pertandingan tandang melawan Sunderland di Stadium of Light. Namun dia segera sembuh dan tampil kembali saat pertandingan melawan Toulouse dalam pertandingan kualifikasi Liga Champions Eropa pada 28 Agustus 2007, di mana saat itu dia mencetak gol kedua Liverpool dalam pertandingan tersebut. Saat itu dia mengenakan ban kapten menggantikan Steven Gerrard dan Jamie Carragher harus absen.

Pada April 2008, Hyypiä menandatangani kontrak baru hingga musim panas 2009. Benitez merasa bahwa dia adalah contoh yang baik bagi para pemain bertahan muda seperti Martin Škrtel dan Daniel Agger. Musim 2008–2009 akan menjadi tahun kesepuluh kariernya sebagai pemain bertahan di Liverpool.

Pada 2 Maret 2008 dalam pertandingan melawan Bolton Wanderers, Hyypiä tercatat sebagai 20 pemain Liverpool FC yang tampil terbanyak sepanjang masa.

Pada 8 April 2008, dia mencetak gol balasan Liverpool ke gawang Arsenal dalam babak perempat final Liga Champions. Liverpool memenangkan pertandingan dengan mencetak tiga gol ke gawang Arsenal, dengan skor akhir 4–2, membawa Liverpool melangkah ke semifinal.

Pada 30 April 2008, dia melakukan pelanggaran pada Michael Ballack sehingga membuat Chelsea memperoleh tendangan penalti pada babak perpanjangan waktu di pertemuan kedua semifinal Liga Champion 2008. Frank Lampard mencetak gol dari titik putih dan membawa Chelsea unggul 3–2.

Pada 22 Agustus 2008, pendatang baru di Liga Primer Inggris Stoke City memberikan penawaran £2,5 juta untuk Hyypia, tetapi Liverpool menolak tawaran tersebut.^[11]

Hyypiä terpilih menempati posisi no 19 dalam 50 pemain asing Liga Premier Inggris versi "Sky",^[12] di posisi 45 dalam 100 pemain asing terbaik versi majalah "Four Four Two",^[13] serta terpilih menempati posisi no 38 dalam "100 Players Who Shook the Kop" ^[14]

Bayer Leverkusen

Sami pindah ke tim Bundesliga pada transfer musim panas Juni 2009, membuat debut pertamanya bersama Leverkusen pada 8 Agustus melawan 1. FSV Mainz 05. Ia mencetak gol perdananya di Bundesliga pada tanggal 24 Januari 2010, ketika Leverkusen mengalahkan TSG Hoffenheim 3-0.

Hyypiä mengumumkan pada 6 Oktober 2010, bahwa pasca pensiun ia berencana untuk bergabung dengan Leverkusen sebagai asisten manajer. Pada 2 Mei 2011 Hyypiä mengumumkan mengakhiri karier sepak bolanya.