9 мая 1990 года НХЛ одобрило сделку, по которой Джордж и Гордон Ганд, продав «Миннесоту Норс Старс», получили права на новый клуб в районе залива у Сан-Франциско. 6 сентября того же года было объявлено, что новая команда будет называться «Шаркс» — «Акулы». Через несколько недель после этого Джордж Ганд и мэр города Сан-Хосе заявили, что домом команды с сезона-93/94 станет новая арена в центре Сан-Хосе.
Таким образом, первые два сезона «Шаркс» проводили домашние игры в «Кау Коллизеуме», расположенном на окраине Сан-Франциско, в 80 километрах на север от Сан-Хосе. Свой первый матч «Акулы» сыграли 4 октября 1991 года в Ванкувере и проиграли 3:4. 8 октября того же года «Шаркс» одержали свою первую победу, переиграв на своём льду «Калгари» 4:3. Первые два сезона стали самыми неудачными в короткой истории клуба. В сезоне-92/93 команда проиграла 71 игру, установив тем самым новый рекорд НХЛ по количеству поражений. Одним из немногих приятных воспоминаний для болельщиков в тот год стала игра латышского вратаря Артура Ирбе, который хоть и проиграл 33 игры при всего 7 победах, стал одним из популярных игроков команды. 17 ноября 1992 года он отразил 39 бросков «Лос-Анжелес Кингз» и одержал первую «сухую» победу в истории «Шаркс».
Сезон-93/94 команда начала не только в новом доме, но и с новым тренером. 35-летний Кевин Константин сделал ставку на игру от обороны, и она принесла ощутимые плоды. В тот же год в Сан-Хосе свою вторую молодость переживали российские ветераны — Сергей Макаров и Игорь Ларионов. Артур Ирбе стал играть значительно надёжнее, а молодой защитник Сандис Озолиньш был готов в любую минуту подключиться к атаке. Благодаря им «Шаркс» впервые в своей истории пробились в плэй-офф и преподнесли там большой сюрприз, обыграв в первом раунде «Детройт» в семи играх. Во втором раунде они были остановлены «Торонто» также в семи матчах.
Сезон-94/95 не был таким удачным, как предыдущий, но «Акулы» снова попали в плэй-офф и снова победили на первом этапе, на этот раз «Калгари» в семи играх. Во втором раунде «Детройт» взял уверенный реванш за поражение в прошлом году, выиграв все четыре матча с общим счётом 24:6.
Начало сезона-95/96 сложилось для «Акул» катастрофически. Команда отказалась от услуг Макарова и Ирбе, а Ларионов и Озолиньш были обменяны. После первых 25 игр Константин был уволен со своего поста. Всё это привело к потере сезона.
На будущий год генеральный менеджер клуба Дин Ломбарди решил сделать ставку на ветеранов — на лёд в форме «Шаркз» выходили Эл Айфрэт, Келли Хруди, Марти Максорли, Тони Гранато, Берни Николс. Ломбарди также совершил обмен с «Чикаго» и получил вратаря Эда Белфора. Но несмотря на наличие таких игроков, команда так и не смогла пробиться в плэй-офф, в первую очередь из-за крайне неквалифицированного руководства тренеров.
Перед сезоном-97/98 на пост старшего тренера был нанят Дэррил Саттер. Эд Белфор не стал подписывать новый контракт с «Акулами», и Ломбарди провернул сделку с «Детройтом», получив вратаря Майка Вернона. В результате «Шаркз» выиграли 34 матча, вышли в плэй-офф, но проиграли в первом раунде «Далласу» в 6 матчах.
На следующий год «Сан-Хосе» улучшило свои показатели в регулярном сезоне на 2 очка, но снова уступило в первом раунде Кубка Стэнли, на этот раз «Колорадо».
В сезоне-99/2000 в составе «Шаркз» наконец-то разыгрался Оуэн Нолан, ставший главным наступательным оружием команды. Несмотря на то, что «Шаркз» сумели пробиться в плэй-офф лишь в последних матчах регулярного первенства, они снова потрясли НХЛ, обыграв в первом круге розыгрыша Кубка Стэнли чемпионов «регулярки» «Сент-Луис» в 7 играх. Однако во втором раунде уставшая команда из Сан-Хосе оказалась лёгкой добычей «Даллас Старз».
В сезоне-2000/01, имея в воротах лучшего новичка НХЛ, российского голкипера Евгения Набокова, а также полученного в результате обмена из «Анахайма» Теему Селянне, «Шаркс» уверенно прошли регулярный чемпионат, но оступились на «Сент-Луисе» в первом раунде Кубка Стэнли. В 2002 году «Сан-Хосе» впервые стали чемпионами своего дивизиона, шестой сезон подряд улучшая свои показатели в регулярном чемпионате. В плэй-офф они обыграли «Финикс», но в полуфинале конференции проиграли «Колорадо» в серии из семи матчей.
Перед следующим сезоном «Шаркз» называли в числе главных претендентов на победу в Кубке Стэнли, однако команда ужасно провела регулярный чемпионат и даже не пробилась в плэй-офф. По ходу сезона на посту старшего тренера вместо Дэррила Саттара встал Дуг Уилсон, а в марте 2003 Дин Ломбарди был уволен со своей должности генерального менеджера. В «Сан-Хосе» стали намечаться большие перемены.
К удивлению болельщиков и специалистов, уже в [[2004] году с Дугом Уилсоном на посту генерального менеджера, «Шаркс» вернулись в элиту лиги, заняв первое место в Тихоокеанском дивизионе, а в плэй-офф дойдя до финала Западной конференции. Наибольшая заслуга в успехе клуба принадлежала голкиперу Евгению Набокову и нападающему-ветерану Венсану Дамфуссу.
В сезоне-05/06 «Акулы» неожиданно оказались среди команд, привлекавших наибольший интерес. Такая ситуация образовалась после приобретения клубом из «Бостона» талантливого нападающего Джо Торнтона, который тут же стал показывать результативную игру, выиграв в итоге Харт Трофи и Арт Росс Трофи. С помощью Торнтона его партнёр по первому звену Джонатан Чичу смог выиграть Морис Ришар Трофи, забив 56 голов. Вот только в плэй-офф лидеры «Сан-Хосе» немного сбавили обороты, и команда сошла с дистанции во втором раунде.
Наибольшее количество очков за сезон — Джо Торнтон — 125 (29+96 в 2005-06 в 23 матчах за «Бостон» и 58 матчах за «Сан-Хосе» (20+72). Джонатан Чичу — 93 (56+37 в 2005-06)
Наибольшее количество заброшенных шайб за сезон — Джонатан Чичу — 56 (2005-06)
Наибольшее количество результативных передач за сезон — Джо Торнтон — 96 (2005-06, из них 72 передачи в 58 играх за «Сан-Хосе»)
Наибольшее количество штрафных минут за сезон — Линк Гаетц — 326 (1991-92)
Наибольшее количество очков, набранных защитником за один сезон — Сандис Озолиньш — 64 (26+38 в 1993-94)
Наибольшее количество «сухих» игр — Евгений Набоков — 9 (2003-04)
