В начале 70-х годов переехал в Сан-Франциско и начал участвовать в секс-шоу ночных клубов. В 1974 году снялся в первом порнофильме, начав тем самым успешнейшую карьеру. Из-за своего чувствительного и сдержанного характера, склонного тем не менее к юмору, чаще всего играл чудаковатых приятелей главного героя. Фирменным знаком Силверы стали его усы, которые он до сих пор стрижет по моде начала 80-х. Самым известным фильмом с его участием является фильм «9 ½ недель», где Силвера сыграл хорошо знакомую себе роль участника секс-шоу в клубе, в который зашли герои Микки Рурка и Ким Бейсингер.