Xã Sơn Vy có 2 làng gồm: làng Do Nghĩa và Sơn Vy, đây là một trong những cái nôi của người Việt cổ, được minh chứng bởi di chỉ đồ đá cũ được gọi tên là “Văn hoá Sơn Vi”. Trong dòng chảy của lịch sử dân tộc, các thế hệ cư dân hai làng Do Nghĩa và Sơn Vy luôn đoàn kết, chung sức chung lòng, kề vai sát cánh, khai sơn, phá thạch, chiến thắng thiên tai, xây dựng nên một Sơn Vy sơn thuỷ, hữu tình. Người dân Sơn Vy luôn mộc mạc, hiền hoà trong sinh hoạt; đằm thắm, thuỷ chung trong quan hệ với bè bạn; cần cù, sáng tạo trong lao động sản xuất; dũng cảm, kiên cường trong chiến đấu với kẻ thù xâm lược.
Ở Sơn Vy, đầu những năm 1940, đã có một số cán bộ Đảng và Mặt trận Việt Minh của huyện Lâm Thao đã đến hoạt động, gây cơ sở ở làng Do Nghĩa và làng Sơn Vy; sau một thời gian tuyên truyền, vận động, đã giác ngộ được một số người ở làng Do Nghĩa, làng Sơn Vy trở thành những nhân tố tích cực trong tập hợp lực lượng, chuẩn bị làm cuộc cách mạng ở địa phương. Ngày 22/8/1945, chính quyền Cách mạng lâm thời làng Do Nghĩa được thành lập. Sáng 23/8/1945, chính quyền cách mạng lâm thời làng Sơn Vy được thành lập. Việc thành lập chính quyền cách mạng lâm thời ở hai làng Do Nghĩa và Sơn Vy đã đánh dấu bước ngoặt quan trọng, mở ra thời kỳ mới – thời kỳ xây dựng và bảo vệ chính quyền cách mạng dân chủ nhân dân ở địa phương.
Thực hiện chủ trương của Chính phủ, cuối năm 1946 xã Do Nghĩa và xã Sơn Vy sáp nhập với xã Cao Mại, Vịnh Hương, Sơn Thị và lấy tên là xã Cao Mại (sau đổi tên là xã Nam Tiến). Đến tháng 12/1947, xã Việt Hùng được thành lập trên cơ sở các làng Do Nghĩa và Sơn Vi (được tách ra từ xã Nam Tiến), Thanh Mai và Mai Đình (được tách ra từ xã Cao Thắng - nay là xã Chu Hoá).
Dưới sự chỉ đạo của Ban cán sự Đảng huyện Lâm Thao, ngày 10/12/1947, tại Rừng Quẫn - Thanh Đình đã tổ chức Hội nghị thành lập Chi bộ Đảng xã Việt Hùng (tiền thân của Đảng bộ xã Sơn Vy ngày nay), với sự tham dự của 15 Đảng viên. Sự ra đời của chi bộ Đảng xã Việt Hùng đã đánh dấu một bước phát triển quan trọng của phong trào đấu tranh cách mạng ở huyện Lâm Thao nói chung, của xã Việt Hùng nói riêng. Kể từ đó, ngày 10/12/1947 đã trở thành ngày lịch sử trọng đại của Chi bộ, rồi Đảng bộ xã Việt Hùng, nay là Đảng bộ xã Sơn Vy.
Chi bộ xã Việt Hùng đã lãnh đạo và tổ chức thắng lợi nhiệm vụ “kháng chiến và kiến quốc” ở địa phương; nhân dân và lực lượng vũ trang của xã đã tổ chức rào làng kháng chiến, đánh thắng 03 cuộc càn quét của địch, tiêu diệt 3 tên giặc Pháp tại trận đánh Cống Sủng, thu nhiều vũ khí và thiết bị quân sự. Xã Việt Hùng cũng trở thành nơi đóng quân của một số đơn vị bộ đội chủ lực, bộ đội địa phương, nơi sơ tán của nhiều cơ quan đơn vị nhà nước, là nơi tản cư của đồng bào từ các tỉnh trong vùng tạm chiếm của địch sơ tán đến. Hòa bình lập lại, nhân dân địa phương đã đón nhận, nuôi dưỡng hàng trăm người con miền Nam thuộc đơn vị 99 tập kết ra Bắc trong hơn 1 năm.
Tổng kết cuộc kháng chiến chống thực dân Pháp, toàn xã có có 564 lượt người lên đường tòng quân giết giặc, trên 500 lượt người đi dân công, 120 lượt người đi thanh niên xung phong phục vụ hoả tuyến; đóng góp cho các mặt trận, các chiến trường 1.868 tấn lương thực, 12 con trâu, 44 con bò, 85 con lợn và trên 5.000 kg thịt gia cầm; nhiều đợt vận động mua công trái, quyên góp tiền vàng ủng hộ kháng chiến quy ra tiền Đông Dương được 35.600 đồng (tiền Đông Dương) và công trái kháng chiến. Toàn xã có 37 người hy sinh, được công nhận là liệt sỹ, 48 người trở thành thương binh, bệnh binh; tại địa phương có 20 người dân bị địch sát hại, 7 người bị thương, 98 ngôi nhà bị giặc đốt cháy, nhiều trâu bò, lợn gà, của cải vật chất khác bị cướp hoặc bị phá huỷ. Ghi nhận những cống hiến, hy sinh của cán bộ và nhân dân xã Việt Hùng, Đảng và Chính phủ đã tặng tập thể xã 01 Huy chương kháng chiến hạng Nhì, 530 người được tặng thưởng Huân chương, Huy chương kháng chiến các loại.
***
Cuộc kháng chiến chống thực dân Pháp kết thúc, cách mạng nước ta chuyển sang giai đoạn mới: Miền Bắc tiến hành cách mạng XHCN, Miền Nam tiếp tục đấu tranh chống Đế quốc Mỹ và tay sai, tiến tới thống nhất đất nước. Thực hiện chủ trương của Chính Phủ, tháng 9/1954 làng Thanh Mai và làng Mai Đình tách khỏi xã Việt Hùng để thành lập xã Thanh Đình; xã Việt Hùng còn lại 2 làng Do Nghĩa và Sơn Vy; sau 10 năm, ngày 06/11/1964 xã Việt Hùng được đổi tên là xã Sơn Vy. Tên Sơn Vy được lưu giữ cho đến ngày nay.
Ngay sau ngày Hiệp định Giơ-ne-vơ được ký kết, đất nước ta bị chia cắt thành 2 miền, miền Bắc tiến lên xây dựng CNXH, miền Nam tạm thời bị chia cắt do cuộc xâm lược của đế quốc Mỹ. Thực hiện khẩu hiệu “Tất cả vì miền Nam ruột thịt”, “Tất cả cho tiền tuyến, tất cả để đánh thắng giặc Mỹ xâm lược”, “Thóc không thiếu một cân, quân không thiếu một người”, trong cuộc kháng chiến chống Mỹ cứu nước, xã Sơn Vy đã có hơn 900 người lên đường ra mặt trận, 250 người tham gia thanh niên xung phong phục vụ tiền tuyến, huy động đóng góp hàng vạn ngày công xây dựng trận địa phòng không tại xã; có gần 100 gia đình nhường nhà ở của mình làm nơi làm việc cho các cơ quan, đơn vị về sơ tán; nhiều địa điểm trở thành kho tàng, trận địa phòng không, nơi đóng quân của đơn vị bộ đội; đã đóng góp cho nhà nước 4.500 tấn lương thực, 3.500 tấn thực phẩm. Đảng bộ và nhân dân Sơn Vi đã góp phần xứng đáng vào sự nghiệp giải phóng hoàn toàn miền Nam, thống nhất tổ quốc.
Hơn 20 năm thực hiện sự nghiệp xây dựng CNXH ở miền Bắc, đấu tranh chống Đế quốc Mỹ, giải phóng miền Nam, thống nhất nước nhà, đã có 109 người con ưu tú của xã Sơn Vi đã anh dũng hy sinh; 98 người là thương binh, 40 người trở thành bệnh binh; 70 dân thường bị bom đạn Mỹ giết hại và làm bị thương; 25 ngôi nhà bị bom đạn thiêu cháy; nhiều của cải vật chất khác bị phá huỷ. Đất nước vừa thống nhất thì súng lại nổ ở hai đầu biên giới; hàng trăm thanh niên xã Sơn Vi lại lên đường chiến đấu bảo vệ Tổ quốc, 140 người tham gia lực lượng xây dựng tuyến phòng thủ biên giới; đã có 17 người con của Sơn Vi đã anh dũng hy sinh.
Để ghi nhận những cống hiến và hy sinh to lớn của cán bộ và nhân dân xã Sơn Vi, Đảng và Nhà nước ta đã tặng thưởng hơn 400 Huân chương, Huy chương kháng chiến và Huân chương chiến công cho các tập thể và cá nhân trong xã; 14 bà mẹ được truy tặng danh hiệu vinh dự nhà nước "Bà mẹ Việt Nam anh hùng"; 01 người được tặng danh hiệu Chiến sỹ thi đua toàn quốc; năm 1972, Đảng bộ và nhân dân xã Sơn Vy được tặng thưởng 01 Huân chương Kháng chiến hạng Nhất, 01 Huân chương Lao động hạng Ba.
***
Thực hiện công cuộc đổi mới do Đảng ta khởi xướng và lãnh đạo, với phương châm “Phát triển kinh tế là nhiệm vụ trọng tâm; xây dựng Đảng là nhiệm vụ then chốt; xây dựng và phát triển nền văn hóa Việt Nam tiên tiến, đậm đà bản sắc dân tộc là nền tảng tinh thần của xã hội”. Từ năm 1986 đến nay, Đảng bộ xã Sơn Vy tổ chức 10 kỳ đại hội (từ kỳ Đại hội lần thứ 19 đến kỳ Đại hội lần thứ 28). Trong gần 40 năm qua, mặc dù phải đối phó với nhiều khó khăn, thách thức, nhưng với tinh thần quyết tâm cao, Đảng bộ và nhân dân Sơn Vi đã vận dụng sáng tạo các chủ trương, đường lối của Đảng, chính sách, pháp luật của Nhà nước, ra sức phát huy nội lực, tranh thủ tối đa các nguồn lực từ bên ngoài, nỗ lực phấn đấu và đã thu được những kết quả rất đáng khích lệ.
Năm 2022, xã Sơn Vi đã được UBND tỉnh Phú Thọ công nhận là xã Nông thôn mới nâng cao.