John Davison Rockefeller sinh ngày 8 tháng 7 năm 1839 trong một trang trại ở Richmond,Newyork.Ông là người con thứ 2 trong sáu người con của William Avery và Eliza Davison Rockefeller. Gia đình John Davison sống rất khó khăn. Bố của John là một người bán quán ở vỉa hè và mất khoảng  25 nghìn đô cho mỗi lần điều trị bệnh ung thư. Lúc đó,bố của ông đã đi sang nước ngoài và mất tích sau nhiều tháng. Mẹ John phải nuôi cả gia đình một mình. Bà là người rất chu đáo và có kỉ luật. Bà đã dạy các con của bà phải làm việc, tiết kiệm và  thường đưa các con tới các hội từ thiện.

Sau khi rời tới Moravia và sau đó tới Owego, Newyork, cả gia đình John lại chuyển tới Ohio vào năm 1853. Họ đã mua một ngôi nhà gần Cleveland ở Strongsville,Ohio và John đi học ở trường trung học Central ở Cleveland. John tốt nghiêp trung học vào năm 1855 và tham gia một khóa học kinh doanh ở trường đại học Folsom Mercantile. Ông hoàn thành khóa học trong 3 tháng và bắt đầu kiếm một công việc là thủ quỹ hay thư kí ở Cleveland.

Vào năm 1855, công việc kinh doanh ở Cleveland  gặp bất lợi, John cũng gặp khó khăn để kiếm 1 việc làm. Sau sáu tuần, Hewitt & Tuttle, một công ty nhỏ chuyên chở hàng bẳng tàu  đã thuê ông làm nhân viên kế toán. Rockerfell làm việc rất chăm chỉ và tạo ấn tượng với các ông chủ của ông. Công việc của ông là sắp xếp việc vận chuyển những chuyến hàng cồng kềnh  giao dịch giá cước chuyên chở bằng xe lửa, kênh đào và các tàu trên hồ. Ông bắt đầu buôn bán với tài khoản riêng của mình và nhờ sự phối hợp cẩn thận, chính xác cùng lòng quyết tâm cao, ông đã gây sự chú ý cho tổ chức thương mại Cleveland.

Vào năm 1859, vài tháng trước sinh nhật lần thứ 20 của mình, Rockerfeller đã chính thức tham gia hoạt động  kinh doanh cá nhân, ông cùng chung cổ phần với một người bạn là Maurice Clark. Mỗi người góp 2000 đô. John chỉ có 1000 đô ông đã tiết kiệm lâu nay và ông phải mượn thêm 1 nghìn đô của cha mình. Nhờ khả năng kinh doanh bẩm sinh của Rockefeller, ngay trong năm đầu kinh doanh, Clack và Rockefeller đã kiếm được một số tiền lãi nhỏ và công ty trở nên rất thành công. Công việc kinh doanh của họ ngày càng được mở rộng trong suốt cuộc nội chiến và công ty tiếp tục tăng thêm lợi nhuận.

Vào năm 1863, Rockefeller and Clark tham gia vào kinh doanh dầu với vai trò tinh chế. Cleveland đã trở thành trung tâm lọc dầu chính vì sự phát triển của công nghệ lọc dầu mới. Cùng với một cộng sự mới Samuel Andrews, người có  nhiều kinh nghiệm trong việc lọc dầu và hai anh trai của Maurice Clark, họ đã xây dựng lên Andrews, Clark & Co. Nhưng năm người không chung ý kiến về việc bỏ vốn cho việc mở rộng công ty vì vậy vào năm 1865, Rockfeller đã mua cổ phần của Clark với giá 72.500 đô. Và ông cùng với Andrew  lập nên công ty Rockefeller & Andrews. Ở tuổi 24, Rockfeller đã đầu tư  rất nhiều cho việc kinh doanh và ngày càng mở rộng hơn nữa. Ông đã tái đầu tư tất cả tiền lãi của mình vào việc kinh doanh và quyết định từng bước đẩy mạnh phát triển công ty của mình. Năm 1866, John đã đưa anh trai của mình là William vào kinh doanh để quản lý một văn phòng ở Thành phố New York nhằm điều khiển việc xuất khẩu hàng.

Năm 1870, ông thành lập tập đoàn dầu mỏ cùng với anh trai ông William, Samuel Andrews, Henry M. Flagler, Stephen V. Harkness và O. B. Jennings. Rockfeller cảm thấy việc buôn bán dầu mỏ đang rất xáo trộn.Giá cả đầu vào thấp và thị trường đang được cung cấp thừa dầu, kết quả là gây ra sự lãng phí cao. Ông cũng nhận ra sự thiếu năng lực của các công ty nhỏ hơn, họ muốn cố gắng tồn tại nên hạ giá xuống thấp dưới mức giá của sản phẩm và gây thiệt hại nặng nề cho những công ty lớn như của ông. Ông đã đưa ra giải pháp là hợp thành một công ty lớn, kiểm soát việc lọc dầu và đưa vào kho chứa dầu, sản xuất những sản phẩm phụ thuộc như sơn và keo.Trước năm 1872, công ty dầu đã bán và kiểm soát gần như tất cả công ty lọc dầu ở Cleveland. Standard Oil đã thành công và tất cả tài sản của công ty được hợp lại vào năm 1882 trong Standard Oil Trust, một tập đoàn  dầu mỏ lớn .

Năm 1896, Rockfeller quyết định từ bỏ việc lãnh đạo trong kinh doanh và tham gia vào công việc từ thiện. Ngay từ khi còn nhỏ, những lời dạy của mẹ đã ăn sâu vào tâm trí ông, ông đã góp phần xây dựng nhà thờ của quê hương mình và những hội từ thiện khác.Từ giữa những năm 1890 cho đến lúc chết, ông đã tham gia rất nhiều hoạt động từ thiện.

Năm 1901, với tài sản trị giá 900 triệu USD, ông được xem là người đàn ông giàu nhất thế giới. Tài sản của của ông đến cuối đời lên đến 200 tỷ đôla.

Rockfeeler mất vào ngày 23 tháng 5 năm 1937 ở tuổi 97. Ông được chôn cất ở Lakeview Cemetery, Cleveland.