Khi Định luật Moore , quan sát lâu đời về sự tăng trưởng theo cấp số nhân của mật độ bóng bán dẫn, bắt đầu suy yếu, nhu cầu về một giải pháp chuyên biệt và hiệu quả hơn trở nên cấp thiết. Trong một bài đăng trên blog từ năm 2017 [1] , Google Cloud đã giải thích về lịch sử đằng sau TPU như sau:
Mặc dù Google đã cân nhắc việc xây dựng một Mạch tích hợp dành riêng cho ứng dụng (ASIC) [2] cho mạng nơ-ron từ năm 2006 , nhưng tình hình trở nên cấp bách vào năm 2013. Đó là lúc chúng tôi nhận ra rằng nhu cầu tính toán ngày càng tăng nhanh của mạng nơ-ron có thể đòi hỏi chúng tôi phải tăng gấp đôi số lượng trung tâm dữ liệu đang vận hành.
Thông thường, việc phát triển ASIC mất vài năm. Tuy nhiên, trong trường hợp của TPU, chúng tôi đã thiết kế, kiểm tra, xây dựng và triển khai bộ xử lý này cho các trung tâm dữ liệu của mình chỉ trong 15 tháng .
15 tháng!! Khi nghe tập Acquired gần đây về Alphabet [3] , tôi chợt nhớ ra rằng chính Google mới là bên có thể tập hợp được đội ngũ “Siêu trí tuệ” thực thụ với chi phí chỉ bằng một phần nhỏ so với Meta đã làm được trong năm nay. Thực tế, có thể chúng ta sẽ không thấy mật độ nhân tài như vậy trong vài thập kỷ nữa. Trích từ Acquired (đã được chỉnh sửa đôi chút cho rõ ràng):
Sẽ thế nào nếu tôi nói với bạn rằng, trong khoảng thời gian từ năm 2015 đến năm 2016—12 tháng sau khi Alphabet chuyển đổi—tất cả những người sau đây đều là nhân viên của Google: Alex Krizhevsky của AlexNet (thường được coi là buổi bình minh của AI học máy hiện đại); cố vấn tiến sĩ của ông, Geoffrey Hinton (“cha đỡ đầu của AI” và là cộng sự của ông trong bài báo AlexNet); Ilya Sutskever (nhà khoa học sáng lập của OpenAI); Dario Amodei (đồng sáng lập, cùng với chị gái của mình, của Anthropic); Andrej Karpathy (cho đến gần đây là nhà khoa học AI trưởng tại Tesla); Chris Olah; Noam Shazeer; Ian Goodfellow; và tất nhiên, những người đồng sáng lập DeepMind—được Google mua lại vào năm 2014—Demis Hassabis, Shane Legg và Mustafa Suleyman (người điều hành AI tại Microsoft hiện nay); Andrew Ng từ Stanford; và, ngoài tất cả những người đó, còn có các tác giả của bài báo về Transformer, vì Google đã phát minh ra Transformer và xuất bản bài báo vào tháng 6 năm 2017.
Tất nhiên, hầu hết những người này đã rời Google kể từ đó. Thật dễ dàng để đổ lỗi cho văn hóa Google và những thứ tương tự về sự ra đi như vậy, nhưng dường như ít người sẵn sàng suy ngẫm về việc làm thế nào mà Google có thể tập hợp được một đội ngũ dày đặc tài năng như vậy ngay từ đầu. Thực tế là trong số tất cả các công ty công nghệ lớn, Google là sân chơi tinh túy cho hầu hết các nhà công nghệ tài năng trong phần lớn những năm 2000 và 2010, và mặc dù các nhà phê bình không nhất thiết sai về sự suy thoái chung và văn hóa quan liêu ngày càng tăng trong công ty theo thời gian, nhưng việc giữ chân một đội ngũ dày đặc tài năng như vậy gần như luôn là điều bất khả thi. Hơn nữa, độc quyền kéo dài hai thập kỷ có thể sẽ ăn mòn văn hóa của hầu hết các công ty; có lẽ mối đe dọa mà cỗ máy in tiền của họ, tức là Search, phải đối mặt trong thế giới AI, là thời điểm tuyệt vời để thiết lập lại văn hóa. Nhìn vào nhịp độ vận hành của Google kể từ một số thất bại ban đầu sau ChatGPT có thể gợi ý về một sự thiết lập lại như vậy.
Dù sao thì, quay lại với TPU. Mục tiêu ban đầu không phải là bán chip; mà là duy trì tốc độ cho các sản phẩm của Google và giữ hóa đơn tiền điện ở mức hợp lý. Các TPU có khả năng huấn luyện (v2/v3) xuất hiện sau đó, tiếp theo là các hệ thống quy mô lớn (v4/v5) và gần đây nhất là thế hệ suy luận đầu tiên ( Ironwood ) [4].
Không giống như Nvidia, công ty đã trở thành công ty lớn nhất thế giới nhờ bán GPU, Google đã chọn giữ bản quyền TPU.
Nguồn tham khảo:
1. https://cloud.google.com/blog/products/ai-machine-learning/an-in-depth-look-at-googles-first-tensor-processing-unit-tpu
2. https://en.wikipedia.org/wiki/Application-specific_integrated_circuit
3. https://www.acquired.fm/episodes/alphabet-inc
4. https://blog.google/products/google-cloud/ironwood-tpu-age-of-inference/
