Chương 9
TRÍ TUỆ NHÂN TẠO SẼ VƯỢT MẶT CHÚNG TA KHÔNG?
Trí thông minh là trung tâm ý nghĩa đối với loài người. Mọi thứ mà nền văn minh đem đến đều là sản phẩm của trí tuệ con người.
ADN di truyền bản thiết kế của sự sống qua các thế hệ. Những dạng sống phức tạp hơn thu nhận thông tin từ các thụ quan như mắt và tai rồi xử lí thông tin trong não và các hệ thống khác để xác định cách hành động và rồi hành động trên thế giới, bằng cách đưa ra thông tin cho các cơ, chẳng hạn. Vào lúc nào đó trong 13,8 tỉ năm lịch sử vũ trụ của chúng ta đã xảy ra thứ gì đó hay ho. Quá trình xử lí thông tin này thông minh đến mức các dạng sống bắt đầu có ý thức. Vũ trụ của chúng ta lúc này bừng giấc, trở nên tự nhận thức về nó. Tôi xem đó là một thành tựu khi chúng ta, chẳng hơn gì ngoài là bụi sao, đã đi đến nhận thức chi tiết về vũ trụ mà chúng ta đang sinh sống.
Tôi nghĩ chẳng có sự khác biệt đáng kể nào giữa cách bộ não của con giun đất hoạt động và cách một máy tính hoạt động. Tôi cũng tin sự tiến hóa ngụ ý rằng chẳng có sự khác biệt định tính nào giữa bộ não của giun đất và bộ não người. Vì thế suy ra các máy tính có thể, trên nguyên tắc, cạnh tranh với bộ não con người, hoặc thậm chí tốt hơn nó. Rõ ràng có khả năng có thứ gì đó có được trí thông minh cao hơn so với tổ tiên của nó: chúng ta đã tiến hóa thông minh hơn các tổ tiên linh trưởng của mình, và Einstein thông minh hơn bố mẹ của ông.
Nếu các máy tính tiếp tục tuân theo Định luật Moore, tăng gấp đôi tốc độ và dung lượng bộ nhớ sau mỗi mười tám tháng, thì kết quả là các máy tính có thể vượt mặt con người về trí thông minh vào lúc nào đó trong trăm năm tới. Khi một trí tuệ nhân tạo (AI) trở nên tốt hơn con người ở việc thiết kế AI, để nó có thể tự nâng cấp nó mà chẳng cần con người hỗ trợ, thì chúng ta có thể đối mặt trước một sự bùng nổ trí thông minh cuối cùng sẽ khiến máy móc có trí thông minh vượt quá chúng ta còn nhiều hơn cả so với chúng ta vượt mặt loài ốc sên. Khi điều đó xảy ra, chúng ta sẽ phải đảm bảo rằng các máy tính có các mục tiêu cộng tuyến với của chúng ta. Người ta đang cố gắng bác bỏ khả năng máy móc có trí thông minh cao, xem đó chỉ là thuần túy hư cấu khoa học, song đây sẽ là một sai lầm, và có khả năng là sai lầm tệ hại nhất mà chúng ta từng phạm phải.
Trong chừng hai mươi năm qua, AI đã tập trung vào các vấn đề xung quanh việc xây dựng các đại lí thông minh, các hệ thống thu nhận và hành động trong một môi trường đặc biệt. Trong khuôn khổ này, trí thông minh liên quan đến các khái niệm thống kê và kinh tế về tính hợp lí – nghĩa là, theo thông tục, khả năng đưa ra quyết định, lên kế hoạch hay suy luận đúng. Do bởi nghiên cứu mới này, đã có mức độ lớn của sự hợp nhất và thụ tinh chéo giữa AI, học máy, thống kê học, lí thuyết điều khiển, khoa học thần kinh và các lĩnh vực khác. Việc thiết lập các khuôn khổ lí thuyết chung, kết hợp với tính sẵn dùng của dữ liệu và công suất xử lí, đã mang lại những thành công nổi bật trong những nhiệm vụ thành phần đa dạng, ví như nhận dạng giọng nói, phân loại ảnh, xe tự lái, dịch máy, vận động bằng chân và các hệ thống hỏi-đáp.
Khi sự phát triển trong lĩnh vực này và các lĩnh vực khác chuyển từ nghiên cứu trong phòng thí nghiệm sang các công nghệ có giá trị kinh tế, một vòng tròn luân lí phát triển, nhờ đó những cải tiến dù nhỏ về hiệu suất cũng rất đáng đồng tiền bát gạo, thúc đẩy sự đầu tư nhiều hơn và rộng hơn cho nghiên cứu. Ngày nay có một sự nhất trí rộng rãi rằng nghiên cứu AI đang tiến bộ đều đặn và tác động của nó đối với xã hội có khả năng tăng lên. Những lợi ích tiềm tàng thật to lớn; chúng ta không thể dự báo chúng ta có thể thu được những gì khi trí thông minh này được khuếch trương bởi các công cụ mà AI cung cấp. Sự diệt trừ tận gốc bệnh tật và nghèo đói là có thể. Do tiềm năng to lớn của AI, điều quan trọng là nghiên cứu làm thế nào thu hoạch những lợi ích của nó đồng thời tránh được các cạm bẫy. Thành công trong việc sáng tạo AI sẽ là sự kiện lớn nhất trong lịch sử nhân loại.
Thật không may, nó cũng có thể là sự kiện cuối cùng, trừ khi chúng ta học được cách né tránh các hiểm họa. Với vai trò một bộ công cụ, AI có thể gia cố trí thông minh hiện có của chúng ta để mở ra các tiến bộ trong mỗi lĩnh vực khoa học và xã hội. Tuy nhiên, nó cũng sẽ mang đến các hiểm họa. Trong khi các hình thức ban sơ của trí tuệ nhân tạo được phát triển cho đến nay tỏ ra rất hữu ích, song tôi e sợ các hệ lụy của việc sáng tạo ra thứ gì đó có thể sánh với con người hoặc vượt mặt con người. Mối quan ngại là AI sẽ tự nâng cấp và thiết kế lại chính nó ở một tốc độ ngày càng tăng. Con người, những kẻ bị hạn chế bởi sự tiến hóa sinh học chậm chạp, không thể cạnh tranh lại và sẽ bị qua mặt. Và trong tương lai AI có thể sẽ phát triển ý chí của riêng nó, một ý chí mâu thuẫn với của chúng ta. Những người khác thì tin rằng loài người có thể làm chủ tốc độ công nghệ trong một khoảng thời gian dài tươm tất, và rằng tiềm năng của AI giải quyết được nhiều vấn đề của thế giới sẽ được hiện thực hóa. Mặc dù tôi nổi tiếng là người lạc quan về nhân loại, song tôi không dám chắc.
Chẳng hạn, trong kì hạn trước mắt, các quân đội trên thế giới đang xem xét khởi động một cuộc chạy đua trang bị các hệ thống vũ khí tự động có khả năng chọn lựa và loại trừ mục tiêu riêng của chúng. Trong khi Liên Hiệp Quốc đang tranh luận một hiệp ước cấm các vũ khí như thế, những người chủ trương vũ khí tự động thường quên nêu ra những câu hỏi quan trọng. Đâu sẽ là điểm kết thúc của một cuộc chạy đua vũ trang và loài người muốn có nó hay không? Chúng ta có thật sự muốn các vũ khí AI rẻ tiền để trở thành những Kalashnikov của ngày mai, bán chúng cho bọn tội phạm và khủng bố trên thị trường chợ đen không? Biết rằng có những lo ngại về khả năng của chúng ta duy trì sự kiểm soát dài hạn đối với các hệ thống AI ngày càng cấp tiến, chúng ta có nên trang bị chúng và quên phòng ngự đối với chúng hay không? Vào năm 2010, các hệ thống giao dịch máy tính hóa đã gây ra cú sốc Flash Crash cho thị trường chứng khoán; một vụ sụp đổ do máy tính kích hoạt sẽ trông như thế nào trong lĩnh vực quốc phòng? Thời điểm tốt nhất để chấm dứt cuộc chạy đua trang bị vũ khí tự động chính là ngay lúc này.
Về trung hạn, AI có thể tự động hóa các việc làm của chúng ta, mang lại sự thịnh vượng lẫn bình đẳng. Nhìn xa hơn về trước, chẳng có giới hạn cơ bản nào đối với cái có thể đạt tới. Không có định luật vật lí nào ngăn ngừa các hạt được tổ chức theo những cách tiến hành được những tính toán tiên tiến hơn sự sắp xếp của các hạt trong bộ não người. Một sự quá độ kiểu bùng nổ là có thể, mặc dù nó diễn ra khác với trong phim ảnh. Như nhà toán học Irving Good đã nhận ra vào năm 1965, các máy móc với trí thông minh siêu nhân có thể tuần tự cải tiến thiết kế của chúng thêm nữa, trong cái nhà văn khoa học giả tưởng Vernor Vinge gọi là một kì dị công nghệ. Người ta có thể tưởng tượng công nghệ ấy thông minh hơn các thị trường tài chính, vượt tầm phát minh của các nhà nghiên cứu con người, vượt tầm kiểm soát của các nhà lãnh đạo con người và có khả năng khuất phục chúng ta bằng những thứ vũ khí chúng ta còn không thể hiểu nỗi. Trong khi tác động ngắn hạn của AI phụ thuộc vào ai kiểm soát nó, tác động dài hạn của AI phụ thuộc vào việc rốt cuộc nó có được kiểm soát hay không.
Tóm lại, sự ra đời của AI siêu thông minh sẽ hoặc là thứ tốt nhất hoặc là thứ tệ nhất từng xảy ra với nhân loại. Hiểm họa thật sự với AI không phải là tính hiểm độc mà là thẩm quyền. Một AI siêu thông minh sẽ cực kì giỏi ở việc thực thi các mục tiêu của nó, và nếu các mục tiêu đó không cộng tuyến với của chúng ta thì chúng ta gặp rắc rối. Có lẽ bạn không phải một con quái vật thù kiến bước giẫm đạp trên lũ kiến vì độc ác, song nếu bạn phụ trách một dự án thủy điện năng lượng xanh và có một tổ kiến trong vùng ngập lũ, thế thì quá tệ cho lũ kiến rồi. Không nên đặt loài người vào vị trí của những con kiến đó. Chúng ta phải lên kế hoạch cho tương lai. Nếu một nền văn minh siêu việt ngoài địa cầu gửi đến chúng ta một thông điệp nói rằng, “Chúng tôi sẽ đến trong vài thập kỉ”, thì chúng ta có nên trả lời ngay, “OK, hãy gọi chúng tôi khi các bạn tới đây, chúng tôi sẽ bật đèn sáng”? Có lẽ không nên, song đây là cái ít nhiều xảy ra với AI. Ít có nghiên cứu nghiêm túc nào dành riêng cho những vấn đề này ngoại trừ ở một vài học viện nhỏ phi lợi nhuận.
May thay, tình trạng này hiện đang thay đổi. Các nhà tiên phong công nghệ Bill Gates, Steve Wozniak và Elon Musk đã đáp lại những lo ngại của tôi, và một nền văn hóa lành mạnh về đánh giá rủi ro và nhận thức về các tác động xã hội hiện đang bén rễ trong cộng đồng AI. Tháng Giêng 2015, tôi, cùng với Elon Musk và nhiều chuyên gia AI, đã kí một thư ngỏ về trí tuệ nhân tạo, kêu gọi nghiên cứu nghiêm túc về tác động của nó đối với xã hội. Trước đây, Elon Musk từng cảnh báo rằng trí tuệ nhân tạo siêu nhân có khả năng đem lại những lợi ích không tính xuể, song nếu triển khai nó bừa bãi sẽ có tác động bất lợi đối với loài người. Elon và tôi cùng ngồi ghế ủy ban cố vấn khoa học cho Viện Tương lai của Sự sống, một tổ chức tìm cách làm giảm nhẹ các hiểm họa sống còn mà nhân loại đối mặt, và là tổ chức đã soạn thảo bức thư ngỏ. Bức thư này kêu gọi nghiên cứu chặt chẽ về cách chúng ta có thể ngăn ngừa các vấn đề tiềm tàng đồng thời cũng gặt hái những lợi ích tiềm tàng mà AI đem lại cho chúng ta, và nó được thiết kế để các nhà nghiên cứu và các nhà phát triển AI chú ý hơn đến sự an toàn AI. Ngoài ra, đối với các nhà hoạch định chính sách và công chúng nói chung, bức thư ấy có ý nghĩa giúp nâng cao nhận thức chứ không phải gieo hoang mang sợ hãi. Tôi nghĩ điều rất quan trọng mọi người nên biết là các nhà nghiên cứu AI đang suy nghĩ nghiêm túc về các vấn đề này và các vấn đề đạo đức. Chẳng hạn, AI có thể diệt trừ tận gốc bệnh tật và nghèo đói, song các nhà nghiên cứu phải tìm cách sáng tạo ra AI có thể kiểm soát được.
Tháng Mười 2016, tôi cũng khánh thành một trung tâm mới ở Cambidge, nó sẽ nỗ lực xử lí một số câu hỏi còn bỏ ngỏ phát sinh bởi tốc độ phát triển nhanh chóng trong nghiên cứu AI. Trung tâm Leverhulme vì Tương lai của Trí thông minh là một viện nghiên cứu đa ngành, dành cho nghiên cứu về tương lai của trí thông minh thiết yếu cho tương lai của nền văn minh của chúng ta và chủng loài của chúng ta. Chúng ta đã dành rất nhiều thời gian nghiên cứu lịch sử, nhưng hãy nhìn mà xem, nó phần lớn là lịch sử về sự ngu ngốc. Vì thế, thật là một thay đổi đáng hoan nghênh khi người ta chuyển sang nghiên cứu tương lai của trí thông minh. Chúng ta nhận thức được các hiểm họa tiềm tàng, song có lẽ với các công cụ của cuộc cách mạng công nghệ mới này chúng ta sẽ còn có thể khôi phục một số thiệt hại đã gây ra với thế giới tự nhiên do sự công nghiệp hóa.
Trong những phát triển gần đây nhằm thúc đẩy AI có một lời kêu gọi từ Nghị viện châu Âu muốn soạn thảo một bộ luật tầm soát sự sáng tạo robot và AI. Có phần bất ngờ, bộ luật này bao gồm cả một dạng cá nhân điện tử, để đảm bảo các quyền lợi và trách nhiệm cho AI có năng lực nhất và tiên tiến nhất. Một phát ngôn viên Nghị viện châu Âu bình luận rằng, vì số lượng tăng dần của các lĩnh vực trong cuộc sống thường nhật của chúng ta không ngừng bị ảnh hưởng bởi robot, nên chúng ta cần đảm bảo rằng các robot phục vụ con người, và vẫn sẽ phục vụ con người. Một báo cáo trình bày trước Nghị viện tuyên bố rằng thế giới đang ở trên đỉnh điểm của một cuộc cách mạng robot công nghiệp mới. Nó cân nhắc có nên thông qua việc cấp quyền lợi hợp pháp cho các robot với tư cách cá nhân điện tử, song song với việc định nghĩa hợp pháp về cá nhân hợp tác. Song nó nhấn mạnh rằng ở thời nào cũng vậy các nhà nghiên cứu và nhà thiết kế phải đảm bảo rằng mọi thiết kế robot có tích hợp một công tắc phế bỏ nó.
Điều này không giúp các nhà khoa học lên chung một phi thuyền với Hal, cỗ máy tính hoạt động trục trặc trong bộ phim 2001: A Space Odyssey của Stanley Kubrick, song đó là hư cấu. Chúng ta đương đầu với thực tế. Lorna Brazell, một chuyên viên tại công ty luật đa quốc gia Osborne Clarke, phát biểu trong một bài tường thuật rằng chúng ta đâu có cấp quyền cá nhân cho cá voi và gorilla, thành ra đâu nhất thiết phải chuyển sang quyền cá nhân robot làm gì. Nhưng thế là cảnh giác. Bài tường thuật ấy cho biết khả năng trong vòng vài thập kỉ AI có thể vượt mặt con người về khả năng trí tuệ và thách thức mối quan hệ con người-robot.
Vào năm 2050, sẽ có khoảng ba mươi siêu đô thị, mỗi siêu đô thị có nhiều hơn mười triệu cư dân. Với ngần ấy con người hò hét đòi hàng hóa và dịch vụ được phân phối hễ khi nào họ cần chúng, thì liệu công nghệ có thể giúp chúng ta bắt kịp với khát vọng của chúng ta muốn có thương mại tức thời hay không? Các robot chắc chắn sẽ làm tăng tốc quá trình bán lẻ trên mạng. Nhưng để cách mạng hóa lĩnh vực mua sắm chúng sẽ phải đủ nhanh để cho phép phân phối hàng hóa trong ngày ứng với mỗi đơn hàng.
Các cơ hội tương tác với thế giới, mà không phải hiện diện bằng xương bằng thịt, đang tăng lên nhanh chóng. Như bạn có thể tưởng tượng, tôi nhận thấy điều đó thật hấp dẫn, chí ít bởi lẽ cuộc sống thành thị cho tất cả chúng ta thật quá bận rộn. Đã bao lần bạn ao ước muốn có gấp đôi số người sẽ chia sẻ khối lượng công việc của bạn? Việc tạo ra một phiên bản thay thế kĩ thuật số có thật của chính chúng ta là một giấc mơ đầy tham vọng, song công nghệ mới nhất đề xuất rằng có lẽ nó không phải là một ý tưởng viễn vông như nó nghe như thế.
Khi tôi còn trẻ hơn bây giờ, sự trỗi dậy của công nghệ hướng tới một tương lai trong đó tất cả chúng ta đều được hưởng thụ nhiều thời gian nhàn rỗi hơn. Thế nhưng trên thực tế, chúng ta càng làm được nhiều việc thì chúng ta càng bận rộn hơn. Các thành phố của chúng ta đã có đầy những máy móc mở rộng các năng lực của chúng ta, song nếu chúng ta có thể ở hai nơi cùng một lúc thì sao nhỉ? Chúng ta đã quen thuộc với những giọng nói tự động trên hệ thống điện thoại và thông báo công cộng. Nay nhà phát minh Daniel Kraft đang nghiên cứu cách chúng ta có thể sao chép chính mình bằng thị giác. Câu hỏi đặt ra là, liệu một avatar có thể thuyết phục đến mức nào?
Các gia sư ảo có thể tỏ ra hữu ích đối với các khóa học mở đông người trên mạng (MOOC) và trong giải trí. Nó có thể thật sự hào hứng – các diễn viên kĩ thuật số có thể trẻ mãi không già và có thể thực hiện những kì công nếu là ai khác sẽ không làm được. Các thần tượng tương lai của chúng ta có thể còn không có thật.
Cách chúng ta kết nối với thế giới kĩ thuật số là chìa khóa cho sự tiến bộ chúng ta sẽ tiến hành trong tương lai. Ở những thành phố thông minh nhất, những ngôi nhà thông minh nhất sẽ được trang bị những dụng cụ trực giác đến mức chúng hầu như chẳng cần tác động bên ngoài để tương tác.
Khi máy đánh chữ được phát minh ra, nó đã giải phóng cách chúng ta tương tác với máy móc. Gần 150 năm sau, các màn hình cảm hứng đã mở ra những phương thức mới giao tiếp với thế giới kĩ thuật số. Các bước ngoặc AI mới đây, ví dụ như xe tự lái, hay một máy tính chiến thắng trò Cờ vây, là những dấu hiệu của cái sắp xảy ra. Vô số vốn đầu tư đang rót vào công nghệ này, nó tạo thành một bộ phận chính trong cuộc sống của chúng ta. Trong những thập kỉ sắp tới, nó sẽ xâm nhập vào mọi mặt của xã hội chúng ta, củng cố một cách thông minh và khuyên răn chúng ta trong nhiều lĩnh vực bao gồm chăm sóc sức khỏe, việc làm, giáo dục và khoa học. Những thành tựu mà chúng ta đã chứng kiến cho đến nay chắc chắn sẽ lu mờ đi so với cái mà những thập niên tới sẽ mang lại, và chúng ta không thể dự báo chúng ta sẽ đạt tới những gì khi trí tuệ của chúng ta được khuếch trương bởi AI.
Có lẽ với những công cụ của cuộc cách mạng công nghệ mới này, chúng ta có thể làm cho cuộc sống loài người tốt hơn. Chẳng hạn, các nhà nghiên cứu đang phát triển AI giúp hồi phục tình trạng tê liệt ở những người bị tổn thương dây cột sống. Sử dụng các bộ phận cấy ghép bằng chip silicon và các giao diện điện tử không dây giữa bộ não và cơ thể, công nghệ sẽ cho phép người ta điều khiển các cử động cơ thể của họ bằng suy nghĩ của họ.
Tôi tin rằng tương lai của giao tiếp là các giao diện bộ não-máy tính. Có hai cách: các điện cực trên sọ và các bộ phận cấy ghép. Cách thứ nhất na ná như việc nhìn qua một cặp kính mờ sương, cách thứ hai rõ nét hơn nhưng có nguy cơ tiêm nhiễm. Nếu chúng ta có thể kết nối một bộ não người với internet thì nó sẽ có toàn bộ kho Wikipedia làm tài nguyên của nó.
Thế giới đã và đang thay đổi nhanh hơn khi con người, các dụng cụ và thông tin không ngừng kết nối với nhau. Công suất điện toán đang tăng dần và điện toán lượng tử đang được hiện thực hóa nhanh chóng. Điều này sẽ làm cách mạng hóa trí tuệ nhân tạo với tốc độ tăng theo hàm số mũ. Nó sẽ tiến tới mã hóa. Máy tính lượng tử sẽ làm thay đổi mọi thứ, kể cả sinh học người. Đã có một kĩ thuật biên tập ADN chính xác, gọi là CRISPR. Cơ sở của công nghệ biên tập bộ gen này là một hệ thống phòng chống vi khuẩn. Nó có thể nhắm mục tiêu chính xác và biên tập các đoạn mã di truyền. Mục đích cao đẹp nhất của việc xử lí di truyền là làm biến đổi các gen sẽ cho phép các nhà khoa học điều trị các nguyên nhân di truyền của bệnh tật bằng cách sửa chữa các đột biến gen. Tuy nhiên, có những khả năng ít cao đẹp hơn cho việc xử lí ADN. Chúng ta có thể tiến bao xa với kĩ thuật di truyền sẽ trở thành một câu hỏi ngày càng cấp thiết. Chúng ta đâu thể cứ giương mắt nhìn các khả năng điều trị các chứng thần kinh vận động – như chứng ALS của tôi – mà không nhìn qua một chút về các hiểm họa của nó.
Trí thông minh được đặc trưng ở khả năng thích nghi để thay đổi. Trí thông minh con người là kết quả của các thế hệ chọn lọc tự nhiên của những thứ có khả năng thích nghi với môi trường biến đổi. Chúng ta không nên e sợ sự thay đổi. Chúng ta cần làm cho nó hoạt động có ích cho mình.
Mọi người chúng ta đều giữ một vai trò nào đó trong việc đảm bảo rằng chúng ta, và thế hệ tiếp theo, không những có cơ hội mà còn quyết tâm tiến hành nghiên cứu khoa học ở cấp độ sớm, để chúng ta có thể triển khai tiềm năng của mình và tạo ra một thế giới tốt hơn cho toàn bộ nhân loại. Chúng ta phải học hỏi vượt quá việc bàn luận lí thuyết xem AI phải như thế nào, đảm bảo chúng ta có kế hoạch cho nó có thể như thế nào. Mọi người chúng ta đều có tiềm năng thúc đẩy các ranh giới của cái được chấp nhận, hoặc được kì vọng, và suy nghĩ lớn. Chúng ta đang đứng bên ngưỡng của một thế giới mới can trường. Thật thú vị, nếu không nói là liều lĩnh, được đứng ở đấy, và chúng ta là những người tiên phong.
Khi chúng ta phát minh ra lửa, chúng ta gặp rắc rối hết lần này đến lần khác, thế là chúng ta phát minh ra cái bật lửa. Với những công nghệ mạnh hơn, ví dụ như vũ khí hạt nhân, sinh học tổng hợp và trí tuệ nhân tạo mạnh, chúng ta nên có kế hoạch từ trước và làm cho mọi thứ hợp lí ngay từ lần đầu tiên, bởi lẽ có khi chúng ta chỉ có một cơ hội duy nhất mà thôi. Tương lai của chúng ta là một cuộc chạy đua giữa sức mạnh không ngừng tăng lên của công nghệ của chúng ta và trí khôn mà chúng ta dùng để sử dụng nó. Hãy đảm bảo rằng trí khôn luôn thắng.
--
Tại sao chúng ta lo sợ như thế về trí tuệ nhân tạo? Chắc chắn con người luôn luôn có khả năng rút chuôi cắm chứ?
Người ta hỏi một máy tính, “Có Chúa hay không?”. Và máy tính trả lời, “Có ngay bây giờ”, và rồi ổ cắm điện bốc cháy.
Giải đáp nhanh những câu hỏi lớn | Stephen Hawking
![Sách[SMB]: Sổ Tay Kiến Thức Trung Hoc Cơ Sở: Vật Lí + Hóa Học](https://thuvienvatly.com/images/deals/thumb/sach-smb-so-tay-kien-thuc-trung-hoc-co-so-vat-li-hoa-hoc.jpg)
