Cú hit đột phá của OpenAI chỉ là một cảm giác chỉ sau một đêm − nhưng nó được xây dựng dựa trên nhiều thập kỷ nghiên cứu.
Tác giả Will Douglas Heaven
Ngày 8 tháng2, 2023
Chúng ta đã đạt đến đỉnh cao ChatGPT. Được phát hành vào tháng 12 dưới dạng ứng dụng web của công ty OpenAI có trụ sở tại San Francisco, chatbot này đã bùng nổ thành xu hướng chủ đạo gần như chỉ sau một đêm. Theo một số ước tính, đây là dịch vụ internet phát triển nhanh nhất từ trước đến nay, đạt 100 triệu người dùng vào tháng Giêng, chỉ hai tháng sau khi ra mắt. Thông qua thỏa thuận trị giá 10 tỷ USD của OpenAI với Microsoft, công nghệ này hiện đang được tích hợp vào phần mềm Office và công cụ tìm kiếm Bing. Bị đốt vào hành động bởi đối thủ một thời mới được đánh thức trong cuộc chiến tìm kiếm, Google đang theo dõi nhanh việc triển khai chatbot của riêng mình, LaMDA. Ngay cả WhatsApp gia đình tôi cũng chứa đầy trò chuyện ChatGPT.
Nhưng cú đột phá của OpenAI đã không xuất hiện từ hư không. Chatbot là sự lặp lại bóng bẩy nhất cho đến nay trong một dòng mô hình ngôn ngữ lớn có từ nhiều năm trước. Đây là thông tin đã dẫn đến nó.
Những năm 1980–’90: Mạng nơ-ron hồi qui
ChatGPT là một phiên bản của GPT-3, một mô hình ngôn ngữ lớn cũng được phát triển bởi OpenAI. Mô hình ngôn ngữ là một loại mạng nơ-ron đã được đào tạo trên rất nhiều và rất nhiều văn bản. (Mạng nơ-ron là phần mềm lấy cảm hứng từ cách các tế bào thần kinh trong não động vật báo hiệu lẫn nhau.) Bởi vì văn bản được tạo thành từ các chuỗi chữ cái và từ có độ dài khác nhau, các mô hình ngôn ngữ yêu cầu một loại mạng nơ-ron có thể hiểu được loại dữ liệu đó. Mạng nơ-ron hồi qui, được phát minh vào những năm 1980, có thể xử lý các chuỗi từ, nhưng chúng chậm trong huấn luyện và có thể quên các từ trước đó trong chuỗi trình tự.
Năm 1997, các nhà khoa học máy tính Sepp Hochreiter và Jürgen Schmidhuber đã khắc phục điều này bằng cách phát minh ra mạng LTSM (Bộ nhớ ngắn hạn trải dài), mạng nơ-ron hồi qui với các thành phần đặc biệt cho phép dữ liệu trong quá khứ trong một chuỗi đầu vào được lưu giữ lâu hơn. LTSM có thể xử lý các chuỗi văn bản dài vài trăm từ, nhưng kỹ năng ngôn ngữ của họ bị hạn chế.
2017: Bộ biến đổi transformer
Bước đột phá đằng sau thế hệ mô hình ngôn ngữ lớn ngày nay đến khi một nhóm các nhà nghiên cứu của Google phát minh ra bộ biến đổi transformer, một loại mạng nơ-ron có thể theo dõi vị trí mỗi từ hoặc cụm từ xuất hiện theo một trình tự. Ý nghĩa của các từ thường phụ thuộc vào ý nghĩa của các từ khác xuất hiện trước hoặc sau. Bằng cách theo dõi thông tin ngữ cảnh này, người biến hình có thể xử lý các chuỗi văn bản dài hơn và nắm bắt ý nghĩa của các từ chính xác hơn. Ví dụ, “xúc xích” có nghĩa là những thứ rất khác nhau trong các câu “Xúc xích nên được cho nhiều nước” và “Xúc xích nên được ăn với mù tạt.”
2018–2019: GPT và GPT-2
Hai mô hình ngôn ngữ lớn đầu tiên của OpenAI chỉ cách nhau vài tháng. Công ty muốn phát triển AI có đa kỹ năng, cho nhiều mục tiêu và tin rằng các mô hình ngôn ngữ lớn (large language models) là một bước quan trọng hướng tới mục tiêu đó. GPT (viết tắt của Generative Pre-trained Transformer) đã cắm một lá cờ, đánh bại các tiêu chuẩn hiện đại để xử lý ngôn ngữ tự nhiên vào thời điểm đó.
GPT kết hợp bộ biến đổi với đào tạo không giám sát, một cách để đào tạo các mô hình đào tạo trên dữ liệu (trong trường hợp này là rất nhiều và rất nhiều văn bản) chưa được chú thích trước đó. Điều này cho phép phần mềm tự tìm ra các mẫu trong dữ liệu mà không cần phải cho biết nó đang xem gì. Nhiều thành công trước đây trong học máy đã dựa vào việc học có giám sát và dữ liệu chú thích, nhưng việc gắn nhãn dữ liệu bằng tay là công việc chậm và do đó hạn chế kích thước của các tập dữ liệu có sẵn để đào tạo.
Nhưng chính GPT-2 đã tạo ra tiếng vang lớn hơn. OpenAI tuyên bố rất lo ngại mọi người sẽ sử dụng GPT-2 “để tạo ra ngôn ngữ lừa đảo, thiên vị hoặc lạm dụng” đến mức họ sẽ không phát hành mô hình đầy đủ. Thời gian thay đổi như thế nào.
Năm 2020: GPT-3
GPT-2 rất ấn tượng, nhưng phần tiếp theo của OpenAI, GPT-3, made jaws drop. Khả năng tạo ra văn bản giống như con người của nó là một bước nhảy vọt về phía trước. GPT-3 có thể trả lời câu hỏi, tóm tắt tài liệu, tạo câu chuyện theo các phong cách khác nhau, dịch giữa tiếng Anh, tiếng Pháp, tiếng Tây Ban Nha và tiếng Nhật, v.v. Sự bắt chước của nó thật kỳ lạ.
Một trong những điều đáng chú ý nhất là lợi ích của GPT-3 đến từ việc thay thế các kỹ thuật hiện có hơn là phát minh ra các kỹ thuật mới. GPT-3 có 175 tỷ tham số (các giá trị trong một mạng được điều chỉnh trong quá trình huấn luyện), so với 1,5 tỷ của GPT-2. Nó cũng được đào tạo trên nhiều dữ liệu hơn.
Nhưng huấn luyện trên văn bản lấy từ internet mang lại những vấn đề mới. GPT-3 đã thấm nhuần phần lớn thông tin sai lệch và định kiến mà nó tìm thấy trực tuyến và sao chép nó theo yêu cầu. Như OpenAI đã thừa nhận: “Các mô hình được đào tạo trên Internet có những thành kiến về quy mô internet.”
Tháng 12 năm 2020: Văn bản độc hại và các vấn đề khác
Trong khi OpenAI đang vật lộn với những thành kiến của GPT-3, phần còn lại của thế giới công nghệ đang phải đối mặt với một sự tính toán cao cấp về việc không kiềm chế được xu hướng độc hại trong AI. Không có gì bí mật khi các mô hình ngôn ngữ lớn có thể phun ra văn bản sai - thậm chí đáng ghét - nhưng các nhà nghiên cứu đã phát hiện ra rằng việc khắc phục sự cố không nằm trong danh sách việc cần làm của hầu hết các công ty Big Tech. Khi Timnit Gebru, đồng giám đốc nhóm đạo đức AI của Google, đồng tác giả một bài báo nêu bật những tác hại tiềm ẩn liên quan đến các mô hình ngôn ngữ lớn (bao gồm cả chi phí điện toán cao), nó đã không được các nhà quản lý cấp cao trong công ty hoan nghênh. Vào tháng 12 năm 2020, Gebru bị đẩy ra khỏi công việc của mình.
Tháng 1 năm 2022: InstructGPT
OpenAI đã cố gắng giảm lượng thông tin sai lệch và văn bản xúc phạm mà GPT-3 tạo ra bằng cách sử dụng học tăng cường để đào tạo một phiên bản của mô hình theo sở thích của người thử nghiệm. Kết quả, InstructGPT, làm theo hướng dẫn của những người sử dụng nó tốt hơn − được gọi là “căn chỉnh” trong thuật ngữ AI − và tạo ra ít ngôn ngữ xúc phạm hơn, ít thông tin sai lệch hơn và ít sai lầm hơn về tổng thể. Nói tóm lại, InstructGPT ít hơn một tên khốn − trừ khi nó được yêu cầu là một.
Từ tháng 5 đến 7 năm 2022: OPT, BLOOM
Một lời chỉ trích phổ biến đối với các mô hình ngôn ngữ lớn là chi phí đào tạo chúng gây khó khăn cho tất cả trừ các phòng thí nghiệm giàu nhất để xây dựng một mô hình. Điều này làm dấy lên lo ngại rằng AI mạnh mẽ như vậy đang được xây dựng bởi các nhóm công ty nhỏ đằng sau những cánh cửa đóng kín, không có sự giám sát thích hợp và không có sự đóng góp của một cộng đồng nghiên cứu rộng lớn hơn. Đáp lại, một số dự án hợp tác đã phát triển các mô hình ngôn ngữ lớn và phát hành chúng miễn phí cho bất kỳ nhà nghiên cứu nào muốn nghiên cứu − và cải thiện − công nghệ. Meta đã xây dựng và bỏ đi OPT, một bản tái thiết của GPT-3. Và Hugging Face đã lãnh đạo một tập đoàn gồm khoảng 1,000 nhà nghiên cứu tình nguyện xây dựng và phát hành BLOOM.
Tháng 12 năm 2022: ChatGPT
Ngay cả OpenAI cũng bị thổi bay bởi cách ChatGPT đã được ghi nhận. Trong bản demo đầu tiên của công ty, mà nó đã cho tôi một ngày trước khi ChatGPT được ra mắt trực tuyến, nó đã được giới thiệu như một bản cập nhật gia tăng cho InstructGPT. Giống như mô hình đó, ChatGPT đã được đào tạo bằng cách sử dụng học tăng cường về phản hồi từ những người thử nghiệm con người, những người đã ghi điểm hiệu suất của nó như một người đối thoại trôi chảy, chính xác và không nhạy cảm. Trên thực tế, OpenAI đã đào tạo GPT-3 để làm chủ trò chơi trò chuyện và mời mọi người đến chơi. Hàng triệu người trong chúng ta đã chơi kể từ đó.
Biên dịch từ: ChatGPT is everywhere. Here’s where it came from
Để sử dụng OpenAI trên Colab, ta sử dụng code ví dụ sau đây:
import openai
from google.colab import drive
import time
drive.mount('/content/drive')
'''
text_file = 'example.txt'
with open('/content/drive/My Drive/' + text_file, 'w') as f:
f.write('This is an example')
with open('/content/drive/My Drive/' + text_file, 'r') as f:
content = f.read()
print(content)
'''
'''
This part of the story was generated oddly. I asked it to write the first paragraph of a story in the style of Joyce. I believe OpenAI thought Joyce was not James Joyce, but another author with the same name! So, however it generated this initial paragraph, there it is. I hand-edited the initial words it used, “The man”, in the first sentence, with a character name, Quest. Quest is an online moderator in my various communities. The four initial paragraphs were generated a tiny bit differently from the program, as they seeded these initial arrays. The same applies for the storyOutline array, where I asked GPT to summarize its own story. As you have undoubtedly seen from the story, the storyOutline approach fails because it seems to abstract character names and important details. Without those, chatGPT actually forgot the main character names! Quest disappears from the story, and “The Prince” shows up. Version 2 will be fun
'''
story = ["Quest stood there, a picture of stillness and grace, his hands tucked into the pockets of his well-worn trousers. The sun shone down on him, painting his skin a golden hue, and his eyes glinted with a deep intelligence. He could feel the breeze rippling through his hair, and he breathed in the salty air. He was at peace in that moment, and the world seemed to stand still around him. He knew that his life was about to change, and he welcomed it with open arms.", "He was not motionless for long; his body soon stirred, and he began to walk slowly towards the shoreline. The sand was warm beneath his feet, betraying a heat that was not yet visible in the air, and he savoured the sensation as he walked. He felt a new energy coursing through his veins, and the anticipation of what lay ahead was electrifying. As he drew nearer the horizon, he could make out the distant shapes of fishing boats and the figures of seagulls wheeling in the sky. The ocean seemed to beckon him, and he felt himself drawn ever closer, as if pulled by an unseen force. He had no idea what awaited him, but he was sure of one thing — his life was about to take an unexpected turn.", "The salty smell of the sea filled his nostrils, and he was reminded of a time long past - a time when his life was lived in a different way, before the monotony of the modern day had dulled his senses. He continued towards the shoreline, eager to discover what was waiting for him. As he drew nearer, the sound of crashing waves and the cries of the seagulls grew louder, and the excitement of the unknown began to take hold. He could see the boats bobbing up and down in the water, and he felt an emotion he had not felt ina long time - hope. He was suddenly struck by the thought of setting sail on one of them, of travelling to some distant and undiscovered land, of exploring and of adventure. He picked up his pace, and soon the ocean was before him, vast and inviting. He stood, taking in the sight before him and marveling at the power of the sea. He felt a strange urge to jump in and let the waves carry him away, but he held back and instead took a deep breath as he stepped forward, his feet sinking into the sand, and all the while sensing that his life was about to take an unexpected turn.", "The sun blazed brightly in the sky, yet its warmth was a distant memory to the man as he felt the cold Atlantic spray wash against his skin. He could taste the salt, feel the power of the water as it thundered against the shore. He had seen enough of the sea in his life to know what was needed here: a vessel. He scanned the shore, hoping to find his salvation, and soon his gaze alighted on a weathered fishing boat, far from the shore but still visible in the depths of the bay. He set off, determined, and soon enough the boat was close enough for him to make out its details: it was small, but would do, with a single mast and a yellow sail. He clambered aboard, feeling the familiarity of the vessel that had once been his home. His journey was about to begin. With a few confident thrusts of the oar, he set off, letting the current take him as he set his sights on the horizon and the distant shores beyond. As the miles rolled by, the man felt a strange sense of anticipation - of what, he could not tell, but it was a feeling of longing, of hope. He had found the boat and a purpose, and that was enough. He was free, and his destination was open to him. With a smile, he allowed himself to be taken away by the wind and waves, his journey just beginning." ];
storyOutline = ["The sun shone down on Quest, casting a golden hue on his skin, and his eyes glinted with intelligence as he stood there in peace, knowing his life was about to change.", "He was drawn to the shoreline, where he met a woman named Emmy, feeling a new energy as the anticipation of the unknown spurred him onward.", "The sun shone brightly in the sky and a gentle breeze blew through the trees, creating a peaceful atmosphere. He thought about his old friend David.", "The man found a boat to sail on that would take him on a journey with a feeling of anticipation and hope. On the journey he met the notorious troll named Ikk."]
# Set the API key - take api code from https://beta.openai.com/account/api-keys
openai.api_key = "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" #mse06.ChatGPT.hust
# Define the prompt
# This model's maximum context length is 4097 tokens
# Maximum of 15000/min
numberOfParts = 40
for i in range(numberOfParts):
completions = openai.Completion.create(
engine="text-davinci-003",
prompt=f'Here are four one-sentence summaries of four paragraphs of a story. 1: {storyOutline[i]} 2: {storyOutline[i+1]} 3: {storyOutline[i+2]} 4: {storyOutline[i+3]}. Write a fifth fictional paragraph in the writing style of James Patterson that progresses the plot of the story. Vary the plot from the first four paragraphs. Make sure there is action, dialogue and do not be repetitive by starting each paragraph the words "The man".',
max_tokens=3800,
temperature=0.8
)
tempans = completions.choices[0].text
tempans = tempans.replace("\n", "")
print(f'Here is the new paragraph: {tempans}')
story.append(tempans)
completions = openai.Completion.create(
engine="text-davinci-003",
prompt=f'Summarize this paragraph in one sentence: {story[i+4]}',
max_tokens=3800,
temperature=0.8
)
tempans = completions.choices[0].text
tempans = tempans.replace("\n", "")
print(f'Here is the summary of that paragraph: {tempans}')
storyOutline.append(tempans)
time.sleep(12)
with open('/content/drive/My Drive/example.txt', 'w') as f:
for text in story:
f.write(text + '\n')
ChatGPT viết tắt của "Chat Generative Pre-training Transformer" là một mô hình AI hội thoại được phát triển bởi OpenAI, đã được huấn luyện trên một tập dữ liệu lớn của văn bản từ internet để tạo sinh văn bản giống như người. Nó sử dụng kiến trúc bộ biến đổi transformer, là một loại mạng nơ-ron được thiết kế để xử lý dữ liệu tuần tự, như văn bản. Kiến ttrúc bộ biến đổi transformer được giới thiệu vào năm 2017 trong bài báo "Attention is All You Need" và từ đó trở thành rất phổ biến trong xử lý ngôn ngữ tự nhiên (NLP) do khả năng bắt nắm các phụ thuộc dài dòng và hoạt động tốt trên các tác vụ NLP khác nhau.
ChatGPT chính thức ra mắt vào 30/11/2022 và tạo ra chấn động trong cộng đồng công nghệ thế giới về khả năng của nó và đạt kỷ lục khi chỉ mất 5 ngày để thu hút 1 triệu người dùng. Sau 2 tháng đã đạt số lượng người sử dụng kỷ lục 100 triệu thành viên.
ChatGPT đã được huấn luyện trên một tập dữ liệu văn bản lớn để tạo ra văn bản tương tự trong kiểu và nội dung của văn bản có thể được viết bởi con người. Quá trình huấn luyện bao gồm sử dụng huấn luyện có giám sát, trong đó mô hình được cho xem cặp văn bản đầu vào và văn bản mong muốn đầu ra và nó phải tạo ra một đầu ra giống như đầu ra mong muốn càng gần càng tốt.
Từ khi ra mắt, ChatGPT đã được sử dụng cho nhiều mục đích, bao gồm tạo sinh văn bản cho chatbot, trả lời câu hỏi, tạo nội dung như bài báo và hơn thế nữa. Nó đã được rộng rãi áp dụng do khả năng tạo sinh văn bản chất lượng cao nhanh chóng và khả năng điều chỉnh tinh nội dung cho các tác vụ hoặc lĩnh vực cụ thể, khiến nó trở thành một công cụ linh hoạt cho các ứng dụng NLP.
Một trong những lợi thế chính của ChatGPT xử lý ngôn ngữ tự nhiên và tạo ra các văn bản dựa trên mô hình được đào tạo dựa trên nguồn dữ liệu văn bản khổng lồ. Dưới đây là một số ứng dụng nổi bật của ChatGPT:
Bạn có thể tham khảo các câu lệnh/demo tuyệt vời được sử dụng với ChatGPT trên thế giới tại đây.
Tóm lại, ChatGPT có thể cung cấp nhiều lợi ích quan trọng cho cá nhân và tổ chức bằng cách cải thiện dịch vụ khách hàng, tăng năng suất, nâng cao tạo nội dung và cung cấp tiếp cận thông tin.
================
So sánh ChatGPT với Google Tìm kiếm
ChatGPT và Google Search đều là những công cụ mạnh mẽ trong lĩnh vực xử lý ngôn ngữ tự nhiên (NLP), nhưng chúng được thiết kế cho các mục đích khác nhau và có những điểm mạnh khác nhau.
# | Tiêu chí | Google Tìm kiếm | ChatGPT |
1 |
Chức năng |
Trả về các kết quả phù hợp nhất từ hàng tỷ trang web bằng cách sử dụng một thuật toán phức tạp để xếp hạng thông tin. |
Tạo sinh văn bản một cách tinh vi như của con người viết nên, sử dụng trong nhiều ngữ cảnh dựa trên yêu cầu từ người dùng (lời thoại - prompt). |
2 | Mục đích sử dụng | Sử dụng để tìm kiếm thông tin trên internet. | Sử dụng cho các tác vụ xử lý ngôn ngữ tự nhiên như dịch ngôn ngữ, tóm tắt văn bản, trả lời câu hỏi và cũng có thể tinh chỉnh cho các tác vụ cụ thể như sáng tạo nội dung, lập trình, vv. |
Đứng ở góc độ một người dùng, tcó thể thấy ChatGPT không hoàn toàn thay thế Google Tìm kiếm nhưng nó giúp giải quyết nhiều vấn đề theo trực tiếp, nhanh chóng và có chất lượng cao một cách bất ngờ. Sự ra đời của ChatGPT mở ra cách thức làm việc hoàn toàn mới trong thời đại AI cho tất cả mọi người, thay vì mất thời gian tìm kiếm và tự tổng hợp thông tin để giải quyết vấn đề của mình, người dùng có thể hỏi ChatGPT để có ngay câu trả lời.
Microsoft Corp (MSFT.O) đang đàm phán để đầu tư 10 tỷ đô la vào OpenAI, chủ sở hữu của ChatGPT như một phần tài trợ sẽ định giá công ty ở mức 29 tỷ đô la. Theo các nguồn tin, gã khổng lồ công nghệ này dự kiến tích hợp ChatGPT vào các công cụ hiện tại của bộ ứng dụng Microsoft 365 lẫn công cụ tìm kiếm Bing. Đây cũng chính là một tương lai không mất sáng lạn, đe doạ sự thống trị trong mảng tìm kiếm và quảng cáo của Google. Các lãnh đạo Google đã tìm kiếm sự giúp đỡ của hai nhà sáng lập Larry Page và Sergey Brin trong cuộc chiến A.I khốc liệt.
Sử dụng ChatGPT có tốn phí không?
ChatGPT phiên bản thử nghiệm
ChatGPT Jan 30 Version. Free Research Preview. Our goal is to make AI systems more natural and safe to interact with. Your feedback will help us improve.
Phiên bản hiện tại ChatGPT được phát hành vào ngày 30/1 vẫn trong giai đoạn thử nghiệm beta và hoàn toàn không tốn phí. Đổi lại dữ liệu do người dùng cung cấp và phản hồi của người dùng giúp OpenAI tinh chỉnh mô hình máy học của họ. Tuy nhiên, ở tài khoản OpenAI api thông báo chỉ cho free $18 cho đến 1/6/2023.
ChatGPT Plus
Ngày 1/2/2023, OpenAI thông báo chính thức ra mắt phiên bản ChatGPT Plus tại thị trường Mỹ trong tuần tới theo hình thức thuê bao tháng với mức phí $20/tháng. Những người đã đăng ký danh sách chờ sẽ được mời sử dụng dịch vụ này tại Mỹ. Theo đó, với phiên bản ChatGPT trả phí, người dùng nhận được những quyền lợi sau:
Vì vậy, nếu bạn hứng thú với ChatGPT Plus và sẵn sàng trả 20USD mỗi tháng thì đừng ngại đăng ký thuê số điện thoại ở Mỹ, sử dụng VPN để trải nghiệm dịch vụ.