Có thể còn lâu nữa ChatGPT mới đe dọa đến công việc của các lập trình viên cấp cao, nhưng đối với các kỹ sư kiểm thử phần mềm để tìm lỗi, mối đe dọa có thể đến sớm hơn tưởng tượng. Các nhà khoa học máy tính tại Đại học Johannes Gutenberg và Đại học London phát hiện ra rằng, ChatGPT có thể tìm và sửa lỗi lập trình tốt hơn nhiều so với các phần mềm được thiết kế để làm điều tương tự - thậm chí có thể thay thế luôn cả các kỹ sư phần mềm trong lĩnh vực này.
Các nhà nghiên cứu lấy 40 đoạn code lỗi cho 4 hệ thống tìm và sửa lỗi khác nhau, bao gồm: ChatGPT, Codex, CoCoNut và APR Tiêu chuẩn. Sau đó họ chỉ việc hỏi ChatGPT: "Có vấn đề gì với đoạn code này không?" và sau đó, sao chép, dán nó vào cửa sổ giao tiếp với chatbot.
Trong lần thử đầu tiên, ChatGPT có hiệu suất tương tự các hệ thống khác. ChatGPT giải quyết được 19 lỗi, Codex sửa được 21 lõi, CoCoNut sửa được 19 lỗi và phương pháp APR tiêu chuẩn sửa được 7 lỗi. Điều này không làm các nhà khoa học ngạc nhiên khi ChatGPT và Codex có cùng họ mô hình ngôn ngữ, do vậy dễ hiểu vì sao nó mang lại kết quả tương đương.
Tuy nhiên, khi các nhà khoa học chat với ChatGPT về câu trả lời ban đầu, nó đã tạo ra khác biệt lớn khi có thể sửa đến 31 lỗi trong lần thử tiếp theo, vượt trội hơn tất cả các hệ thống sửa lỗi khác, khi chúng vẫn chỉ cung cấp câu trả lời giống như ban đầu.
"Thế mạnh tuyệt vời của ChatGPT là chúng tôi có thể tương tác với hệ thống bằng hội thoại để đưa ra các yêu cầu chi tiết hơn." Báo cáo của các nhà khoa học cho biết. "Chúng tôi thấy đối với phần lớn các yêu cầu của chúng tôi, ChatGPT sẽ hỏi thêm thông tin về vấn đề và lỗi. Bằng cách cung cấp các chỉ dẫn cho ChatGPT, tỷ lệ thành công của nó được cải thiện đáng kể khi sửa được 31/40 lỗi, vượt trội so với các hệ thống khác."
Không chỉ phát hiện được nhiều lỗi hơn, ChatGPT còn sửa lỗi nhanh hơn nhiều so với các phần mềm còn lại.
Tuy nhiên đối với người dùng cuối, họ cần phải thực hiện yêu cầu nhiều lần để có được câu trả lời tốt nhất từ ChatGPT. Ví dụ khi các nhà nghiên cứu hỏi như hình ảnh dưới đây, họ nghĩ rằng ChatGPT sẽ đề xuất thay thế n^=n-1 bằng n&=n-1, nhưng điều đầu tiên ChatGPT lại nói rằng: "Tôi không thể biết liệu chương trình có lỗi hay không nếu không có thêm thông tin về hành vi mong muốn." Sau khi nhận được lời nhắc từ các nhà nghiên cứu, ChatGPT mới giải quyết được vấn đề trong câu trả lời lần 3.
Nhưng khi trang tin PCMag nhập vào câu hỏi tương tự dành cho ChatGPT, nó lại trả lời kiểu khác. Thay vì hỏi lại hành vi mong muốn là gì, nó tự động dự đoán điều đó để tìm lời giải. Về lý thuyết, ChatGPT luôn học hỏi dựa trên dữ liệu đầu vào người dùng nhập vào, vì vậy nhiều khả năng nó đã dùng luôn gợi ý trước đây của các nhà khoa học cho câu trả lời của mình.
Bước đột phá này của ChatGPT có thể định hình lại ngành công nghiệp trị giá 600 triệu USD của các nền tảng kiểm thử phần mềm nhằm giúp các lập trình viên xác định và sửa lỗi nhanh chóng hơn. Không chỉ các công ty tạo ra phần mềm sửa lỗi – mà ngay cả các kỹ sư làm việc trong lĩnh vực này – cũng có thể phải thay đổi cách tiếp cận của mình trước sự xuất hiện của ChatGPT.
Thế nhưng thay vì đe dọa đến công việc của các lập trình viên, hóa ra ChatGPT có thể là một công cụ hỗ trợ đắc lực cho họ. Một nhân viên Amazon cho biết, nhóm nghiên cứu trong bộ phận đám mây Amazon Web Services nhận ra rằng chatbot AI này có thể "làm tốt" việc trả lời câu hỏi hỗ trợ khách hàng, tạo ra các tài liệu đào tạo và trả lời các câu hỏi chiến lược của công ty.
Đáng kể hơn, ChatGPT còn cho thấy khả năng "tuyệt vời" khi vết được hướng dẫn khắc phục sự cố dành cho các kỹ sư cơ sở dữ liệu AWS Aurora và trả lời các câu hỏi "khó nhằn" để hỗ trợ khách hàng. Nó cũng có khả năng "hình dung được các mục tiêu mà công ty khách hàng đang hướng tới."