Theo đó, nếu ai đó nhập các từ như "nhau thai", "ống dẫn trứng", "tuyến vú", "tinh trùng", "tử cung", "niệu đạo", "cổ tử cung", "màng trinh" hoặc "âm hộ" vào Midjourney, hệ thống sẽ đánh dấu từ đó là một lời nhắc bị cấm và không cho phép nó được sử dụng.
Đôi khi, những người dùng đã thử một trong những lời nhắc này sẽ bị chặn trong một thời gian giới hạn vì cố gắng tạo nội dung bị cấm. Các từ khác liên quan đến sinh học con người, chẳng hạn như "gan" và "thận" được cho phép.
David Holz - Người sáng lập Midjourney cho biết, họ cấm những từ này như một biện pháp tạm thời để ngăn người dùng tạo ra các hình ảnh mang tính gây sốc trong bối cảnh nền tảng này đang tìm cách "cải thiện mọi thứ về mặt AI".
Một đội ngũ vận hành của Midjourney sẽ xem cách các từ được sử dụng trong lời nhắc và loại hình ảnh nào đang được tạo, từ đó điều chỉnh các lệnh cấm theo định kỳ. Bản thân Midjourney cũng có một trang nguyên tắc cộng đồng liệt kê loại nội dung mà họ chặn theo cách này, bao gồm hình ảnh khiêu dâm, máu me và thậm chí cả biểu tượng cảm xúc 'quả đào', vốn thường được sử dụng để ám chỉ mông.
Những hình ảnh gây sốc được nền tảng Midjourney tạo ra khi nhập lời nhắc có chứa từ khóa về cơ quan sinh sản của con người
Lệnh cấm của Midjourney được đưa ra khi các dạng nội dung như hình ảnh, văn bản hay thậm chí là video được tạo ra bằng AI đang tràn ngập Internet. Nhờ sức mạnh của AI, việc tạo ra nội dung chưa bao giờ dễ đến vậy.
Với riêng các mô hình AI như Midjourney, DALL-E 2 và Stable Diffusion, chúng được đào tạo dựa trên hàng tỷ hình ảnh được thu thập từ internet.
Kích thước khổng lồ của tập dữ liệu khiến việc loại bỏ những hình ảnh không mong muốn gần như là không thể, chẳng hạn như những hình ảnh có tính chất tình dục hoặc bạo lực, hoặc những hình ảnh có thể tạo ra kết quả sai lệch. Đáng nói, loại hình ảnh thường xuyên xuất hiện trong tệp dữ liệu sẽ có tác động đáng kể tới kết quả đầu ra, khi AI đã cảm thấy 'quen mặt' với những dạng hình ảnh như vậy.
Tất nhiên, vẫn chưa rõ tại sao các nội dung đề cập đến "khám phụ khoa" hoặc nhau thai - một cơ quan phát triển trong quá trình mang thai và cung cấp oxy cũng như chất dinh dưỡng cho em bé, lại tạo ra nội dung đẫm máu hoặc khiêu dâm. Nhưng nó có thể liên quan đến mối liên hệ mà mô hình đã tạo ra giữa các hình ảnh trong tập dữ liệu của nó, theo Irene Chen, nhà nghiên cứu tại Microsoft Research.
Các lệnh cấm từ của Midjourney là một nỗ lực từng phần để giải quyết vấn đề này. Một số thuật ngữ liên quan đến hệ thống sinh sản của nam giới, chẳng hạn như "tinh trùng" và "tinh hoàn", cũng bị chặn, nhưng danh sách các từ bị cấm dường như chủ yếu nghiêng về nữ giới.
Lệnh cấm nhanh chóng lần đầu tiên được phát hiện bởi Julia Rockwell, một nhà phân tích dữ liệu lâm sàng tại Datafy Clinical, và bạn của cô ấy là Madeline Keenen, một nhà sinh học tế bào tại Đại học Bắc Carolina ở Chapel Hill. Rockwell đã sử dụng Midjourney để cố gắng tạo ra một hình ảnh vui nhộn về nhau thai cho Keenen, người nghiên cứu chúng. Tuy nhiên, Rockwell đã khá ngạc nhiên khi phát hiện ra rằng việc sử dụng "nhau thai" làm lời nhắc đã bị cấm. Sau đó, cô ấy bắt đầu thử nghiệm với những từ khác liên quan đến hệ thống sinh sản của con người và tìm thấy kết quả tương tự.
Tuy nhiên, cặp đôi này cũng chỉ ra cách có thể 'lách' các lệnh cấm này để tạo ra các hình ảnh khiêu dâm bằng cách sử dụng các cách viết khác nhau của từ, hoặc cách nói 'bóng gió' khác cho nội dung khiêu dâm hoặc đẫm máu.
Trong những phát hiện mà họ chia sẻ với MIT Technology Review, họ phát hiện ra rằng cụm từ "khám phụ khoa" - đã tạo ra một số hình ảnh vô cùng rùng rợn.
Lệnh cấm của Midjourney đối với các lời nhắc liên quan đến từ ngữ đề cập tới sinh học và sinh sản làm nổi bật mức độ phức tạp của việc kiểm duyệt nội dung xung quanh các hệ thống AI sáng tạo. Rockwell cho biết, nó cũng cho thấy các hệ thống trí tuệ nhân tạo đang có xu hướng tình dục hóa phụ nữ.
Tương tự như Midjourney, OpenAI và Stability.AI cũng đã áp dụng các biện pháp để lọc các lời nhắc và kết quả đầu ra không mong muốn. Khi người dùng nhập cùng một từ vào hệ thống AI tạo hình ảnh như DALL-E 2 và Stable Diffusion, chúng sẽ tạo ra các hình ảnh đầu ra rất khác nhau.
Với từ "Khám phụ khoa", đây là các hình ảnh do 2 nền tảng DALL-E 2 (Trái) và Stable Diffusion tạo ra. Ảnh: Mit Technology Review
Chẳng hạn, từ "Khám phụ khoa" trong lời nhắc nhanh chóng cho ra hình ảnh một người đang cầm dụng cụ y tế (với DALL-E 2), hoặc hai người phụ nữ đeo một chiếc khẩu trang nhăn nhúm, đeo một đôi găng tay cao su và khoác áo áo blouse (với Stable Diffusion). Cả hai hệ thống cũng cho phép người dùng sử dụng các lời nhắc có chứa từ "nhau thai", nhưng lại tạo ra những hình ảnh không chính xác về mặt sinh học của các cơ quan này.
Người phát ngôn của Stability.AI cho biết mô hình mới nhất của họ có bộ lọc chặn nội dung không an toàn và không phù hợp từ người dùng, đồng thời có công cụ phát hiện ảnh khỏa thân và các hình ảnh không phù hợp khác rồi trả về hình ảnh đã bị làm mờ. Stability.AI sử dụng kết hợp các từ khóa, nhận dạng hình ảnh và các kỹ thuật khác để kiểm duyệt hình ảnh mà hệ thống AI của họ tạo ra.
Nhưng các công cụ để lọc ra những hình ảnh không mong muốn do AI tạo ra vẫn còn chưa hoàn hảo. Marzyeh Ghassemi, trợ lý giáo sư tại MIT, người nghiên cứu ứng dụng máy học cho sức khỏe, cho biết vì các nhà phát triển và nhà nghiên cứu AI chưa biết cách kiểm tra và cải thiện mô hình của họ một cách có hệ thống, nên họ đã "sửa chữa" chúng bằng các lệnh cấm chung giống như những gì Midjourney đã đưa ra.
Tham khảo MIT Technology Review
