मेटा ने अनजाने में एक ऐसे AI टूल के विज्ञापन चलाए जो महिला राजनेताओं के अश्लील डीपफेक वीडियो बनाने का वादा करता था। एप्पल ने भी इस ऐप को अपने स्टोर से हटा दिया है।

  • मेटा के प्लेटफॉर्म पर 'Kromix' नामक AI टूल के अश्लील विज्ञापन देखे गए।
  • विज्ञापनों में अमेरिकी महिला राजनेताओं के चेहरे का उपयोग कर डीपफेक सामग्री दिखाई गई।
  • एप्पल ने जांच के बाद इस ऐप को अपने ऐप स्टोर से हटा दिया है।
  • शोधकर्ताओं ने मेटा की विज्ञापन समीक्षा प्रणाली की विफलता पर सवाल उठाए हैं।

टेक जगत में एक चौंकाने वाला मामला सामने आया है जहाँ Meta Platforms ने अनजाने में एक ऐसे AI टूल के विज्ञापन प्रसारित किए, जो महिला राजनेताओं के गैर-सहमति वाले अश्लील (nonconsensual intimate imagery) डीपफेक वीडियो बनाने का दावा करता था। यह घटना मेटा की उन नीतियों की विफलता को दर्शाती है जो यौन सामग्री और अश्लीलता के खिलाफ बनाई गई हैं।

WIRED की एक जांच के अनुसार, इस उपकरण को 'Kromix' नाम दिया गया है, जो खुद को एक 'AI इमेज स्टाइलर' के रूप में पेश करता है। विज्ञापनों में स्पष्ट रूप से कहा गया कि इस टूल में 'कोई प्रतिबंध नहीं है' और यह 'वह AI है जिसका पुरुष वास्तव में उपयोग करते हैं'। सबसे गंभीर बात यह है कि एक विज्ञापन में एक प्रमुख अमेरिकी महिला राजनेता से मिलता-जुलता चेहरा दिखाया गया, जिसे बाद में एक अश्लील वीडियो में बदल दिया गया।

यह भी पढ़ें:चीन में Apple Intelligence की एंट्री: स्थानीय AI मॉडल के साथ एप्पल का बड़ा कदम

Why This Matters

BozokMedia विश्लेषण से पता चलता है कि यह केवल एक विज्ञापन की विफलता नहीं है, बल्कि यह AI के लोकतंत्रीकरण के साथ आने वाले गंभीर सुरक्षा जोखिमों का संकेत है। जब आधिकारिक पोर्ट्रेट और प्रेस कॉन्फ्रेंस के वीडियो जैसे 'साधारण मीडिया' का उपयोग अश्लील सामग्री बनाने के लिए किया जा सकता है, तो सार्वजनिक हस्तियों की गरिमा और सुरक्षा खतरे में पड़ जाती है।

'मेटा पर देखे गए सभी विज्ञापन महिलाओं को यौन रूप से लक्षित और डीपफेक पोर्न में डालते हुए दिखाई देते हैं, जो महिला सुरक्षा पर गंभीर प्रश्न खड़े करता है।' - केटी पॉल, टेक ट्रांसपेरेंसी प्रोजेक्ट।

यह मामला केवल मेटा तक सीमित नहीं है। Apple को भी आलोचना का सामना करना पड़ा है क्योंकि 'Kromix' ऐप उनके ऐप स्टोर पर उपलब्ध था। सैन फ्रांसिस्को के सिटी अटॉर्नी ने पहले ही एप्पल को एक 'सीज-एंड-डेसिस्ट' पत्र भेजकर explicit डीपफेक छवियों की बिक्री में सहायता करने के लिए फटकार लगाई है।

मेटा का दावा है कि उनकी विज्ञापन समीक्षा प्रणाली मुख्य रूप से स्वचालित (automated) उपकरणों पर निर्भर करती है। हालांकि, शोधकर्ताओं ने पाया कि विज्ञापनदाताओं ने पहचान से बचने के लिए चालाकीपूर्ण तरीके अपनाए। विज्ञापनों के कवर फोटो में समुद्र तट या पहाड़ों जैसी सामान्य तस्वीरें दिखाई जाती थीं, ताकि सिस्टम को धोखा दिया जा सके, जबकि वास्तविक सामग्री अश्लील होती थी।

Did You Know?: डीपफेक तकनीक का उपयोग करके दुनिया भर में लाखों अश्लील और फर्जी वीडियो बनाए जा रहे हैं, जिनमें से अधिकांश महिलाओं को निशाना बनाते हैं।

Frequently Asked Questions

1. मेटा ने इन विज्ञापनों पर क्या कार्रवाई की?
WIRED की रिपोर्ट के बाद, मेटा ने इन विज्ञापनों को हटा दिया है।

2. क्या यह केवल एक ऐप की समस्या है?
नहीं, यह AI-जनित यौन शोषण और विज्ञापन समीक्षा प्रणालियों की एक बड़ी वैश्विक चुनौती है।