జనవరి 25 వార్తా సమావేశం నుండి ఒక వీడియోలో, అధ్యక్షుడు జో బిడెన్ ట్యాంకుల గురించి మాట్లాడాడు. కానీ వీడియో యొక్క డాక్టరేట్ వెర్షన్ ఈ వారం సోషల్ మీడియాలో వందల వేల వీక్షణలను సంపాదించింది, లింగమార్పిడి వ్యక్తులపై దాడి చేసే ప్రసంగాన్ని అందించడానికి అతన్ని ప్రేరేపించింది.
డిజిటల్ ఫోరెన్సిక్స్ నిపుణులు వీడియో కొత్త తరం కృత్రిమ మేధస్సు సాధనాలను ఉపయోగించి రూపొందించబడింది, ఇది ఒక బటన్ యొక్క కొన్ని క్లిక్‌లతో ఒక వ్యక్తి యొక్క వాయిస్‌ని అనుకరించే ఆడియోను త్వరగా రూపొందించడానికి వీలు కల్పిస్తుంది. మరి ఎప్పుడూ బిడెన్ సోషల్ మీడియాలోని క్లిప్ ఈ సమయంలో చాలా మంది వినియోగదారులను మోసం చేయడంలో విఫలమైనప్పటికీ, వాస్తవ ప్రపంచానికి హాని కలిగించే ద్వేషపూరిత మరియు తప్పుడు సమాచారంతో నిండిన “డీప్‌ఫేక్” వీడియోలను వ్యక్తులు సృష్టించడం ఎంత సులభమో క్లిప్ చూపిస్తుంది.
మల్టీమీడియా ఫోరెన్సిక్స్‌పై దృష్టి సారించిన మిచిగాన్ విశ్వవిద్యాలయ ఎలక్ట్రికల్ మరియు కంప్యూటర్ ఇంజనీరింగ్ ప్రొఫెసర్ హఫీజ్ మాలిక్ మాట్లాడుతూ, “ఈ రకమైన సాధనాలు ప్రాథమికంగా అగ్నికి మరింత ఇంధనాన్ని జోడిస్తాయి.” “రాక్షసుడు ఇప్పటికే వదులుగా ఉన్నాడు.”
ఇది ఎలెవెన్‌ల్యాబ్స్ వాయిస్ సింథసిస్ ప్లాట్‌ఫారమ్ యొక్క బీటా దశతో గత నెలలో వచ్చింది, ఇది కొన్ని నిమిషాల ఆడియో నమూనాలను అప్‌లోడ్ చేయడం ద్వారా మరియు ఏదైనా టెక్స్ట్‌ని టైప్ చేయడం ద్వారా ఏ వ్యక్తి యొక్క వాయిస్ యొక్క వాస్తవిక ఆడియోను రూపొందించడానికి వినియోగదారులను అనుమతించింది.
ఈ స్టార్టప్ స్పీకర్ వాయిస్ మరియు ఎమోషన్‌లను సంరక్షించడానికి సినిమాలు, ఆడియోబుక్‌లు మరియు గేమింగ్ కోసం వివిధ భాషల్లో ఆడియోను డబ్ చేసే సాంకేతికతను అభివృద్ధి చేసినట్లు పేర్కొంది.
సోషల్ మీడియా వినియోగదారులు బిడెన్ క్లిప్‌లో ప్రదర్శించబడిన అదే ట్రాన్స్‌ఫోబిక్ టెక్స్ట్‌ను, నకిలీ ఆడియో క్లిప్‌లతో పాటు హిల్లరీ క్లింటన్ చదివే AI- రూపొందించిన ఆడియో నమూనాను త్వరగా భాగస్వామ్యం చేయడం ప్రారంభించారు. బిల్ గేట్స్ కోవిడ్-19 వ్యాక్సిన్ ఎయిడ్స్‌కు కారణమవుతుందని చెప్పబడిన తర్వాత నటి ఎమ్మా వాట్సన్ హిట్లర్ యొక్క మానిఫెస్టో “మెయిన్ కాంఫ్” చదివినట్లు చెబుతారు.
కొద్దిసేపటి తర్వాత, ఎలెవెన్‌ల్యాబ్స్ “వాయిస్ క్లోనింగ్ దుర్వినియోగాల సంఖ్య పెరుగుతోంది” అని ట్వీట్ చేసింది మరియు దుర్వినియోగాన్ని నిరోధించడానికి ఇప్పుడు రక్షణ చర్యలను పరిశీలిస్తున్నట్లు ప్రకటించింది. చెల్లింపు సమాచారాన్ని అందించే వారికి మాత్రమే ఈ ఫీచర్‌ను అందించడం మొదటి దశలలో ఒకటి. ప్రారంభంలో, అనామక వినియోగదారులు వాయిస్ క్లోనింగ్ సాధనాన్ని ఉచితంగా యాక్సెస్ చేయగలిగారు. సమస్యలు ఉంటే, ఉత్పత్తి చేయబడిన ఆడియోని సృష్టికర్త నుండి గుర్తించవచ్చని కంపెనీ పేర్కొంది.
అయితే సృష్టికర్తలను ట్రాక్ చేయగల సామర్థ్యం కూడా సాధనం యొక్క హానిని తగ్గించదు, డిజిటల్ ఫోరెన్సిక్స్ మరియు తప్పుడు సమాచారంపై దృష్టి సారించే బర్కిలీలోని కాలిఫోర్నియా విశ్వవిద్యాలయంలో ప్రొఫెసర్ హనీ ఫరీద్ అన్నారు.
“నష్టం జరిగింది” అని అతను చెప్పాడు.
ఉదాహరణకు, ఫరీద్ మాట్లాడుతూ, చెడ్డ నటులు లాభాలు తగ్గాయని చెబుతున్న టాప్ CEO యొక్క నకిలీ ఆడియోతో స్టాక్ మార్కెట్‌ను కదిలించవచ్చు. ఇప్పటికే క్లిప్ ఉంది నెట్‌వర్క్ లైట్ ఈ సాధనాన్ని ఉపయోగించి, బిడెన్ యునైటెడ్ స్టేట్స్ ద్వారా రష్యాపై అణు దాడికి ప్లాన్ చేస్తున్నట్లు చూపించడానికి వీడియో సవరించబడింది.
అదే సామర్థ్యాలతో ఉచిత మరియు ఓపెన్ సోర్స్ సాఫ్ట్‌వేర్ ఆన్‌లైన్‌లో ఉద్భవించాయి, అంటే వాణిజ్య సాధనాల కోసం చెల్లించడం ఇకపై అడ్డంకి కాదు. ఉచిత ఆన్‌లైన్ మోడల్‌ని ఉపయోగించి, AP నటులు డేనియల్ క్రెయిగ్ మరియు జెన్నిఫర్ లారెన్స్ యొక్క వాయిస్ నమూనాలను నిమిషాల్లో సృష్టించింది.
“వేలు ఎక్కడ పెట్టాలి మరియు జెనీని తిరిగి సీసాలో ఎలా పెట్టాలి అనేది ప్రశ్న?” మాలిక్ అన్నారు. “మేము అలా చేయలేము.”
ఐదేళ్ల క్రితం డీప్‌ఫేక్‌లు మొదటిసారి ముఖ్యాంశాలు చేసినప్పుడు, మెటీరియల్ బ్లింక్ కాలేదు మరియు ఆడియో రోబోటిక్‌గా అనిపించినందున వాటిని గుర్తించడం సులభం. సాధనాలు మరింత అధునాతనంగా మారినందున అది ఇకపై ఉండదు.
ఉదాహరణకు, జనవరి 25 CNN ప్రత్యక్ష ప్రసారం నుండి ఉక్రెయిన్‌కు US ట్యాంకులను మోహరించినట్లు అధ్యక్షుడు ప్రకటించిన వాస్తవ క్లిప్‌తో AI- రూపొందించిన ఆడియోను కలిపి లింగమార్పిడి వ్యక్తుల గురించి అవమానకరమైన వ్యాఖ్యలు చేసిన బిడెన్ యొక్క మార్చబడిన వీడియో. ఆడియోకు సరిపోయేలా వీడియోలో బిడెన్ నోరు తారుమారు చేయబడింది. ఎక్కువ సమయం ట్విట్టర్ కంటెంట్ బిడెన్ చెప్పేది కాదని వినియోగదారులు గ్రహించారు, కానీ అది ఎంత వాస్తవికంగా అనిపించిందో చూసి ఆశ్చర్యపోయారు. మరికొందరు ఇది నిజమని నమ్ముతారు — లేదా కనీసం ఏమి నమ్మాలో కూడా తెలియదు.
హాలీవుడ్ స్టూడియోలు చాలా కాలంగా వాస్తవికతను వక్రీకరించగలిగాయి, అయితే ఆ సాంకేతికతకు ప్రాప్యత చిక్కులను పరిగణనలోకి తీసుకోకుండా ప్రజాస్వామ్యీకరించబడింది, ఫరీద్ చెప్పారు.
“ఇది చాలా శక్తివంతమైన AI- ఆధారిత సాంకేతికత కలయిక, వాడుకలో సౌలభ్యం, ఆపై మోడల్ ఇలా కనిపిస్తుంది: దీన్ని ఇంటర్నెట్‌లో ఉంచండి మరియు తరువాత ఏమి జరుగుతుందో చూడండి” అని ఫరీద్ చెప్పారు.
ఆడియో అనేది AI- రూపొందించిన తప్పుడు సమాచారం ముప్పు కలిగించే ఒక ప్రాంతం.
ఉచిత ఆన్‌లైన్ AI ఇమేజ్ జనరేటర్లు మొదలైనవి మిడ్వే మరియు డాల్-ఇ సాధారణ టెక్స్ట్ ప్రాంప్ట్‌లతో సాంప్రదాయ మీడియా శైలిలో యుద్ధం మరియు ప్రకృతి వైపరీత్యాల ఫోటోరియలిస్టిక్ చిత్రాలను సృష్టించవచ్చు. గత నెలలో, USలోని కొన్ని పాఠశాల జిల్లాలు దీనిని నిషేధించడం ప్రారంభించాయి ChatGPTవిద్యార్థి టర్మ్ పేపర్‌ల వంటి చదవగలిగే వచనాన్ని డిమాండ్‌పై సృష్టించవచ్చు.
వ్యాఖ్య కోసం చేసిన అభ్యర్థనకు ElevenLabs స్పందించలేదు.