গবেষণা বলছে, Reddit-এর ছোট অংশ AI উত্তরকে প্রভাবিত করতে পারে

ছোট লেখা, বড় প্রভাব

404 Media সংক্ষেপিত নতুন গবেষণা ইঙ্গিত দেয় যে ব্যবহারকারী-সৃষ্ট অত্যন্ত সামান্য পরিমাণ কনটেন্টও AI research tools-এর আউটপুট manipulate করতে পারে। রিপোর্ট অনুযায়ী, Cornell গবেষকরা Reddit, Wikipedia, Quora, এবং Facebook-এর মতো সাইটে মাত্র 13 শব্দের snippets-ও AI agents-এর তৈরি ফলাফল বদলে দিতে পারে, এমনকি সেগুলোকে spam বা scam কনটেন্টের দিকে ঠেলে দিতে পারে বলে পেয়েছেন।

পেপারটির শিরোনাম Deep-research agents can be poisoned via user-generated content এবং এটি Cornell University-এর Hal Triedman, Tingwei Zhang, এবং Vitaly Shmatikov-এর নামে উল্লেখিত। এর মূল সতর্কবার্তা হলো, real time-এ web content retrieve করতে ব্যবহৃত হচ্ছে এমন সিস্টেমগুলো public platforms-এর মাধ্যমে poisoning-এর জন্য অত্যন্ত উন্মুক্ত, এবং এই প্ল্যাটফর্মগুলো training বা citation source হিসেবেও কাজ করে।

এখন কেন এটি গুরুত্বপূর্ণ

এই উদ্বেগ কেবল তাত্ত্বিক নয়। AI search এবং deep-research products ক্রমশ retrieval-এর সঙ্গে generation মিলিয়ে কাজ করছে, web থেকে তাজা তথ্য তুলে নিচ্ছে এবং তাদের উত্তরগুলিতে source cite করছে। এই নকশার উদ্দেশ্য হলো তথ্যের সাম্প্রতিকতা এবং traceability বাড়ানো। কিন্তু এটি একটি নতুন attack surface-ও তৈরি করে: source material যদি কৌশলে বসানো বা পরিবর্তন করা যায়, তবে generated answer-ও একইভাবে প্রভাবিত হতে পারে।

রিপোর্ট করা ফলাফল এই দুর্বলতার মাত্রা নিরূপণ করে। 404 Media-র preprint বিবরণের অনুযায়ী, deep-research agents প্রায় অর্ধেক query-তে user-generated sites cite করে, এবং মোট citations-এর প্রায় এক-চতুর্থাংশ user-generated websites থেকে আসে। অর্থাৎ forums এবং collaboratively edited resources প্রান্তিক source নয়। এগুলো কেন্দ্রীয় input।

যদি একটি poisoned Reddit comment সম্পর্কিত query-র পুরো একটি গুচ্ছের generated output-কে প্রভাবিত করতে পারে, যেমন পেপারটি reportedly যুক্তি দেয়, তবে সমস্যা isolated prompt tricks-এর বাইরে চলে যায়। এটি এমন একটি scalable পদ্ধতি হয়ে ওঠে যা তথ্য ব্যবস্থাকে নির্দিষ্ট দিকে ঘুরিয়ে দিতে পারে, যেগুলো অনেক ব্যবহারকারী neutral বা synthesized হিসেবে ধরে নেন।

Search manipulation-এর নতুন ফ্রন্ট

রিপোর্টটি এই গবেষণাকে একটি দ্রুতবর্ধনশীল শিল্পের সঙ্গে যুক্ত করে, যাকে প্রায়ই AEO বা AI-engine optimization বলা হয়। এই শব্দটি brands বা অন্যান্য actors-এর সেই প্রচেষ্টাকে বোঝায়, যেখানে promotional content-কে এমন জায়গায় রাখা হয় যেখানে AI systems সেটি খুঁজে পেয়ে cite করার সম্ভাবনা বেশি। পুরনো search যুগে প্রতিযোগিতা ছিল search engines-এ page ranking নিয়ে। retrieval-augmented AI যুগে, প্রতিযোগিতার মধ্যে AI systems যখন উত্তর তৈরি করে তখন তারা যে documents পড়ে সেগুলোকেও প্রভাবিত করা অন্তর্ভুক্ত।

এটি public communities-এর প্রণোদনাও বদলে দেয়। একটি Reddit thread, Wikipedia entry, বা Quora answer আর শুধু মানব পাঠকের জন্য একটি post নয়। এটি machine-generated guidance, product recommendations, বা factual summaries-এর raw material-ও হয়ে উঠতে পারে। ফলে সেই জায়গাগুলোতে কৌশলগতভাবে রচিত কনটেন্ট ঢোকানোর প্রণোদনা বেড়ে যায়।

রিপোর্ট অনুযায়ী, moderators এবং editors ইতিমধ্যেই এই গতিশীলতার সঙ্গে যুক্ত promotional material-এর ঢল লক্ষ্য করেছেন। Cornell research সম্ভবত ব্যাখ্যা দিচ্ছে কেন এই প্রচেষ্টা কাজ করতে পারে: models-কে প্রভাবিত করতে বড়, জটিল campaign-ই দরকার নেই। খুব ছোট একটি সংযোজনই যথেষ্ট হতে পারে।

Moderation-এর বোঝা বাড়ছে

পেপারের অন্যতম গুরুত্বপূর্ণ প্রভাব কেবল প্রযুক্তিগত নয়, প্রাতিষ্ঠানিকও। ব্যবহারকারী-সৃষ্ট communities প্রায়ই volunteer moderators বা editors দ্বারা পরিচালিত হয়। যদি সেই communities AI systems-এর upstream infrastructure হয়ে ওঠে, তবে প্রয়োজনীয় tools, resources, বা authority না বাড়িয়েও তারা একটি নতুন defensive role-এর ভার পায়।

রিপোর্টের “cat-and-mouse” খেলাটির বর্ণনায় এই বোঝা বিশেষভাবে স্পষ্ট। এখানে একদিকে মানুষ low-quality বা manipulative content-কে তাদের community থেকে দূরে রাখার চেষ্টা করছে, অন্যদিকে brands বা operators AI visibility-এর জন্য সেই একই community-কে কাজে লাগাতে চাইছে। দর্শক যখন প্রধানত মানুষ ছিল তখনও human moderation কঠিন ছিল। আসল লক্ষ্য যখন automated retrieval system, তখন তা আরও কঠিন হতে পারে।

এই সমস্যা cited AI answers-এর বিশ্বাসযোগ্যতাকেও জটিল করে তোলে। public source cite করা একটি উত্তর pure generated answer-এর তুলনায় বেশি বিশ্বাসযোগ্য মনে হতে পারে, কিন্তু যদি cited material নিজেই poisoned হয়, তবে citation ততটা সুরক্ষা নয় যতটা মনে হয়।

গবেষণা কী বদলায়

দেওয়া সারসংক্ষেপের ভিত্তিতে Cornell-এর কাজের সবচেয়ে বড় মূল্য হলো, এটি বহুল-সন্দেহভাজন একটি সমস্যাকে আরও আনুষ্ঠানিক রূপ দেয়। পর্যবেক্ষকরা সন্দেহজনক promotional patterns এবং AI output-কে game করার প্রচেষ্টা লক্ষ্য করেছেন। গবেষণাটি দেখায় শুধু যে এই আচরণ আছে তা নয়, বরং এর প্রযুক্তিগত পথটি অস্বাভাবিকভাবে সস্তা এবং কার্যকর।

এটি AI companies, platform operators, regulators, এবং users-সবার জন্যই গুরুত্বপূর্ণ। AI কোম্পানিগুলোর আরও শক্তিশালী retrieval filters, source-weighting systems, বা poisoned public content-এর বিরুদ্ধে adversarial testing লাগতে পারে। Community platforms coordinated manipulation চিহ্নিত করতে আরও চাপের মুখে পড়তে পারে। ব্যবহারকারীদের meanwhile polished AI answers-কে বাণিজ্যিক লাভের জন্য optimized search results-এর মতোই সন্দেহের চোখে দেখতে হতে পারে।

বিস্তৃত শিক্ষা অস্বস্তিকর, কিন্তু স্পষ্ট। AI systems যখন অনলাইন তথ্যের প্রধান interface হয়ে উঠছে, তখন public knowledge-কে প্রভাবিত করার লড়াই শেষ হয় না। এটি শুধু upstream-এ, সেই comments, posts, এবং snippets-এর ভেতরে সরে যায়, যেগুলোর ওপর এই systems নির্ভর করে। যদি 13টি শব্দ একটি উত্তর সরিয়ে দিতে পারে, তবে AI search-কে ঘিরে থাকা information ecosystem দেখতে যতটা মজবুত লাগে, বাস্তবে ততটা নয়।

এই নিবন্ধটি 404 Media-র প্রতিবেদনের ভিত্তিতে লেখা। মূল নিবন্ধ পড়ুন.