Our ability to answer questions currently separates us from machines in the world of artificial intelligence. But researchers are working on algorithms to give computers this skill too. Now, scientists at Facebook have come up with questions that they say artificially intelligent machines must answer, if they can ever match human brainpower – but some of them are a bit tricky, meaning some people may fail them too. Scientists at Facebook (logo shown) have come up with questions that they say artificially intelligent machines must answer if they can ever match human brainpower – but some of them are a bit tricky, meaning some people may fail them too . The team from the social media firm’s AI lab in New York have come up with a list of 20 questions to separate humans from robots, because they say ‘many existing learning systems can currently not solve them.’ They test different types of reasoning and the ability to process language. 1) The first question of the 20 listed in the research paper was the simplest for a computer to answer. It is: . John is in the playground . Bob is in the office . Where is John? 2) A harder example for a computer to answer is a question that requires it to differentiate three separate arguments, such as: . Mary gave the cake to Fred. Fred gave the cake to Bill. Jeff was given the milk by Fred. Who gave the cake to Fred? Who did Fred give the cake to? What did Jeff receive? Who gave the milk? 3) Another task tested a machine's ability to perform simple counting operations by asking about the number of objects. For example: . Daniel picked up the football. Daniel dropped the football. Daniel got the milk. Daniel took the apple. How many objects is Daniel holding? 4) Basic deduction skills were tested by questions such as: . Sheep are afraid of wolves. Cats are afraid of dogs. Mice are afraid of cats. Gertrude is a sheep. What is Gertrude afraid of? 5) And reasoning about size was tested by this question: . The football fits in the suitcase. The suitcase fits in the cupboard. The box of chocolates is smaller than the football. Will the box of chocolates sit in the suitcase? The intelligent computers were tested on 20 questions in total, but none of them got a perfect score. The answers to the five examples listed, are shown above . The sometimes tricky questions test different types of reasoning and the ability to process language. A stock image of a perplexed person is shown . Some of the questions require machines to recall facts, while others need reasoning, or to count the number of objects, expressed in a written passage. The researchers say that humans should be able to score full marks. While you may have got one answer wrong, none of the seven computer learning programmes that Facebook tested got all 20 questions right. The experiment was designed to test whether a machine can answer questions ‘via chaining facts, simple induction, deduction and many more,’ the study published on arXiv says. Scientists are keen to create this ability so that humans can talk fluently with machines, which could lead to robots looking after the elderly and more intelligent websites, for example. The paper says: ‘One long-term goal of machine learning research is to produce methods that are applicable to reasoning and natural language, in particular building an intelligent dialogue agent.’ The experts aim to ‘classify these tasks into skill sets, so that researchers can identify (and then rectify) the failings of their systems.’ The results of the test show that humans are still ahead of the game when it comes to interpreting the world’s subtleties and language. The questions are written in very clear and simple terms so there is still a way to go before computers catch us up.
Test was developed by experts at Facebook to test machines with AI .
It's comprised of 20 questions testing reasoning and language skills .
Humans are expected to get a full score, with careful consideration .
None of the AI algorithms managed this showing more research is needed .
היכולת שלנו לענות על שאלות כרגע מפרידה בינינו לבין מכונות בעולם הבינה המלאכותית. אבל חוקרים עובדים על אלגוריתמים כדי להעניק למחשבים גם את המיומנות הזו. כעת, מדענים בפייסבוק העלו שאלות שלדעתם מכונות אינטליגנטיות מלאכותיות חייבות לענות עליהן, אם הן יכולות אי פעם להתאים לכוח המוח האנושי - אבל חלקן קצת מסובכות, כלומר, חלק מהאנשים עלולים להיכשל גם בהן. מדענים בפייסבוק (מוצג הלוגו) העלו שאלות שלדבריהם מכונות אינטליגנטיות מלאכותיות חייבות לענות עליהן אם הן יכולות אי פעם להתאים לכוח המוח האנושי - אבל חלקן קצת מסובכות, כלומר, חלק מהאנשים עלולים להיכשל גם בהן. הצוות ממעבדת הבינה המלאכותית של חברת המדיה החברתית בניו יורק העלה רשימה של 20 שאלות להפרדה בין בני אדם מרובוטים, מכיוון שהם אומרים 'הרבה מערכות למידה קיימות לא יכולות לפתור אותן כרגע'. הם בודקים סוגים שונים של חשיבה יכולת עיבוד שפה. 1) השאלה הראשונה מבין 20 הרשומות במאמר המחקר הייתה הפשוטה ביותר למחשב לענות עליה. זה: . ג'ון נמצא במגרש המשחקים. בוב במשרד. איפה ג'ון? 2) דוגמה שקשה יותר למחשב לענות עליה היא שאלה שדורשת ממנו להבדיל בין שלושה טיעונים נפרדים, כגון: . מרי נתנה את העוגה לפרד. פרד נתן את העוגה לביל. ג'ף קיבל את החלב על ידי פרד. מי נתן את העוגה לפרד? למי נתן פרד את העוגה? מה קיבל ג'ף? מי נתן את החלב? 3) משימה נוספת בדקה את יכולתה של מכונה לבצע פעולות ספירה פשוטות על ידי שאלת מספר העצמים. לדוגמה: . דניאל הרים את הכדורגל. דניאל הפיל את הכדורגל. דניאל קיבל את החלב. דניאל לקח את התפוח. כמה חפצים דניאל מחזיק? 4) מיומנויות הניכוי הבסיסיות נבדקו על ידי שאלות כגון: . כבשים מפחדות מזאבים. חתולים מפחדים מכלבים. עכברים מפחדים מחתולים. גרטרוד היא כבשה. ממה גרטרוד מפחדת? 5) והנימוקים לגבי הגודל נבדקו בשאלה זו: . הכדורגל נכנס למזוודה. המזוודה נכנסת לארון. קופסת השוקולדים קטנה יותר מהכדורגל. האם קופסת השוקולדים תשב במזוודה? המחשבים החכמים נבחנו על 20 שאלות בסך הכל, אך אף אחד מהם לא קיבל ציון מושלם. התשובות לחמש הדוגמאות המפורטות מוצגות למעלה. השאלות הבעייתיות לפעמים בודקות סוגים שונים של חשיבה ויכולת עיבוד שפה. מוצגת תמונת מלאי של אדם מבולבל. חלק מהשאלות דורשות מכונות לזכור עובדות, בעוד שאחרות זקוקות להנמקה, או לספור את מספר החפצים, המובעים בקטע כתוב. החוקרים אומרים שבני אדם צריכים להיות מסוגלים לצבור ציונים מלאים. למרות שאולי טעית בתשובה אחת, אף אחת משבע תוכניות לימוד המחשב שפייסבוק בדקה לא הצליחה בכל 20 השאלות. הניסוי נועד לבדוק אם מכונה יכולה לענות על שאלות "באמצעות שרשור עובדות, אינדוקציה פשוטה, דדוקציה ועוד הרבה יותר", אומר המחקר שפורסם ב-arXiv. מדענים להוטים ליצור את היכולת הזו כדי שבני אדם יוכלו לדבר בצורה שוטפת עם מכונות, מה שעלול להוביל לרובוטים לטפל בקשישים ואתרי אינטרנט אינטליגנטיים יותר, למשל. המאמר אומר: "מטרה אחת ארוכת טווח של מחקר למידת מכונה היא לייצר שיטות שמתאימות להיגיון ולשפה טבעית, במיוחד בניית סוכן דיאלוג אינטליגנטי." המומחים שואפים "לסווג את המשימות הללו לקבוצות מיומנויות, כך חוקרים יכולים לזהות (ולאחר מכן לתקן) את הכשלים של המערכות שלהם.״ תוצאות הבדיקה מראות שבני האדם עדיין מקדימים את המשחק בכל הנוגע לפירוש הדקויות והשפה של העולם. השאלות כתובות בצורה מאוד ברורה ופשוטה כך שעדיין יש דרך לעבור לפני שמחשבים יתפוס אותנו.
הבדיקה פותחה על ידי מומחים בפייסבוק כדי לבדוק מכונות עם AI.
הוא מורכב מ-20 שאלות שבודקות חשיבה וכישורי שפה.
בני אדם צפויים לקבל ציון מלא, תוך שיקול דעת זהיר.
אף אחד מאלגוריתמי הבינה המלאכותית לא הצליח את זה והראה כי יש צורך במחקר נוסף.