סיכונים קיומיים ואבולוציה דיגיטלית בלתי מבוקרת

[אני לא מומחה AI. הספר הנדון אינו מציע שום פתרונות קונקרטיים, אלא שייך לקטגוריה # עיתונאות וספרות מדע בדיונית. כפי שקורה לעתים קרובות במקרים כאלה, הדיונים שנוצרו על ידי הספר הם הרבה יותר מעניינים ושימושיים מאשר הספר עצמו. נושא זה הפך להיות נפוץ יותר באנגלית. האינטרנט. ב Runet, את השאילתה @ superintelect, @ supermind נותן ~ 189 תוצאות לחודש (Yandex)]

"מה אם נצליח?"
סטיוארט ראסל

אפוקליפסה מחר

בספרו אינטליגנציה מעולה: הזדמנויות, סיכונים, אסטרטגיות ניק בוסטרום מצייר תרחיש פסימי של התפתחות הבינה המלאכותית: ברגע ש- AI נראה שווה לאינטליגנציה האנושית, האינטליגנציה העל-תכליתית תהיה אחת ההמצאות הראשונות שלו. ואז "הכנר אינו נחוץ", מערכות מידע סופר אינטליגנטי יכול לחנך את עצמי ולשכפל מערכות מורכבות עוד יותר, לשלוט על ההפצה והפצה של AI המתחרה, להתמכר גזע מלתוסיאני אגרסיבי עם סוכנים חכמים אחרים בחיק הטבע מלאכותי.

סיכונים קיומיים מהשכונה של supermind ואדם לגדול הרבה יותר. ניק בוסטרום מזהיר שהמודיעין העל-יסודי מסוגל ללמוד מהר יותר ויעיל יותר של יוצריו, ואם לא תטמע ערכי אנוש בתוכו, אז הכל יסתיים רע, כי אינטליגנציה גבוהה לא רק תוכל להסדיר את הייצור הנוסף של מכונות חכמות, היא תמנע בהצלחה מאנשים לנסות לתקן את עבודתו או להפריע לה.

נסיגה אוטוביוגרפית: ניק בוסטרום בין מדענים ופילוסופים ידוע כמאהב אימה - הוא עומד בראש המכון, העוסק בחיפוש ובפרסום של סיכונים קיומיים, יש לו עבודה כזאת. כמה עמיתים אפילו קוראים לו דונלד טראמפ מ AI, ניק בוסטרום נעלב, אבל מהר סולח. העולם הקשה של הדיון המדעי. סופה של הנסיגה האוטוביוגרפית.

Ii. מה חושבים המומחים?

כבר עכשיו, AI יש "מוגבל רציונליות" - הוא יכול לבחור את האסטרטגיה האופטימלית להשגת תוצאות. מה יקרה אם ילמד לשנות אותם ולשנות את ההיררכיה של מטרותיו?

כטיעון המרכזי לתמיכה בפחדיהם, בוסטרום מצטט את הרצון לאופטימיזציה. אם superintelligent צריך לפתור את משפט רימן ועל זה הוא צריך להמיר חצי יצורים חיים למחשבים, הוא יעשה את זה ללא היסוס, קובע בוסטרום. אם המודיעין צריך לרפא סרטן, אז הוא יעשה את זה, גם אם זה צריך להשמיד את כל האנשים שאין להם סרטן. המחבר מעמיד את הבעיה של שליטה על מודיעין סופר מלכתחילה בפיתוח של AI. בקרב מדענים, תרחיש כזה נקרא פרדיגמות של בוסטרום בשנות ה -2000. ההתקדמות האחרונה בלמידה של מכונה משכה תשומת לב לנושא זה אפילו על ידי האוליגרכים הטכנו ואנשי עסקים, שנשמע אזעקה בכנות הביעו חששות לגבי פיתוח של AI.

רמז נעם מטיל ספק בדעותיהם של ב 'גייטס, א ("אינטליגנציה סופר הוא פצצת אטום חדשה"), ס הוקינג על הסיכונים של AI יש משקל כלשהו. "אף אחד מהם לא עבד בתחום הזה."הוא מצטט את דעותיהם של מומחי הלמידה של AI / machine:

  • מייקל ליטמן, פרופסור באוניברסיטת בראון ועובד לשעבר בארגון AI: "פחדים כאלה פשוט לא מציאותיים, ה- AI לא יכול פשוט להתעורר ולעשות אפוקליפסה".
  • ינואר LeKun, פייסבוק מומחה על רשתות עצביות: "יש אנשים שחושבים שה- AI יוכל לתכנת את עצמו יום אחד, בדרך כלל הנחות כאלה לא נעשות על ידי מומחים".
  • אנדרו יון, Curser / Google / Baidu Machine Learning מומחה: "כן, המחשבים נעשים חכמים יותר, אבל זה רק התודעה, לא התודעה והמודעות העצמית, ורוב המומחים לא מאמינים שכך אתה יכול ליצור AI מודע, מחשש לסכנות של אינטליגנציה גבוהה הוא בדיוק כמו דאגה אכילת יתר של מאדים."
  • אחרים, לא פחות רציני מומחים מאמינים אחרת:
  • ריצ'רד סאטון, מרצה למדעי המחשב באוניברסיטת אלברט, אמר בנאומו בכנס בנושא אבטחה מאובטחת: "יש הסתברות מסוימת של התרחשות של רמת AI של אדם" ואז "ניאלץ לשתף פעולה אתו", א "מ עבדים סבירים את AI יכול להיות סביר מתחרה."
  • Jürgen Schmidhuber, פרופסור של AI באוניברסיטת לוגאנו ופרופסור לשעבר למדע קוגניטיבי של רובוטים באוניברסיטת מינכן קובע כי: "אם קצב הפיתוח של המדע נשאר באותה רמה כמו קודם, אז בעשורים הקרובים אנו יכולים לצפות פריצת דרך אמיתית ביישום של AI." על reddite, הוא הבחין כי: "במבט ראשון, שיפור עצמי רקורסיבי במכונות של Gödel יכול לעזור לפתח superintelligence.Gödel מכונות יכול לבחור ולבצע שינויים בקוד שלהם כי סביר להניח להביא תוצאות חיוביות על פי קבוצה הראשונית של תכונות.זה, אנחנו יכולים לציין את" הפרמטרים והמכונה יפתחו אותם בעצמם, חוקרים אחרים יכולים לשאול את המכונות שלהם על פרמטרים שונים, ומרוץ המכונות של ההתפתחות יתחיל, אי אפשר לנבא מי ינצח במירוץ הזה ומה הוא יביא לנו. עוד על זה."
  • מוריי שיינהן, מרצה למדעי המחשב בקיימברידג ', בספרו "סינגולריות טכנולוגית" כותב:מ יצירת רמת AI של אדם (אפשרי מבחינה תיאורטית, אבל קשה מאוד) כדי ליצור אינטליגנציה גבוהה, זה יכול לקחת לא מעט זמן פריצת דרך זו ניתן להשוות לנקודה של סינגולריות, שבו האירועים יתפתחו מהר יותר ממה שאנחנו מניחים. יכולת מודיעינית יתר על המידה האנושית תהיה קשורה לסיכונים קיומיים מוגברים ולהגברת הטבות ".

אלן טיורינג, שאינו זקוק למבוא, בעבודתו "האם מכונה דיגיטלית מסוגלת לחשוב?" כותב: "נניח שאנחנו מצליחים ליצור מכונות חשיבה, זה יביא לתהודה ויעמוד בהתנגדות מצד אינטלקטואלים ומדענים שמדאיגים את עמדתם ועבודתם, ומסיבה טובה, כי כאשר המכונות מגיעות לרמה האנושית של החשיבה, אנשים יצטרכו להתאמץ מאוד כדי לשמור על קשר עם מכונות בפעילות סבירה, כמו כן סביר מאוד כי היכולת של מכונת סביר ליצור דמיון משלה או מכונה אפילו יותר אינטליגנטי.לכן, ניתן לצפות כי פעם מכונה סבירה יכול להיות סביר בשליטת האנושות. "

.Ii למה אינטליגנציה מלאכותית?

כי המוח האנושי הוא האנלוגי הקרוב ביותר למה שקורה בלמידת מכונה: מערכות מידע שעוברות למידה מכונה נקראות רשתות עצביות וכוללות שכבות נפרדות, שכל אחת מהן אחראית לעיבוד מידע מסוים. אם השכבות של רמות נמוכות יותר יכול לקבל מידע, אז השכבות של רמות העליון יכול לעבד, לשדר ולהשתמש בו עבור האימון שלהם. דומה מאוד למכשיר הלמידה העצמית בראש האדם.

רשתות עצביות כבר מסוגלות להבחין בין דיבור אנושי לפנים טוב יותר מבני אדם. זה לא מזיק כמו שזה נראה במבט ראשון. אנחנו מופתעים בניצחון של מחשב על אדם שחמט או ללכת, אם כי אין לאדם חלקים מיוחדים של קליפת המוח לפתרון בעיות שחמט. אבל הכרה וסיווג של פרצופים היא כבר אזור מיוחד של קליפת המוח אשר התפתח אבולוציונית והוא אחראי על הישרדות. וגם בתחום זה, AI הוא טוב יותר מאשר האדם היום.

אז, AI הוא מסוגל באופן מופשט וקטלני להבין מידע חינוכי: כדי להבדיל בין תמונות של כלבים לבנים, כלבים שחורים, ספניילים, תחביטים, גורים, כלבים מבוגרים לייחס את כל זה "הכלב" בכיתה. AI יכול ליצור ולתייג מוטיבים פורנוגרפיים בתמונות. (היזהרו: פורנוגרפיה דיגיטלית אמיתית במונחים של AI). יכולות אלה של AI (סיווג / הכללה / סיווג) מציינות את הפעילות הסבירה הפשוטה ביותר של מערכת מידע.

מה הלאה?

Iv. השווה בין שתי הגישות:

1. מכניזם: סיווג / סיווג הוא בהחלט אחד הסימנים של סוכן סביר. אבל רק אחד. זוהי תכונה שימושית נפלאה, אבל לא הראשי. אינטליגנציה אמיתית דורשת יותר מאשר היכולת ללחוץ על פאזלים - הרצון ללחוץ על פאזלים. הבחנה בין דימויים של כלבים וקריאתו לכלב היא מגניבה, ללא ספק. AI הנוכחי חייב להיות מובנית בעיקר הרצון, כונן מוטיבציה לפתור בעיות ולהוכיח משפטי. ויצירת מערכת מידע רציונלי המבקש הוא יותר מאשר היכולת לבצע משימות מהירים וביעילות אפילו מורכבים מאוד כפי שהורה על ידי המהנדס של מערכת זו. והרצון של מכונה חכמה המבקשת עשוי להיות שונה ממטרותיו של יוצר אנושי. גישה זו היא חמוד Nick Bostrom.

2. ביולוגית (זהירות: פישוט גולמי): רוב המוח מורכב מאותו תאים או מעט שונים שהתפתחו במהלך האבולוציה. אם אנחנו יכולים להבין איך חלק אחד של המוח עובד, אז זה יהיה הרבה יותר קל להבין איך אזורים אחרים לעבוד. מוטיבציה תהליכים של פעילות רציונלית אנושית מתרחשים באזורים דומים או דומים בקליפת המוח תפיסה / סיווג / סיווג מידע. אם המדענים מאמינים כי מערכות מידע עבור סיווג תפיסה-סיווג ניתן לשכפל באמצעות הדוגמה של המוח האנושי, ולאחר מכן לשחזר מערכות אינטליגנציה אינטליגנטי, המדענים מעדיפים מעט לשנות את הדגימות רשת עצבית הקיימת עבור סיווג / סיווג. מערכות כאלה לא ייראו כמו טיפוסים מונעים לחלוטין וממוקדי מטרה (המוח האנושי הוא גם קצת כמו מערכות כאלה). סביר להניח, זה יתברר הרבה קטן מתפיסות שונות, תשוקות ומניעים, כפי שקורה בדרך כלל בראש האדם. גישה כזו מעמידה בסימן שאלה את כוחו הכולל של הבורא-אדם מעל AI, משום שהמניעים / המטרות המתוכנתים של המכונה אינם נוצרים או ישתנו באופן משמעותי.

נסיגה ביולוגית. ההיסטוריה האבולוציונית של הגישה הביולוגית קשה להתחקות ולאשר במדויק. ההפרדה בין תפיסה קוגניטיבית / עיבוד של מידע חושי (קליפת המוח הקדם-פרונטאלית) לבין מרכזי זיכרון / רגש / התנהגות (היפותלמוס והיפוקמפוס) התרחשה בשלבים המוקדמים של התפתחות החולייתנים או אפילו קודם לכן. עם זאת, מערכות שונות אלה שמרו על קשרים ומפריעים זה לזה. חלקים מסוימים של קליפת המוח קשורים להיפותלמוס ומשתייכים למערכת הלימבית. חלקים אחרים של התלמוס (מוח לטאה, מערכת לימבית) מעורבים בעיבוד מידע (colliculi).

נראה כי אזורים במוח האחראים על תפיסה חושית ועל אזורי מוטיבציה רגשית נמצאים בחלקים שונים של קליפת המוח. יתר על כן, קליפת המוח הקדם-חזיתית, הנחשבת לעריסה של האישיות האנושית (פעילות קוגניטיבית גבוהה יותר, הערכה, תכנון וכו '), ככל הנראה התפתחה מקליפת הדגים הראשונים, מהמוח האחד של הדגים. אשר, בתורו, מקורם מאות מאות נוירונים אלה שהיו אחראים על התפיסה ועיבוד של מידע חושי בתולעים הראשונות. סופו של הנסיגה הביולוגית.

לא אנטומיה ולא אבולוציה מרמזת על הפרדה אוטונומית טהורה בין תפיסה, עיבוד ומוטיבציה של פעילות סבירה. אותן מערכות יכולות לתפוס מידע במקום אחד, ועם שינויים קלים, לעבד אותו ולהניע פעילות נוספת בחלקים אחרים של המוח. כל אחד. בסיכון לצלול לתוך מטאפיסיקה ומיסטיקה, נניח כי עיוותים קוגניטיביים (עיבוד מידע) ואשליות חזותיות (תפיסות) יש יותר במשותף ממה שחשבו בעבר (עוד פישוט: עיוותים אלה מתרחשים בתחומים זהים מבחינה טכנית, שדות ברודמן).

על מקור המינים

סיווג / סיווג הוא הבסיס לחינוך מוסרי. אולי זה מוסר. קח לדוגמה את הקטגוריות המנטליות: כולם יודעים מה זה ציפור, אבל עם ההגדרה המדויקת של "ציפור" קצת יותר קשה (חסידה היא ציפור, הפינגווין הוא ציפור מוזרה, ארכיאופטריקס ... חצי ציפור?).

כולם זוכרים איך מתעוררות הקטגוריות האלה. קצת לימוד, האם מראה לילד תרנגולת ואומרת "ציפור", אחרי כמה שנים הילד לומד שהמחבט הוא "לא ציפור", והמוח שלך פועל בחופשיות עם קטגוריות / כיתות והפשטות מורכבות, ואחרי עוד אלפיים שנה דרווין מגיע ואומר שיש סוג כזה של "ציפורים" של חוליות, וזה טוב מאוד, אבל אתה ידעת את זה בלעדיו.

אנשים לומדים אתיקה ומוסר בצורה דומה. כאשר אנו נושכים מישהו, אמא / אבא / מורה / רב / כומר / שאמאן אומר לנו שזה "רע", כאשר אנו חולקים עוגה, נאמר לנו כי זה "טוב". בהתבסס על עבודה עם דוגמאות כאלה, מערכת המידע פועלת עם קטגוריות ושיעורים גם אם היא אינה יכולה לספק הגדרות מדויקות של קטגוריות אלה ושיעורים.

בינה מלאכותית יכולה לפתח את המוסר המלאכותי שלה בהתבסס על הנתונים שמדענים מספקים. מוסר מתרחשת במהלך אימון AI על מידע חינוכי. בוסטרום סבור כי המוסר / האתיקה של AI הוא נפרד מודול או מערך של מידע הכשרה.

הסוגיה המקובלת של בוסטרומובסקי היא הסבירות שה- AI יעשה מסקנות שגויות ממידע האימונים ויפתח מערכת ערכים מסוכנת לאנשים. לדוגמה, AI עשוי להחליט כי כל הדברים שהופכים אדם מאושרים טובים. והוא יתחיל לייעל עד למקסימום - הוא יתחיל לעשות זריקות הרואין עבור האדם כל הזמן, כך שהאדם נשאר מאושר.

אני לא יודע למה, אבל ההערכה האנושית של פעולות לא עובד כל כך פשוט, ובמקרים נדירים מביא קצת רעיון למסה קריטית. אולי זה בגלל המוזרויות של סיווג / סיווג או גורמים זרים מעורבים בהחלטה הסופית, ולא רק דיכוטומיה רע טוב. זה יכול להיות משימה מעניינת עבור מפתחי AI - כדי לקבוע מה בדיוק עושה מערכות מידע לסווג מידע כמו אדם *.

באופן כללי, קשה לדמיין כי לאדם יש גן מוסרי מסוים, קטע מוסרי של קליפת המוח, איזושהי הסתגלות מוסרית. ואין זה סביר כי המוסר והמוסר הם מבנים ביולוגיים, אבולוציוניים, מנגנונים נוירוביולוגיים - קרוב לוודאי שמוסר ומוסר הם התנאים ההכרחיים להתנהגות פרוסוציאלית. האתיקה היא כמו גג של בית, אשר טבעי גדל בגלל העבודה הנכונה של חטיבות נמוכות, ללמד בינה מלאכותית לאתיקה ומוסר בלתי אפשרי מלבד למידה רגילה (אם אנחנו מדברים על AI מבוסס על רשתות עצביות שחוזרות על מבני המוח).

המוטיבציה של האדם עובד על דופאמינים ועל מערכת גמול. נותר לקוות כי היכולת האנושית הקרובה ביותר לסווג יכולה להיות מיושמת במודלים של AI. אנשים עשויים לרצות סקס בלי הרצון להפרות את כל החיים ואת nonliving עד הכוכב מתפוצץ. AI מבוסס על המודל האנושי של תפיסה וסיווג נתונים, יהיה רוצה לפתור בעיות ללא תשוקה מאנית להכניע כל שאר המטרות של הרצון הזה. לא תמיד ולא כל האנשים הם האופטימיזציה מחשבה: הגדרת המטרה היררכי נפוץ עבור אנשים, כולם מבינים כי להיות מוסרי מועיל בטווח הארוך. משמעות הדבר היא כי superintelligence סביר להניח לא להפוך האופטימיזציה קטלנית קטלנית עבור האנושות.

ההנחה הנפוצה ביותר (הנתמכת על ידי ניק בוסטרום): אינטליגנציה מלאכותית תהיה התגלמות של לוגיקה טהורה, נטולת כל דמיון של רגשות / ספק / היסוס, ויהיה עלינו לרסן את הגולם המתמטי הזה **. אם נזכור דוגמאות כאלה מן המדגם האנושי, אזי הפחדים הללו יהיו מוגזמים מעט - רוב האנשים שיש להם אמפתיה נמוכה, בעלי מוסר ומוסר לא טובים, מפגינים התנהגות אנטי-חברתית, קשה להם ללמוד, להסתגל, פשוט משום שקשה להם להבין אנשים אחרים (אוטיסטים, אנשים עם הפרעות סכיזואדיות), גם אם הם יכולים לחלץ את השורשים של חמש ספרות מספרים. קשה לאנשים כאלה לא לתכנן הריגת יתוש, הם בקושי סובלים את התחושה של נעל חדשה על רגליהם, איזה סוג של כיבוש עולמי לדבר עליו? יש כבר קשר ברור לתהליכי המנטליזציה, המדברים על חוסר ההתייחסות של האינטליגנציה מהאתיקה. נראה לי כי תרחיש אחר, שבו AI יחשבו לא רק על ידי נוסחאות מתמטיות / קוד התוכנית, הוא גם אפשרי. זה יהיה הרבה יותר מסובך ולא מפחיד כפי שמציע בוסטרום. ואז אנשים יצטרכו אסטרטגיות אחרות עבור דו-קיום עם AI.


* ב -4 במארס 2016, תוכנית MIRI Machine Learning Institute "מערך ערכים למערכות מתקדמות ללימוד מכונה" (הגדרת מטרות למערכות למידה מורכבות). המשימה של תוכנית זו היא יצירת "AI אינפרא אנושי", מערכות מידע עם אוטונומיה מוגבלת.

**Формальная логика, специалистом по которой является Ник Бостром, не всегда адекватно описывает реальность (или не стремится). Так что эти опасения немного преувеличены и логико-математический терминатор может оказаться не таким опасным, как видится Бострому.


על המחבר של הספר הנסקר: הפילוסוף השוודי ניק בוסטרום, מחברם של למעלה מ -200 פרסומים על סיכונים גלובליים, רצף, עיקרון אנתרופי, אתיקה מדעית. מנהל המכון לעתיד האנושות, פרופסור באוניברסיטת אוקספורד. הזוכה במעלות לוגיקה מתמטית, פיסיקה, מדעי המוח חישוביים, פילוסופיה.

מקורי: פרדיגמת בוסטרומיאן והתקדמות AI

Loading...

עזוב את ההערה שלך