Neurowissenschaftler zu bauen video-dataset, das fängt Menschen auf der Suche (auf alles)

Zum besseren Verständnis der Organisation des Gehirns und die wahrnehmbaren Tendenzen im Menschen, ein team von vier Wissenschaftlern sind die Aufnahme von video von vier head-mounted-Kameras—mit eyetracking-und Kopf-Bewegung—und Montage eine riesige video-Datenbank mit mehr als 240 Stunden first-person-video, das von Wissenschaftlern verwendet werden können, überall.

„Das Gehirn ist angepasst, um die Welt um uns herum, aber wir haben keine guten Daten auf wie die Welt tatsächlich aussieht, um menschliche Beobachter,“ Mark Lescroart, assistant professor und Neurowissenschaftler in der Abteilung für Psychologie an der University of Nevada, Reno sagte. „Es gibt keine Sammlungen von videos, die Probe der Welt, die Art, wie Menschen tun—Hollywood-Kameraleute nicht zip die Kameras etwa so schnell wie die menschlichen Augen bewegen sich, also Filme, die nicht wirklich reflektieren die Art und Weise, die wir in der Welt.“

Das team von Neuro-und Sozialwissenschaftler ist die Einstellung zu bauen, eine visuelle Datenbank, die verwendet werden können, um genauer zu reflektieren menschliche Aktivität. Schaffen Sie die riesige Galerie von videos, die zeigen, was Menschen sehen, wie Sie gehen über Ihre täglichen Aktivitäten. Ihre Visuelle Erfahrung, die Datenbank kann verwendet werden, um Forschungsprojekte zu unterstützen und die Auswirkungen, die zukünftige Forschung in Bereichen, die sich auf die Analyse und Erkennung von Bildern, einschließlich der Neurowissenschaften, vision science, cognitive science, künstliche Intelligenz und möglicherweise den digitalen Geisteswissenschaften und Kunst.

Sammeln Sie die videos, die Wissenschaftler entwickelt ein headset/Brille-Gerät zu verwenden, bei der Erhebung der Daten. Während die frühen Versionen sehen aus wie ein Prototyp für ein Borg-Gerät, das team ist die Straffung des Systems zu halten, das Gewicht reduzieren und verbessern den Tragekomfort. Es hat zwei Kameras, die nach vorne gerichtet ist, die Welt zu sehen und zwei Kameras, vor denen die Augen, um Augenbewegungen. Es werden fünf headsets für jede der vier labs der Teilnahme in der Forschung.

Die Probanden tragen des headsets für die visuelle Datenerfassung variiert im Alter von 5 bis 70 Jahre alt. Sie gehen auf eine Vielzahl von Räumen und sich in vielen Aktivitäten: Museen, Bibliotheken, Einkaufen, Pendler, Rad zu fahren, spazieren zu gehen. Das research-team analysiert cues 3-D-Raum, Wahrnehmung und wie Menschen gemeinsam erleben, Wände, Ecken, Sehenswürdigkeiten und anderen integrierten Strukturen in der Welt. Ein Beispiel, was die Kameras sehen, zeigt sich die Augen bewegen und den Kopf drehen zu schauen, Menschen und Objekte.

„Wir wollten mit einem mini-Computer, aber Sie waren nicht robust genug, um unsere Bedürfnisse, so dass wir am Ende mit einem laptop in einem Rucksack, es macht das headset ein wenig mehr benutzerfreundlich, so unsere Themen wäre nicht abgelenkt durch die Technik,“ Paul MacNeilage, assistant professor und Neurowissenschaftler in der College of Science an der University of Nevada, Reno, sagte. „Wir beschlossen zu gehen mit einem Schüler-Labs-Produkt für die Basis-und zusätzlichen Geräten zu. Wir wollten es nicht allzu störend für andere, entweder.“

Das system muss in der Lage sein, um sammeln von GPS-Daten, führen Sie vier Kameras, access-software, haben eine anständige Stromversorgung, Aufnahme, drei video-streams auf einmal zu, nutzen Sie eine interne Bewegungs-sensor und einem Beschleunigungsmesser. Die Technologie ist viel mehr beteiligt, als die stationären Geräte sind in der Regel in den Labor für eye-tracking-Studien mit einer Kinnstütze und einer Anzeige.

„Dies ist definitiv nicht die gleiche Art von Studien über die Augenbewegungen, die im Labor gemacht, mit chin rest und ein display zeigt Bilder von der Umgebung,“ MacNeilage sagte. „Das ist in der realen Welt mit Menschen die Interaktion mit Ihrer Umwelt.“

Dies ist besonders wichtig, MacNeilage, wer führt die Self Motion Lab an der Universität von Nevada, Reno, wo die Studenten sind involviert in die bahnbrechende Forschung.

„Das system misst von Kopf und Körper, die Bewegung durch den Raum“, sagte er. „Dies ermöglicht es uns, zu rekonstruieren, visual input von moment zu moment und bekommen Einblicke auf der sensorisch-motorischen Kontrolle. Keine vorhandene Datenbank umfasst den Kopf der Bewegung.“

MacNeilage, Lescroart und Doktorand Christian Sinnott ausprobiert, das headset, wobei es im freien. Sie bekam ein paar seltsame Blicke von denen, die Sie bestanden auf der Straße.

„Das ist wie Forschung in der wildnis“ Lescroart, sagte. „Zu Fuß über den campus und suchen für Sie Objekte, lassen Sie uns sehen, wie sich Verhalten ändert, wenn Sie versuchen zu navigieren mit unserer Umwelt. Wir werden in der Lage sein zu Fragen: „wie funktioniert die info, die wir auswählen, ändern sich je nach Aufgaben?‘ Wir werden sehen, wie es aussieht, wenn die Leute Ihre Köpfe bewegen und spazieren gehen.“

„Wir bauen ein first-person-view-video-Datenbank visual data, die mehr im Einklang mit der menschlichen Erfahrung, die helfen sollte, die künstliche Intelligenz menschlicher machen-wie Entscheidungen getroffen werden“, MacNeilage, einer der team-Mitglieder und ein Assistent professor und Neurowissenschaftler in der College of Science an der University of Nevada, Reno, sagte. „Wir wollen herausfinden, wie sieht es aus, wenn Menschen laufen und bewegen Ihre Köpfe, um durch die Welt navigieren. Wir verwenden ein einfaches Paradigma, herauszufinden, wie die Menschen Beispiel der visual-Umgebung mit den Augen.“

Eine andere Verwendung für die visual database ist die Information der künstlichen Intelligenz. Während die künstliche Intelligenz kommt an der Spitze der Technik, es funktioniert nur so gut wie die Qualität der Daten, dass es ausgebildet ist, auf. Statt Systeme funktionieren nur auf der Grundlage von Fotos und videos, kuratiert vom internet, das team von Wissenschaftlern sieht in der Datenbank als eine neue Quelle für genaue Daten.

„Darauf bauen wir unsere Datenbank mit den Neigungen, basierend auf der menschlichen Wahrnehmung,“MacNeilage sagte. Andere visuelle Datenbanken für AI haben einen eingebauten bias. Zum Beispiel, Fotografen konzentrieren sich auf spezielle Objekte für bestimmte Zwecke, ob eine gewerbliche oder ein dokumentarisches video; oder security-Kameras mit festen Positionen. „So brauchen die Wissenschaftler mehr und bessere Datenbanken. Unsere Datenbank wird haben Vorurteile im Einklang mit menschlichem Verhalten, das könnte ein Vorteil für AI.“

Aktuelle künstliche-Intelligenz-Systeme, die erkennen visuellen Inhalten benötigen Millionen von übungsbeispielen, um eine gute Leistung erzielen. Die Datenbanken werden verwendet, um Zug solche Systeme oft nehmen Sie Fotos und videos aus dem internet, und somit nicht darstellen der Inhalt, dass die Menschen auf einer täglichen basis sehen. Diese neue Datenbank einzuführen, human-centered Neigungen in die KI-Systeme haben kann, dass die ernsthafte und positive Auswirkungen für die KI-basierte Anwendungen wie “ self-driving cars.

Zwischen allen Datenquellen, das team erwartet, dass es etwa 80 GB Daten pro Aufnahme-Stunde, für eine Gesamtmenge von etwa 20 Terabyte von raw-Daten.

Alle Daten werden hochgeladen und gespeichert in einer zentralen Lage an der University of Nevada, Reno high performance „Pronghorn“ cluster der computer-Server untergebracht, die in der Tahoe-Reno-Daten-Center, eine state-of-the-art-Anlage betrieben, mit Schalter, mit Hauptsitz in Las Vegas, Nevada, mit einem data-center in Reno.

Von den 20 Terabyte von raw-Daten, die team-Katalog-mindestens 240 Stunden der headcentered video, einschließlich der Kopf-und Augenbewegungen. Sie machen diese Daten der öffentlichkeit frei zur Verfügung, mit denen Wissenschaftler, Historiker und auch die Künstler profitieren von den reichen Ressourcen.

Das team umfasst leitende Forscher Michelle Greene, assistant professor of neuroscience and computational vision der Wissenschaftler vom Bates College in Maine; Lescroart; MacNeilage; und Benjamin Balas, eine visuelle und kognitive Neurowissenschaftler und associate professor für Psychologie an der North Dakota State University.

Zusammenhängende Posts