[PhilWeb] Re: Fortschritt als Glasperlenspiel

Hi IM, in Deiner KI-Nutzung sehe ich kaum mehr als Geschwafel. Dabei gäbe es viel zu argumentieren hinsichtlich des Zusammenhangs zwischen Grammatik und Semantik sowie Logik und Struktur; betrifft es doch die Grundlagen der LLMs, nach denen die Chatbots programmiert werden. So wird mit „Skipgram“ versucht, aus dem Wortgebrauch den Kontext vorherzusagen; aber in der Studie "The strange geometry of skip-gram with negative sampling“ wird gezeigt dass Vektoren sich abhängig vom Verhältnis positiver zu negativer Beispiele in einem engen Kegel konzentrieren – und nicht einfach nach semantischer Ähnlichkeit angeordnet sind: "We find that vectors lie on a narrow primary axis that is effectively non-negative. Users should not interpret relationships between vectors without recognizing this geometric context.“ Dass stochastische Verfahren zu unerwarteten Geometrien führen ist eigentlich erwartbar, ihr genaueres Verständnis aber bleibt zu erforschen. IT