Про AI и перспективы

[beldmit]

Есть у меня одна мысль по поводу AI. Вот я как профессионал состоялся в ситуации, когда средством производства у программистов был компьютер (одноразовая инвестиция) с интернетом (существенно дешевле коммуналки).

Сейчас с появлением AI те, кто пишут без применения оного, научатся или отвалятся, потому что производительность у машины в части написания кода фантастическая, и код выходит в среднем лучше, чем у хумана. И дальнейшие перспективы (в том числе и Open Source) зависят от того, сколько доступ к AI стоит на самом деле.

Вопросы, не изгадит ли регулирование малину, я пока оставляю за скобками - прямо сейчас ещё есть вольница, но потом принесут и копирайт по полной, и госграницы, и всё, что есть в большом Интернете.

Отдельно - вот разница между программированием и кодированием сейчас такая: кодирование - то, что на LLM можно отгрузить.

Comments

ИИ как инвестиция

[bowhill]

Можно по-разному относиться к пузырям – это нормально. Но как устроены инвестиции в пузыри – тоже желательно учитывать.

Мне как-то в разговоре привели аргумент – ну и что, был пузырь доткомов – и сдулся, но Интернет же никуда не делся.

ИИ в существующем виде не только развивается, но и живёт экстенсивно. Даже на эксплуатационном уровне. В некотором смысле, по принципам Понци. Как только начнут сдуваться финансы, которые он свернул на себя – начнёт сдуваться и качество работы. И дальнейшая применимость. И далее... Это не просто какие-то финансовые вопросы, не будет денег кидать в печку котельной датацентра.

Re: ИИ как инвестиция

[beldmit]

Я не очень понимаю, куда денется качество с Вашей точки зрения

Re: ИИ как инвестиция

[ufm]

Ну как минимум - придётся "урезать осетра". В том смысле - уменьшать размер модели, что-бы она потребляла меньше электричества и места в ДЦ.

Re: ИИ как инвестиция

[vitus_wagner]

Не придется. Поскольку чуть-чуть урежешь, и не нужнен тебе ДЦ, оно в твою локальную видеокарту влезет.

Re: ИИ как инвестиция

[bowhill]

Откуда сегодня берётся качество? Из изменения и развития методов, новых принципов, элементов? Нет, как были трансформеры, так и остались. Доступные параметры, головы etc. растут – это и есть экстенсивность: качество как отображение количества. Растёт пузырь – растёт датацентр, растёт модель.

Уменьшение денег означает меньшую модель. Меньший стохастический интеллект.

Re: ИИ как инвестиция

[vitus_wagner]

Расти качество временно перестанет, когда пузырь лопнет. Но уже достингутое - никуда не денется. А потом, когда иссякнет возможность закидать проблему деньгами. начнут проблему закидывать мозгами. Вспомнят те подходы, которые были в ходе бума отброшены как медленные и трудоемкие. Развитие методов, новые принципы и элементы появляются. Периодически информация о них пробегает. Далеко не все из них попадают в production, потому что пока есть возможность экстенсивного роста. Кончится она, вспосмнят про эти принципы и методы.

Re: ИИ как инвестиция

[bowhill]

Как пелось в песне – это даже хорошо, что сейчас нам плохо.

Что именно достигнутое? И из чего должно следовать такое безусловное будущее благолепие? Это практические, а не риторические вопросы. Люди решают проблему, даже постановки которой они не понимают.

И было не очень, и сейчас ещё не вполне, но потом обязательно станет хорошо – практические опыты, скорее, показывают обратное. А мозгами (хорошего и разного качества) закидывают уже давно и новых идей за 50 лет появилось немного (self-attn.), даже автоматизация backpropagation (графа производных) – это давние идеи. Сейчас появилась возможность закидывать транзисторами и деньгами. Потому что hype-tech.

Так что, хайп-тек сохранится? Может быть, но и фокус может поменяться.

PS: Витус у нас тот ещё полемист-исследователь, так что ответ рядом.

Re: ИИ как инвестиция

[vitus_wagner]

Ну во-первых, уже прибумали квантификацию моделей. Квантифицированная модель Qwen 3.6 на моем слабеньком десктопе c 64Gb на CPU - где-то как-то шевелится. Ну примерно как у меня в конце прошлого века шевелился на 286 процессоре LaTeX с актуальной на тот момент русификацией.

У меня есть подозрение что не все возможности оптимизации inferrence еще не все достигнуто, что могло бы быть. И может быть, используя llama.cpp от 2030 года, модели 2026 года можно будет запускать локально на смартфоне 2024. Примерно со скоростью 30-40 токенов в секунду.

То есть я не про существенное улучшение качества моделей по сравнению с сегодняшними. А про то, что для использования и обучения моделей, сравнимых с сегодняшними, будут не нужны супердатацентры - для работы - мобильник, для обучения - более-менее недешевый геймерский десктоп.

А повышение качества на сегодняшнем уровне - уже задача гуманитарная. Когда стоимость обучения моделей удастся снизить на пару порядков, и хотя бы сотни тысяч команд начнут обучать свои модели, чего-нибудь новенькое да придумается. Мне кажется очевидным путь - подсовывать модели датасет, примерно похожий на то, к ичему имел доступ ребенок "золотой эпохи НТР" примерно от начала более-менее связной речи и до окончания школы/профессионального образования. Но это тривиально. Возможно придумают чего получше.

Подкустовный выползень

[bowhill]

Чтобы поставить модель на видеокарту – её надо откуда-то взять. Откуда её можно взять? Из тумбочки. А откуда она возьмётся в тумбочке? Ну, откуда-нибудь возьмётся, нам какое дело – мы пользователи. Всё откуда-нибудь берётся и делается лучше – закон природоведения – и модель возьмётся.

То, что Вы ставите на видеокарту или на компьютер – это не модель, это некоторый подготовленный снимок. К которому ещё могут быть и агенты. И модель или компьютер etc. – они не думают. Но что именно они делают – вопрос сложный и для конечного пользователя труднопостижимый. Да и какое нам дело! В индустрии люди, обычно, понимают, но хватает и закатанных ошибок и предрассудков и вообще они занимаются не этим, а серьёзными вопросами.

Но пользователь уже плохо понимает и различает чудеса техники, для него это уже «думать», причём прямо у него на компьютере. Так что надо немного подождать, пока подкрутят, повысят, колёса подкачают и всё, можно будет ехать. Или даже летать. И здесь у нас уже магическое мышление. Не у компьютера, у пользователя. И это серьёзная проблема. В том числе, и в инженерном деле.

Магическое мышление, имитация интеллекта – вот это уже, казалось бы родное поле для гуманитарного исследования. Но нет, и можно понять: проблема сложная и дело новое, неосвоенное.