Дуже розумний дім?
Хто пам'ятає, як Тоні Старк розмовляє із своїм помічником Джарвісом? Так, тією розумною машинякою чи радше штучним інтелектом, яка дуже розумна й може не тільки язицюрой тіліпать й ще шось, робить, тільки не пригадую що вже він там міг. Так от, розвиток технологій вже дозволяє щось подібне. І значно доступніше ні було раніше.
До подібної думки наштовхнула мене випадкова знахідка. Було цікаво, скільки вартує відеокарта RTX A6000, бо погодинну аренду її потужностей в інтернеті пропонували десль по 35 центів і вище. Не пригадую на якому сайті, проте її вартість виявилась солідною десь 459 тис. грн. Має вона всього 48 ГБ відеопам'яті і енергії жере 300 ват (максимальне навантаження). І десь там же листаючи, трапилась мені в каталозі коробочка, розміром чи об'ємом всього один літр, тобто це зовсім компактне й маленьке. А коробочка не проста, а від NVidia на базі ARM із 128 ГБ уніфікованої пам'яті, тобто її майже всю можна використати також як відеопам'ять, хоч вона й буде дещо повільніша за дискретну відеокарту. Але специфікація такого пристрою не ігри, а саме ШІ сфера. Тобто це цілком робочий пристрій - ПК під певні завдання.
І тут відразу головний параметр для порівняння. Споживає вона до 300 ват загалом, а ШІ модель дозволяє запускати із 200 мільярдами параметрів. У порівнянні на RTX A6000 можна запустити максимум 70 мілярдів параметів, але це прям в притик по розміру бо стиснена вона буде десь 45 ГБ займати, тож лише 2 із хвостиком буде на контекст, чого малувато. Це теж доволі тямуча модель буде, але із короткою пам'ятю, бо під контекст не залишиться нічого. А там спокійно можна зарядить на 200 мільярдів параметрів модель й буде ще місце під контекст. Тож із такою штукою можна зробити не прсто розумний дім, а дуже розумний. І ціна значно нижчка, всього 300 тис. грн, у порівнні із тим, що до відеокарти ще потрібно всі інші комлектуючі, які загалом будуть споживати до 500-600 ват, при максимальних навантаженнях. І по ціні вийде значно більше. До порівняння, щоб подібні можливості відкрились на дискретній відеокартці, це десь H100 із 94 Гб відеопам'яті, за яку просять 1.7 млн. грн. + комплектуючі пк.
Називається це NVIDIA RTX Spark, і хоч ШІ іформував мене, що не дуже воно для ігор годиться чи ще щочого буденного. На сайті компанії це позиціонують інакше, тобт о й для геймінгу. А головне, продуктивність обіцяють до 1 Петафлопса (1000 терапфлосів). Проте для звичайних сопживчих сценарії пристої наче ще не в наявнотсті, а от інструмент для ШІ вже достуиний. Це NVIDIA DGX Spark із специфічною операційною системою. І доки оці два лінки були знайдені, то й виявилось, що прозиції є й по 270 тис. грн. Тож для цілових завадань і енергоефектвності. Це цікаве рішення.
Хоча воно й не перевершує дискретні відеокарти в продуктивності ігор чи швидкості, але це ж одна коробочка маленька, що дозволяє автономно робити багато цікавих речей, і застосовувати можна ШІ в різних цілях із нею, і значно дешевше. Наприклад, освітіні цілі, якісь автономні послуги у ЦНАПах. Хто любить одружуватись на ШІ, то можна зробить собі таки розумного й автономного партнера цифрового, без прив'язок до хмари чи витоку чутливих даних. Що дозволить із чат бота в якомусь месенджері, оходитись без інтернету))