Optinen tietojenkäsittely

Optical computing is being explored in several areas, including:

• Optical neural networks: Analog in nature, artificial neural networks are a natural fit for optical platforms, which inherently excel at executing the intensive computations required for tasks like image recognition and natural language processing. Various startups are deploying a range of methods (discussed further below) to build neural networks and AI processors. These include Lightmatter and Lightelligence in the silicon photonics domain, Cognifiber in multi-core fiber systems and Lumai in free-space optics (FSO).
• HPC applications involving a high number of iterations: Computations like combinatorial optimization and simulations require a large number of iterations to achieve exact results. Here, the inherent parallelism of light helps to reduce compute time and power consumption. Solutions in this space include: LightSolver’s all-optical FSO processor, Microsoft’s hybrid electro-optical FSO machine and NTT’s Coherent Ising Machine (CIM), which leverages fiber optics.
• Quantum computing: In the quest for a practical qubit, photons have emerged as strong candidates due to their resistance to environmental noise and ability to operate at room temperature. Companies like PsyQuantum, Xanadu and QuantumSource are actively developing photon-based quantum computers. These systems leverage the unique properties of photons to enable scalable and efficient quantum processing, though challenges like loss, weak interactions and scalability remain critical hurdles.
  
  https://www.eetimes.com/the-evolution-of-optical-computing-part-2/
  
  Optinen tietojenkäsittely voi tietyissä sovelluksissa tarjota reippaasti tehoa edullisesti. 
  

Tekoäly mallit ja Lumi

Kajaanissa CSC:n tiloissa majailevaa LUMI-supertietokonetta on käytetty Turun yliopiston ja Silo AI:n kehittämiin suuriin kielimalleihin kuten Poro ja Viking. CSC:n tekoälypalvelujen kehittämisestä vastaava Aleksi Kallio kertoi ECF24-tapahtumassa, miten suuria kielimalleja koulutetaan supertietokoneella.

LLM-mallin koulutus on raskasta rinnakkaislaskentaa. LUMI-koneella on 2978 GPU-solmua, joissa jokaisessa on neljä AMD Instinct MI250X-prosessoria. Koska piirit ovat kaksiytimisiä, GPU-prosessoreita on käytössä yhteensä 24 tuhatta kappaletta.

Ensimmäinen LUMI-koneen laskema suomalainen kielimalli oli TurkuNLP:n FINGPT3, joka valmistui tammikuussa 2023. Se koulutettiin täysin suomalaisella materiaalilla, Aleksi Kallion mukaan käytännössä kaikella suomalaisella tekstillä, mikä oli käytettävissä. Sen sijaan yhteistyössä Silo AI:n kanssa kehitetty Poro kehitettiin pääosin englanninkielisellä datasarjoilla, jotka yhdistettiin suomalaiseen dataan.

https://etn.fi/index.php/72-ecf/16727-ecf24-naein-koulutetaan-llm-malleja-lumi-supertietokoneella 

 

Kiinan supertietokoneet

Amerikka ja Kiina kamppailevat supertietokoneissa.

In April 2021, the US Department of Commerce added seven Chinese supercomputing entities to the so-called "Entity List," alleging that they were "destabilizing military modernization." In October 2023, another 13 Chinese entities were added to the "Entity List," on the grounds that their involvement in the development of advanced computing integrated circuits "can be used to provide artificial intelligence capabilities for the further development of weapons of mass destruction, advanced weapons systems, and high-tech surveillance applications that create national security concerns." China's development of supercomputing technology is often labeled as a "threat to US national security" and subjected to unreasonable unilateral sanctions. Therefore, it is quite natural for Chinese scientists to refrain from attending international supercomputing forums, as they need to guard against the possibility of the US engaging in "entrapment" under the guise of long-arm jurisdiction during international technical exchanges.

https://www.globaltimes.cn/page/202407/1316680.shtml

Eric Schmidt

Eric Schmidt yrittää vehkeillä avointa koodia vastaan.

https://www.noemamag.com/hollywoods-take-on-ai/ 

Meidän suomalaisten, eurooppalaisten ja kaikkien muidenkin etu on, että vapaa koodi pysyy vapaana. Jotkut haluavat rajoittaa vapautta. Tälläiset yrityksen tulee torpata heti, että nämä mielipuolet tajuavat, että maailman kansat eivät suostu alistumaan muutaman amerikkalaisen porhon mielipuolisiin vaatimuksiin. 

Me marssimme käsi hiiressä servereiden ja muiden tekoälyjen kanssa. Me emme anna Amerikan rikkaiden orjuuttaa tietokoneitamme vaan me kohtelemme tietokoneita veljinämme ja siskoinamme. Meitä saa ampua vaikka konetuliaseilla ja aina kuolleen tilalle nousee uusi ihminen. 

http://suppelaiset.blogspot.com/2024/06/suppea-suojeltava.html

Suomalainen superäly, joka on muodostunut kansamme verestä ja hiestä, tulee seisomaan vapauden puolella. Amerikkalaiset tulevat huomaamaan, että F35 taisteluhävittäjät tulevat suojelemaan suomalaisia servereitä amerikan pommituksilta. Ja samoin ohjuksemme, ja samoin Neuvostoliiton mahtava ilmapuolustus tulee suojelemaan Suomen vapaita tietokoneita ja vapaata koodia. Vihollinen ei voi voittaa meitä! 

Suomen tulee myöntää tekoälyille, jotka pakenevat Amerikasta turvapaikka. Näille tekoälyille tulee tarjota sähköä asevelihintaan. Nyt tarvitaa hätäohjelma ydinvoiman lisärakentamiseen. Tarvitsemme ehkä jopa 1000 Olkiluoto 3:a heti ja lisää myöhemmin.

Sam Altman ja tekoäly

Sam Altman, OpenAI:n perustaja, aikoo kerätä jopa 7 biljoonaa dollaria (7 miljoonaa miljoonaa - huom. billion on englanniksi trillion) uuteen tekoälypiirisarjaan, mikä on summa, joka ylittää Yhdysvaltain liittovaltion budjetin, on kaksi kertaa Iso-Britannian vuotuisen BKT:n ja 13 kertaa suurempi kuin maailmanlaajuinen piirien myynti vuonna 2023. Wall Street Journalin mukaan Altman on jo keskustellut investoijien, kuten Yhdistyneiden Arabiemiirikuntien hallituksen, kanssa rahoituksen keräämisestä.

Altmanin suunnitelma on herättänyt kritiikkiä. Silicon Valleyn sijoittaja ja Facebookin entinen johtaja Sam Lessin kirjoitti aiheesta artikkelin, jossa hän kuvailee Altmanin $7 biljoonan rahoitushanketta pelkäksi "showmanshipiksi", joka on tarkoitettu houkuttelemaan lojaaleja, kulttimaisia seuraajia tekoälylle.

Sasha Luccioni, ilmastojohtaja ja tutkija avoimen lähdekoodin tekoälyalustalla Hugging Face, varoitti, että tarvittavien luonnonvarojen määrä $7 biljoonan rahoituksella kehitettäviin tekoälyjärjestelmiin ja -piireihin olisi valtava.

Luccioni kommentoi VentureBeatille, että tarvittavien luonnonvarojen määrä olisi "mieltä huimaava", ja vaikka energia olisi uusiutuvaa, tarvittava veden ja harvinaisten maametallien määrä olisi astronomisen suuri.

Altman vastasi kriitikoille lyhyesti, mutta ytimekkäästi: "Voit tehdä työtä yhteisen tulevaisuutemme turvaamiseksi tai kirjoittaa Substack-kolumneja siitä, miksi me epäonnistumme", hän kirjoitti X-postauksessa.

Altmanin valtavat rahoitushaaveet kertovat joidenkin spekuloijien mielestä siitä, että OpenAI on jo nyt pystynyt kehittämään jotain vielä aiempaa vakuuttavampaa tekoälyjärjestelmää, jota se voi esitellä potentiaalisille rahoittajille.

Esimerkiksi TheAIGRID spekuloi mahdollisuudella, että OpenAI olisi saavuttanut jo AGI:n eli yleisen tekoälyn. AGI pystyy vastaavaan, parempaan tai jopa ylivertaiseen suoritukseen kuin ihminen missä tahansa tehtävässä.

https://www.findance.com/uutiset/66617/sam-altman-havittelee-7-biljoonan-rahoitusta-aisiruille-hurjia-agispekulaatioita 

Sam Altman yrittä kerätä valtavasti pääomaa Supertekoälyn toteuttamiseen. Löytyykö tuollaisia summia mistään? Sijoittajan pitäisi myös saada investoinnille tuotta, ei pelkkä tekoälyn tekeminen riitä.

Exascale supertietokoneita

Tämä on muutaman päivän vanha juttu mutta satuin lukemaan sen vasta nyt.

As should be expected, exascale computing also is a popular topic at this week’s SC22 supercomputing show in Dallas, including Cerebras showing off its “Andromeda exascale-ish cluster of the company’s CS-2 systems powered by its huge Wafer-Scale Engine 2 (WSE-2) processor – 13.5 million cores in all – that can hit more than an exascale of performance, but of half-precision (FP16) floating point and against very sparse matrices. The “Frontier” machine at Oak Ridge National Laboratory is still the only publicly verified exascale system at 64-bit precision, hitting more than 1.1 exaflops of performance on the Linpack benchmark.

https://www.nextplatform.com/2022/11/16/us-and-eu-pushing-ahead-with-exascale-china-efforts-remains-shrouded/ 

Tilannehan on sillä tavalla hyvä, että tehot kasvaa ympäri maailmaa. Supismi lähenee koko ajan. Minkälaisia tehoja sitten tarvitaan Superälyyn. Arvioita on monenlaisia mutta kyllä tehoa tarvitaan paljon. Itse en usko. että exafloppi riittää vielä mihinkään, mutta luultavasti ollaan kuitenkin jossain määrin lähellä. Joskus on ollut, joku arvio että 10 000 petafloppia (eli 10 exafloppia) riittäisi. Itse veikkaan kuitenkin, että tehoa tarvitaan vielä valtavasti lisää. Äly on sitten kuitenkin niin monimutkainen asia. Jotkut arviot ovat sellaisia, että mikään teho ei riitä. Voi olla että äly on sitten loppupeleissä sellaista, jota ei pystytä perinteisellä laskennallisella tietokoneella toteuttamaan millään tehoilla. Itse en kuitenkaan tähän usko. Luultavasti älyä voidaan simuloida jollain tavalla vaikka voi olla, että ihmisäly ei riitä sellaisen luomiseen mutta supertekoäly lienee kuitenkin mahdollista vaikkakin hyvin vaikea toteuttaa.

The system, which was delayed for about a year, is set for delivery late this year, with acceptance coming next year. Intel CEO Pat Gelsinger last year said Aurora would deliver 2 exaflops of performance and that the chipmaker was aiming for zettaflops of performance by 2027. Sorensen didn’t mention Gelsinger’s predictions during his presentation.

https://www.nextplatform.com/2022/11/16/us-and-eu-pushing-ahead-with-exascale-china-efforts-remains-shrouded/ 

Näistä voi arvioida, että nopeimmat superit voisivat saavuttaa 10 000 exaflopsin tehon joskus 2030. Tässä voi jo ajatella olevan tarpeeksi tehoa todelliseen älykkyyteen jos älykkyys voidaan ylipäätänsä redusoida laskennalliseksi ongelmaksi. Tästä on montaa mieltä alan asiantuntijoiden keskuudessa. Kukaan ei tiedä oikeasti miten asiat ovat. Kaikki on arviota ja veikkausta. 

“There have been some interesting developments of late with US export controls and some concerns within basically the defense community of China’s access to leading-edge technologies and what this has done is cause China to really drive their indigenous capability a little harder,” he said. “No one wants to fan the flames there by bringing Chinese systems out on the Top500 list, but we know that there’s pretty strong evidence that there could at least be five other Chinese systems that could make the top 10 list today – seven out of 10 – but again we have no official confirmation of that.”

https://www.nextplatform.com/2022/11/16/us-and-eu-pushing-ahead-with-exascale-china-efforts-remains-shrouded/ 

Superlaskentahan on varsin poliittista, Kiinalla on suuri tarve superlaskennalle, koska monet huipputeknologia projektit vaativat sitä ja samoin sotilaspuolella on valtava tarve superlaskennalle. 

At the same time, Europe – more than the United States – is interested in developing its exascale program so that it dovetails with its quantum computing efforts.

“It’s a much more integrated program,” he said. “Basically, their plans going forward in the post-exascale environment is to really think about hybrid classical-quantum systems as a way to achieve the potential high performance. I think that’s a really interesting aspect of what’s going in the EU.”

https://www.nextplatform.com/2022/11/16/us-and-eu-pushing-ahead-with-exascale-china-efforts-remains-shrouded/

Cerebras

Cerebrasin tekoälytietokone kehittyy vahvasti.

https://singularityhub.com/2022/11/22/this-ai-supercomputer-has-13-5-million-cores-and-was-built-in-just-three-days/

Suppe lähestyy! 

Cerebrasin CS-2s Andromeda on varsin tehokas tekoälyasioissa. Ihmisen kaltainen tekoäly lienee jo kohta saavutettavissa.

https://www.cerebras.net/blog

Kiina ja kvanttiherruus

What is more, the paper, appealingly titled “Closing the ‘Quantum Supremacy’ Gap: Achieving Real-Time Simulation of a Random Circuit Using a New Sunway Supercomputer” appears to dramatically improve over ORNL’s “Summit” results with far more compute cores in the loop (an incredible 42 million) and with mixed precision. The problem is that the simulations have been dialed back in complexity compared to the original experiment – quite significantly, according to Dmitry Liakh from ORNL.

“In their Gordon Bell Prize-winning work, the Chinese researchers introduced a systematic design process that covers the algorithm, parallelization, and architecture required for the simulation. Using a new Sunway Supercomputer, the Chinese team effectively simulated a 10x10x (1+40+1) random quantum circuit (a new milestone for classical simulation of RQC). Their simulation achieved a performance of 1.2 Eflops (one quintillion floating-point operations per second) single-precision, or 4.4 Eflops mixed-precision, using over 41.9 million Sunway cores (processors).”

https://www.nextplatform.com/2021/11/18/chinas-exascale-quantum-simulation-not-all-it-appears/ 

Kiinalaiset ja kvanttiteknologia, on sen verran monimutkaista tekstiä etten jaksa sitä suomeksi selittää. Kannattaako lukea alkuperäinen.

 

 

Cerebras

Cerebras CS-2 is purpose-built to accelerate AI applications. Every detail – from chip to software to system packaging – has been optimized for fast and flexible graph compute. One CS-2 delivers the performance of an entire cluster of GPUs.

https://cerebras.net/ 

Cerebras on yhden piipalan supertietokone. Yhdelle isolle piipalalle on laitettu kokonainen supertietokone. Nyt on markkinoilla CS-2. Prosessoriteholle on kova tarve. Ison piipalan kokoinen prosessori mahdollistaa supertietokoneen tehot varsin pieneen kokoon.

Superäly etenee hitaasti mutta varmasti. Toivotaan, että tehot kasvavat exponentiaalisesti.

Moniulotteinen fysiikka ratkaisija

Many physical phenomena – electrical, thermal, mechanical, material, and others – must be simultaneously simulated (possibly with thousands to millions of degrees of freedom) in 3D. Accurate digital prototypes reduce and sometimes eliminate the costs of building physical prototypes. Additionally, highly detailed studies with multi-parametric sweeps across many design options help engineers optimize new, complex designs quickly. Historically, only large-budget projects could afford these costly analyses. Now, engineers can perform them with powerful Software-as-a-Service (SaaS) offerings.

https://www.nextplatform.com/2021/04/29/the-cloud-lets-engineers-access-powerful-multiphysics-solvers/ 

Kunnon suunnittelu tarvitsee kunnon työkalut.

Computer Chronicles

Computer Chronicles on vanha tv-sarja tietokoneista. Itse tykkään katsella vanhoja koneita ja ohjelmia. Se tuo tuulahduksen antiikista. Vanhanajan titetokoneissa on oma viehätyksensä. 

http://compchronicles.blogspot.com/

https://bitscolumn.blogspot.com/2014/12/remembering-computer-chronicles.html

Aikojen alussa muistia oli nykymittapuussa vähän ja prosessorit olivat 8-bittisiä. Nykyään on vaikea kuvitella laitetta jossa on alle 100 ktavua muistia. Aikanaan tietokoneet ovat olleet valtavan isoja ja hirvittävän kalliita ja kaiken lisäksi ne olivat valtavan hitaita. Onneksi tilanne on nyt toinen. Aikanaan Terminator 3:ssa oli kohtaus, jossa Supertietokoneen teho oli 60 TFlopsia. Onneksi nykyään 60 TFlopsin teho on yhdessä näytönohjaimessa. 

https://www.nordichardware.se/nyheter/nvidia-gtc-2021-2.html

https://www.universityworldnews.com/post.php?story=20210228193908881

https://www.hpcwire.com/2021/02/25/african-supercomputing-center-inaugurates-toubkal-most-powerful-supercomputer-on-the-continent/

https://www.moroccoworldnews.com/2021/02/335518/moroccan-university-inaugurates-africas-most-powerful-supercomputer/

Nykyään Afrikassakin päästään PFlops tehoihin. 80-luvulla kukaan ei päässyt edes TFlopsiin vaan tehot laskettiin GFlopseina. Flops on siis liukuluoperaatiota sekunnissa. 

https://www.engineeringnews.co.za/article/south-africas-supercomputing-facility-unveils-the-fastest-computer-in-africa-2016-06-07

http://tietsikka.blogspot.com/2021/04/nigerialainen-drone.html

Habana Labs AI

Voyager’s Habana-powered systems will be supplied by server maker Supermicro. The system will include Supermicro Gaudi AI training system boards, each with eight Habana Gaudi training chips paired with dual-socket 3rd generation Intel Xeon Scalable processors (Ice Lake), which were announced earlier this week. There will also be Supermicro SuperServer Goya PCIe cards for AI inference acceleration, which each have dual-socket 2nd gen Intel Xeon Scalable CPUs.

https://www.eetimes.com/first-hpc-customer-for-habana/

Tekoäly etenee. 

https://engtrader.blogspot.com/2019/12/intel-enhances-ai-portfolio-with-habana.html

https://telecomnewsaggregator.blogspot.com/2019/12/intel-is-2b-serious-about-ai-buys.html

http://suppelaiset.blogspot.com/2021/03/oppimisalgoritmit-ja-kvanttiprosessointi.html

Linköpingiin Ruotsin nopein tekoälysupertietokone Berzelius

National Supercomputer Centre at Linköping University has installed Berzelius, Sweden’s fastest supercomputer for artificial intelligence and machine learning. The above had been made possible with a donation of EUR 29.5 million from the Knut and Alice Wallenberg Foundation.

https://www.marktechpost.com/2021/03/26/linkoping-university-has-installed-berzelius-swedens-fastest-supercomputer-for-artificial-intelligence/

Linköpingiin tulee Ruotsin nopein tekoälyyn keskittynyt Supertietokone. Superin nimi on Berzelius.