US AI chip "kuda hitam" untuk membunuh, chip terbesar dalam sejarah

Menurut sejumlah laporan media asing, baru-baru ini, startup AS AI chip CerebrasSystems meluncurkan chip terbesar yang pernah ada, chip yang disebut & quot; TheCerebrasWaferScaleEngine & quot; (selanjutnya disebut WSE) memiliki 1,2 triliun transistor.

Dalam sejarah chip, pada tahun 1971, prosesor 4004 pertama Intel hanya memiliki 2.300 transistor, dan prosesor perangkat mikro canggih terbaru hanya memiliki 32 miliar transistor. Samsung juga telah membangun chip memori flash (chip eUFS) dengan 2 triliun transistor, tetapi tidak cocok untuk komputasi AI.

WSE, chip pemecah rekor terbesar, dilahirkan untuk komputasi AI.

Data menunjukkan bahwa chip 42.225-persegi-mm memiliki 400.000 core yang terhubung bersama oleh jaringan komunikasi jaringan intra-mesh yang serba halus, semua perangkat keras yang menyediakan 100 PB total bandwidth per detik. Lebih banyak core, lebih banyak memori lokal, dan arsitektur dengan bandwidth rendah latensi tinggi menciptakan arsitektur terbaik untuk mempercepat pekerjaan AI. WSE adalah 56,7 kali lebih besar dari GPU terbesar dan memiliki 18GB on-chipsram.

Faktanya, sebagian besar chip saat ini adalah integrasi multi-chip berbasis silikon 12 inci. Tetapi chip dari CerebrasSystems adalah chip terpisah di mana transistor saling berhubungan pada wafer silikon kristal tunggal. Desain yang saling terhubung memungkinkan semua transistor beroperasi pada kecepatan tinggi secara keseluruhan.

Dijelaskan secara eksplisit, produk ini benar-benar pembelajaran komputer, lebih dari daya komputasi dan bandwidth penyimpanan, maaf, level orang atau kosakata baru - beat byte (Petabytes, 1PB = 1024TB = 10 ^ 6GB = 2 ^ 50bit), kecepatannya sekitar 3.000 kali bahwa prosesor grafis terbesar NVIDIA (GPU, daya komputasi floating-point, umum digunakan dalam penelitian terkait AI), dan bandwidth penyimpanan adalah 1000 kali.

Kemampuan kuat seperti itu berasal dari 1,2 triliun transistor pada chip. Diketahui bahwa prosesor Intel 4004 memiliki 2.300 transistor pada tahun 1971. Menurut Hukum Moore, "setiap 18 bulan, jumlah transistor pada chip berlipat ganda," Pada tahun ini, seharusnya ada tepat 1 triliun transistor dan satu lagi transistor, dan daya komputasi yang dapat direalisasikan meningkat satu poin. Kedua, desain arsitektur chip dan chip interkoneksi dan skema komunikasi juga sangat maju, membuat sinergi antara 1,2 triliun transistor sangat sinkron, menunda tingkat nanosecond. Saat runtime, 1,2 triliun transistor ini seperti A transistor disinkronkan.

Di bidang kecerdasan buatan, ukuran chip sangat penting. Karena chip besar memproses informasi lebih cepat, waktu untuk menghasilkan jawaban lebih pendek. Mengurangi waktu pengamatan, atau & quot; waktu pelatihan, & quot; memungkinkan peneliti untuk menguji lebih banyak ide, menggunakan lebih banyak data, dan memecahkan masalah baru. Google, Facebook, OpenAI, Tencent, Baidu, dan banyak lainnya percaya bahwa batasan mendasar dari pengembangan kecerdasan buatan saat ini adalah bahwa terlalu lama untuk melatih model. Oleh karena itu, mengurangi waktu pelatihan akan menghilangkan hambatan besar dalam kemajuan industri.

Tentu saja, pembuat chip biasanya tidak menghasilkan chip besar karena suatu alasan. Pada wafer tunggal, beberapa kotoran biasanya muncul selama proses pembuatan. Sedikit ketidakmurnian dapat menyebabkan kegagalan chip, dan bahkan memecah beberapa chip. Jika hanya satu keping yang dibuat pada satu wafer, kemungkinan keping itu mengandung pengotor adalah 100%, dan pengotor pasti akan menyebabkan keping itu gagal. Tetapi desain chip dari CerebrasSystems adalah marjinal, memastikan bahwa satu atau sejumlah kecil pengotor tidak akan membatalkan seluruh chip.

CEO Cerebras Systems 'Feldman mengatakan dalam sebuah pernyataan, & quot; Chip WSE perusahaan dirancang untuk kecerdasan buatan dan berisi inovasi dasar yang memecahkan tantangan teknis yang membatasi ukuran chip selama beberapa dekade, seperti * koneksi silang, hasil, output daya. Dan kemasan. Setiap keputusan arsitektur adalah untuk mengoptimalkan kinerja karya kecerdasan buatan. Akibatnya, chip WSE menyediakan ratusan atau ribuan kali solusi yang ada tergantung pada beban kerja, dengan sedikit daya dan ruang. kinerja. & quot;

Peningkatan kinerja ini dicapai dengan mempercepat semua elemen pelatihan jaringan saraf. Jaringan saraf adalah loop umpan balik komputasi multi-level. Semakin cepat input melewati loop, semakin cepat loop mempelajari atau & quot; melatih & quot ;. Cara untuk mendapatkan input melalui loop lebih cepat adalah mempercepat perhitungan dan komunikasi dalam loop.

Dalam arsitektur komunikasi, arsitektur komunikasi kluster menerobos bandwidth dan penundaan yang disebabkan oleh sebagian dari konsumsi daya dalam teknologi komunikasi tradisional karena penggunaan prosesor relay pada WSE. Dengan menggunakan struktur array dua dimensi untuk menghubungkan 400.000 prosesor berbasis WSE bersama-sama, arsitektur cluster mencapai latensi rendah dan bandwidth tinggi, dengan bandwidth keseluruhan hingga 100 denyut per detik (1017 byte per detik). . Bahkan jika tidak ada perangkat lunak tambahan yang diinstal, struktur cluster seperti itu dapat mendukung pemrosesan informasi global, dan informasi yang diterima diproses oleh prosesor yang sesuai.

Untuk produk ini, produksi massal dan pembuangan panas mungkin menjadi tantangan utama. Namun, munculnya WSE, highlight sendiri sudah cukup.

Analis Kepala Kelompok Linley Linley Gwennap mengatakan dalam sebuah pernyataan: & quot; CerebrasSystems telah membuat langkah besar dalam teknologi paket skala wafer, dan kinerja pemrosesan pada chip silikon jauh melebihi imajinasi siapa pun. Mencapai prestasi ini, perusahaan telah memecahkan serangkaian tantangan teknik yang telah menjangkiti industri selama beberapa dekade, termasuk memungkinkan komunikasi mati-ke-mode berkecepatan tinggi, menyelesaikan cacat manufaktur, mengemas chip besar seperti itu, menyediakan pasokan daya kepadatan tinggi dan pendinginan sistem. CerebrasSystems Menyatukan para insinyur top dari berbagai disiplin ilmu, menciptakan teknologi baru dan memberikan produk hanya dalam beberapa tahun adalah pencapaian yang mengesankan. & Quot;

Analis dan pendiri utama TiriasResearch Jim McGregor mengatakan dalam sebuah pernyataan: & quot; Sejauh ini, prosesor grafis yang dikonfigurasi ulang telah memenuhi permintaan besar akan kecerdasan buatan untuk daya komputasi. Solusi hari ini akan memiliki ratusan grafis yang dikonfigurasi ulang ini. Prosesor terhubung bersama dan membutuhkan waktu berbulan-bulan untuk menginstal, menggunakan ratusan kilowatt daya, dan secara ekstensif memodifikasi perangkat lunak kecerdasan buatan, bahkan berbulan-bulan untuk mencapai fungsionalitas. Sebaliknya, WSE chip tunggal Ukuran absolut chip memungkinkan lebih banyak komputasi, memori kinerja lebih tinggi, dan bandwidth yang lebih besar. Chip WSA menghindari koneksi yang longgar, memori lambat, berbasis cache, dan integrasi melalui teknik integrasi paket skala wafer. Keterbatasan kinerja tradisional melekat pada chip prosesor grafis-sentris.

Didirikan pada tahun 2016, CerebrasSystems telah menjadi misterius dan rendah di industri sejak awal, dengan fokus pada penyediaan produk data untuk pelatihan pusat data. Telah dinamai & quot; 100 perusahaan chip yang paling dinanti di dunia & quot; oleh CBInsights. Menurut data, perusahaan menyelesaikan pembiayaan Seri A senilai $ 25 juta pada tahun 2016. Investor adalah Benchmark pemodal ventura terkenal, dan kemudian menerima beberapa putaran pembiayaan. Pada September 2017, ia menerima total $ 112 juta dalam pembiayaan, senilai $ 860 juta.

Latar belakang tim pendiri perusahaan juga sangat kuat. Salah satu pendiri dan CEO Andrew Feldman, yang mendirikan perusahaan chip SeaMicro, diakuisisi oleh AMD pada tahun 2012 sebesar $ 334 juta. Setelah SeaMicro diakuisisi oleh AMD, teman sekelas asli sebagian besar memasuki AMD untuk melanjutkan pekerjaan mereka, jadi ketika Andrew Feldman memimpin untuk melanjutkan bisnisnya, banyak rekan lama memilih untuk mengikuti, dan sebagian besar anggota tim besar lainnya sebagian besar bersama pendiri. Andrew Feldman.

Salah satu hal yang patut disebutkan adalah Gary Lauterbach. Pada 1990-an, ketika Sun berada di tengah-tengah hari, Gary Lauterbach menjabat sebagai desainer chip senior perusahaan. Kemudian, di SeaMicro, ia terutama terlibat dalam desain server berdaya rendah. Dapat dikatakan bahwa perusahaan mengakumulasikan sejumlah besar konsumsi daya rendah pada awal penciptaan. Veteran dari desain chip, ini tidak diragukan lagi merupakan kemenangan untuk startup rata-rata.

Kemudian, pada tahun 2018, kelas berat lain bergabung dengan Celebras Systems, dan mantan wakil presiden arsitektur dan pusat data CTO Dhiraj Mallick resmi menjabat sebagai wakil presiden bidang teknik dan bisnis. Selama masa jabatannya di Intel, pendapatan kuartal kedua 2018 meningkat sebesar $ 1 miliar tahun-ke-tahun. Pada paruh pertama 2018, pendapatan pusat data perusahaan dinaikkan menjadi $ 10 miliar. Ini adalah jenius teknologi dan bisnis yang diakui. Dia juga seorang kolega lama AndrewFeldman di SeaMicro dan AMD. Perusahaan sekarang memiliki 194 karyawan.

CerebrasSystems memiliki jalan panjang di masa depan, tetapi tidak sulit untuk membayangkan bahwa AI membawa gelombang arsitektur komputer dan teknologi pengemasan chip. Kita dapat berharap bahwa kita akan menyaksikan chip AI yang lebih menarik dan bahkan tidak terduga.