#19 - Retentive Networks: Transformeren Arkitekturens Arvtager?
Transformer-arkitekturen blev opfundet i 2017 og har lige siden braget frem med det ene gennembrud efter det andet. Senest har transformer-arkitekturen taget verden med storm og fascineret folk rundt omkring i verden, som kernen i ChatGPT. Men arkitekturen er ikke helt problemfri. Den har bl.a. en performance-mæssig bottleneck i den attention-mekanisme. Forskere i feltet er derfor på jagt efter nye arkitekturer, som kan løse nogle af de problemer vi har med transformer-arkitekturen. Et bud på en ny arkitektur er Retentive Network, og det er den vi skal snakke om i dag!