无论如何,易科的Q3财报在这个月十五号都要出炉了。
尽管心里已经有预期,但亲自走入暴风雨中的陆奇还是心神不宁,也免不了在心中自嘲,看客与当事人的感受终究不同,这份压力还是受着了。
11月2日,上午11点,陆奇开完会接到了秘书的通知,方总中午请客。
等他抵达小食堂,听到正在放着的音乐是《All You Need Is Love》便不禁微微一笑,那篇由谷歌发布《Attention Is All You Need》的名字就是来自披头士的这首歌。
陆奇与埃尔德、吴恩达打了招呼,没聊几句就转入了深度学习DL的话题,也就立即打起精神,讲述自己更多的想法。
这两位在易科都不简单,一位总领研发范畴的事务,一位是深度学习的主要负责人,虽说自己算是空降组建深度学习事业部,但资源的分配和使用也需要相互的沟通。
陆奇能在微软做到高位,自然不会轻视人事工作。
“谷歌那边把自注意力机制的模型在论文里命名为Transformer,我问了问,他们内部是在开发新的NLP模型了。”吴恩达谈到上次业界探讨后的变化。
吴恩达之前是斯坦福的副教授和人工智能实验室主任,而在加入易科前就在谷歌负责相关工作,与那边的研究交流没有中断,上次的激辩同样给他带来不少灵感。
陆奇点点头,也说着自己掌握的消息:“业界对于Transformer的表现很认可,像去年成立的OpenAI,他们现在也在着手研发一款以Transformer为核心的大模型,干脆直接以它命名,叫GPT,Generative Pre-trained Transformer。”
OpenAI是一家去年成立的公司,有不少领域内知名的人物参与。
方卓这时候简单总结道:“难道谷歌的这个Transformer真就能超过RNN和CNN了?我们在这两方面已经投入很多了。”
RNN是循环神经网络,CNN是卷积神经网络,易科的Siri是基于前者,太白则是基于后者。