
Note de la rédaction SPEIT
À l'École d'Ingénieurs Paris SJTU (SPEIT), un groupe d'étudiants ont effectué des études solides en mathématiques et physique, puis ont éclaté dans le domaine de la recherche scientifique. Par exemple, Huang Siyuan, étudiant en deuxième année de master à SPEIT, a publiée successivement quatre articles en tant que premier auteur dans des conférences majeures en intelligence artificielle telles que NeurIPS 2023 et NeurIPS 2024. Diplômé du Lycée de Shanghai en 2019, Huang Siyuan a rejoint SPEIT pour des études intégrées licence-master et a effectué un diplôme double à l'École Polytechnique. Il est actuellement membre de l'équipe LUMIA de l'Université Jiao Tong de Shanghai, sous la supervision du Professeur Associé Lin Zhouhan de l'École d'Intelligence Artificielle, et fait un stage au département Seed de ByteDance. Dans cette interview, Huang Siyuan partage les histoires derrière ses articles académiques.
✦ Points clés de l’entretien
✦
1
Quelle est votre direction de recherche actuelle ? Pouvez-vous présenter brièvement vos quatre articles de conférences majeures en AI ?
Ma recherche actuelle se concentre sur la recherche d’informations, en particulier l’optimisation du classement de récupération dans le pipeline RAG (Retrieval-Augmented Generation). J’ai précédemment étudié l’apprentissage de structure de graphe, principalement l’accélération du calcul d’attention sur les graphes. Je me sens honoré de pouvoir communiquer avec des pairs par le biais d’articles et j’espère que la communauté académique continue de prospérer. Voici des brèves introductions à mes quatre articles :
· 1er article : ACL 2025 (conférence classe A CCF)
Titre principal : Gumbel Reranking : Optimisation de Reranker Différentiable End-to-End
Ce travail modélise le reranking dans les systèmes RAG en tant que problème d’échantillonnage de sous-ensemble, permettant une formation end-to-end du reranker dans les systèmes RAG en ajoutant un mécanisme de masque souple apprenable au mécanisme d’attention. Cela améliore considérablement les métriques de classement de récupération et la précision des réponses générées dans les tâches de raisonnement multi-saut.
· 2e article : NeurIPS 2024 (conférence classe A CCF, Spotlight)
Titre : Cluster-wise Graph Transformer with Dual-granularity Kernelized Attention
Ce travail propose un mécanisme d’attention basé sur l’apprentissage 多核,présentant une complexité de calcul linéaire et la capacité de capturer des informations multi-granularité, améliorant considérablement les performances dans les tâches de graphe.
· 3e article : EMNLP 2024 (conférence classe B CCF, Findings)
Titre : Mirror-Consistency : Harnessing Inconsistency in Majority Voting
Ce travail introduit une stratégie d’auto-réflexion basée sur la cohérence pour les MLL, améliorant la précision et les métriques de calibration des grands modèles linguistiques dans les problèmes de raisonnement complexes.
· 4e article : NeurIPS 2023 (conférence classe A CCF, Poster)
Titre : Tailoring Self-Attention for Graph via Rooted Subtrees
Ce travail propose un mécanisme d’attention multi-saut pour graphe basé sur des structures de sous-arbres voisins, avec une complexité linéaire, atteignant des niveaux de précision SOTA dans les tâches de classification de nœuds de graphe.
2
Comment avez-vous déterminé les sujets de vos articles ?
D’une part, l’ère des grands modèles exige de reinventer de nombreuses choses. Par exemple, dans le domaine de la recherche d’informations, les moteurs de recherche traditionnels (comme Baidu) sont confrontés à la concurrence des moteurs de recherche basés sur des grands modèles (comme Doubao), qui fournissent souvent des réponses plus précises et approfondies aux questions des utilisateurs. Les moteurs de recherche offrent une opportunité de « reinvention », c’est pourquoi j’ai choisi de rechercher dans la direction de la recherche d’informations basée sur des grands modèles.
D’autre part, le laboratoire offre un espace de recherche libre, et les superviseurs n’imposent pas de restrictions strictes. La direction générale de la recherche est souvent influencée par les membres du laboratoire — en commençant à comprendre un domaine grâce aux étudiants seniors, puis en explorant des points intéressants après une étude approfondie.
3
Quelles sont vos expériences et conseils sur l’écriture et la soumission d’articles à partager avec les étudiants juniors ?
La principale leçon apprise est de ne pas surestimer les articles. Je pense que les articles doivent être considérés comme un « sous-produit » de la recherche, pas comme l’objectif.
Ce qui compte vraiment, c’est d’explorer des domaines qui vous passionnent, d’essayer des méthodes inexplorées, de réaliser des expériences solides et d’obtenir des idées originales et précieuses — voici les véritables objectifs de la recherche. Une fois que de nouvelles idées sont obtenues, écrire un article n’est qu’un « sous-produit » et un canal de communication avec les pairs universitaires. Si vous prenez la publication finale comme objectif et vous focalisez sur la production d’articles, vous ne pourrez pas vraiment améliorer vos compétences, ni profiter à la communauté académique.
4
En tant que premier auteur de quatre articles de conférences majeures, comment gérez-vous votre temps et votre énergie pour équilibrer la recherche, les cours et la vie ?
Je sens que avec l’âge, je comprends de plus en plus la phrase « le choix est plus important que l’effort ». En collège, au lycée et même au début de l’enseignement supérieur, réussir aux études était sans aucun doute la priorité. Cependant, en avançant dans les années supérieures et en entrant sur le marché du travail, j’ai découvert qu’il y avait de plus en plus de tâches différentes à gérer et de plus en plus de personnes avec qui interagir. Avec une énergie limitée, il est impossible de parfaire chaque tâche ou de satisfaire tout le monde. Ainsi, l’étape la plus critique est de déterminer ce qui compte vraiment. Chaque étudiant a des orientations et des plans de carrière différents.
Pour ma part, dans les premières années, j’ai voulu établir des bases solides en mathématiques et physique, alors j’ai consacré toute mon énergie aux cours de SPEIT. Actuellement, souhaitant travailler dans le domaine des grands modèles, j’investis la plupart de mon énergie dans les stages chez les entreprises internet.
5
Comment le modèle de formation sino-française de SPEIT a-t-il influencé votre recherche ?
Le modèle de formation sino-française m’a principalement aidé à bâtir des bases mathématiques plus solides que dans d’autres spécialités d’ingénierie. Une série de cours de mathématiques (varyant en fonction de la spécialité), comme l’algèbre supérieure, m’ont permis de comprendre rapidement des méthodes et des théories de pointe en intelligence artificielle, me permettant de mener des analyses théoriques plus fondamentales et en dimensions supérieures dans ma recherche. De plus, l’opportunité d’étudier en France, d’apprendre avec les camarades de SPEIT, de voyager et de partager des expériences de vie m’a fait sentir que j’avais choisi la bonne voie. Les études en France via SPEIT ont favorisé une croissance complète dans les compétences linguistiques, les bases mathématiques, l’expression orale, les capacités de recherche, etc. — grâce aux cours riches de SPEIT qui offrent diverses opportunités.

6
Préférez-vous poursuivre des études supérieures à l’avenir ou appliquer les résultats de la recherche dans des scénarios réels ?
Après ma maîtrise, j’ai l’intention de travailler directement. Les entreprises et les universités offrent toutes deux un terrain fertile pour l’innovation. Selon mon expérience, l’innovation dans les entreprises est plus pragmatique et impactante, profitant aux utilisateurs. Actuellement, les principales entreprises domestiques deviennent de plus en plus « technologiques », disposées à augmenter leurs investissements en R&D dans des contextes industriels. Je pense qu’il est nécessaire d’analyser le style d’une entreprise et ses propres plans de développement (se concentrer sur les affaires ou la recherche) lors du choix d’une carrière. Les universités, en revanche, sont plus libres et ouvertes. Chaque endroit a le potentiel de briller.
7
Pouvez-vous présenter votre poste de stage actuel ?
Je fais actuellement un stage au département Seed de ByteDance, principalement responsable de l’optimisation de l’algorithme de recherche en ligne de Doubao. Ce stage est exigeant et stressant, mais Seed propose de nombreux problèmes d’affaires précieux à résoudre et des opportunités de reconstruire l’expérience de recherche et de renverser les moteurs de recherche traditionnels, ce qui donne du but, de la motivation et un sentiment de valeur à mon travail.
Grâce à ce stage, j’espère pouvoir travailler sur des choses vraiment précieuses à l’avenir — que ce soit développer des produits bénéfiques pour les utilisateurs ou explorer des technologies émergentes. En bref, les choses difficiles mais justes donnent plus de motivation au travail.
Merci à Si Yuan pour son partage.
Nous invitons également d'autres étudiants à partager
leur histoire « Moi et mon article universitaire » !