建築情報学会＿定期学術会議＿ラウンドテーブルセッションまとめAIS＿Annual Academic Conference_Summarization of the Round Table Session

20220225(20220517mod)_Dr.Hotta,K(Organizer)

20220225(20220517改定)_堀田憲祐博士(オーガナイザー)

❶Theme

The application of traditional knowledge and techniques in digital construction. -Towards Crafting the Digital

❶題目； 

伝統的建築知識技術のデジタルコンストラクションへの応用
ーデジタルクラフトに向けて

❷Panellist 

• Mr.Miyaguchi,M (Robotics Restacher,Takenaka Corp.

• Mr.Kawakami,T(Structural Engeneer, Takenaka Corp.)

• Mr. Takasaki,S (Master capenter, Hakuho-Shaji)

• Dr.Xie,h (AI-UX researcher, JAIST)

• Dr.Hotta (C-Architect, Keio University)

 ❷登壇者(敬称略 ) 

• 宮口幹太氏（ロボットG, 竹中工務店

• 川上拓馬氏（構造家, 竹中工務店）

• 高崎将太郎氏（宮大工棟梁, 白鳳社寺）

• 謝浩然氏（AI-UX研究者,北陸先端科学技術大学院大学）

• 堀田憲祐氏（Cアーキテクト,慶應大学）

❸Overview；

In the 2020s, the technologies such as learning machines by themselves and mechanisms that mine data by themselves became commonplace. Using those techs may be possible to extract valuable essences from "things" or "behaviours". Hopefully, we will be able to efficiently learn the human wisdom that humans have accumulated so far. Here, I would like to discuss what is possible by digitising traditional architectural techniques in general and their applicability based on case studies.

❸概要；

自ら学習する機械や、自らデータを採掘する仕組みが当たり前の技術となった2020年代、それらを援用すれば、「モノ」や或いは「ふるまい」から、有益なエッセンスを抽出することができるのではないか。うまくいけば、これまでに蓄積された人智を効率よく学習できる可能性がある。ここでは伝統的な建築に関する技術一般について、デジタイズすることで何が可能になるのか、その応用可能性についてケーススタディーをもとに議論したい。

❹Case Study

In the coresearch between Keio Ikeda-lab and Takenaka Corporation, the Researcher studied what and where the professional-master carpenter is looking at/ observing in the process of wood marking. This study is made with language protocol analysis. In addition, the observation elements extracted in a rational and element-reducing manner were reconstructed and mounted on the robot arm. Despite trial and error, we have partially succeeded in improving various physical properties and the ability to grasp the object's state to be processed.

❹ケーススタディー

➀慶應義塾大学池田研×竹中工務店の一連の共同研究（Sukegawa.C  et.al 2022）；木取りの過程において、「宮大工さんの目」＝熟練技術者は作業の際に何を、どのようにして観察しているのかについて、言語プロトコル分析を通じて詳細に書き出した。またその推論的・要素還元的に抜き出した観察要素を、再構築してロボットアームに実装した。試行錯誤はありつつ、加工対象物の様々な物性や状態把握能力を向上することに、部分的に成功した。

2) Running coaching science (Pro. Iso / Waseda University); this reseach gave an example of using digital technology in sports science. Using motion capture technology, we scientifically and objectively proved the knack of how to sprint a player with a record (especially regarding posture) and used it for coaching sprinters.

２）走りのコーチング科学（磯教授/早稲田大学）；スポーツ科学でデジタル技術を利用した例を挙げた。モーションキャプチャー技術を使って、記録を持つ選手のはしり方（特に体勢に関する）のコツを、科学的・かつ客観的に証明し、短距離スプリント選手のコーチングに利用した。

Running coaching science (Pro. Iso / Waseda University)
Quote  https://www.youtube.com/watch?time_continue=2&v=hrZlbdBWiSc&feature=emb_logo）

3) Dynaformix (Shinichi Furuya / Sony CSL); Wear the device attached to the finger of a professional pianist, the researcher let them play the piano. Thus, 1) record the skilful fingering and 2) output it directly to an unskilled person by force feedback, are executed. It showed the possibility of saving essential practice time. By doing so, it is possible to learn such things as the usual way of taking the time of the expert, fingering, etc., with physical re-experience.

③ダイナフォーミックス（古屋晋一/SonyCSL）;入出力可能なウェアラブルデバイスをプロのピアニストの指に装着しピアノを演奏してもらう。その際に、1)その熟練した指さばきを記録し、2)それを非熟練者にフォースフィードバックで直接出力する。基礎的な練習時間を節約する事や、またそれによって熟練者の特徴的な間の取り方や、指裁き等、そのようなものを身体的追体験と共に学習することが出来る可能性を示した。 

Quote；Dynaformix Furuya Shinnichi(Sony CSL); https://www.youtube.com/watch?v=l2jkkkVXjo0） 

❺ Hypothetical / discussion

1) E.g.How to learn; A craftsperson who implicitly knew the behaviour of his master, a new generation who discovered the method by teaching methods such as language and pictures, and a search generation who searches videos and source code to find solutions efficiently. Will the age of true digital natives change further? 

❺仮説的・議論；

話題例１）学び方；親方に付き暗黙のうちに所作を学んだ職人、言語や絵などの教授法によってやり方を学んだ新世代、動画やソースコードを検索して効率よく解決法を見つける検索世代。さらに先のデジタルネイティブの世代の学習法はどうなるのであろうか。

Is it possible to "mining tips" by digitising the behaviour of skilled technicians?

→ Isn't it possible to share the learning results of robots with humans by using professional human skills as robots?

熟練技術者の振る舞いのデジタイズによって、「コツのマイニング」は可能か？

　→熟練した人間の技術をロボットに、ロボットの学習結果を人間と共有可能ではないか？

2) E.g.Collaboration: Collaboration between robots and humans is relatively easy to imagine visually, and here will discuss communication methods and settings first. Second, it sounds difficult when it comes to collaboration between algorithms and humans, but that's what you do in the search window.

話題例２）協働；アルゴリズムと人間の協働というと難しく聞こえるが、検索窓で調べものをする行為は既に生活に溶け込んでいる。また、ロボットと人間の協働といえば物理世界でのコミュニケーション方法や、設えについて議論がおよぶであろう。こういった技術の先にどのような応用方法があるのだろうか？

❻Topic from Panelist

1)Mr. Miyaguchi is in charge of developing construction robots in the research department of a principal general constractor, in Japan. He has experienced the development of construction machinery robots (boom?) in the 1980s and 1990s. As of 30 years later, he is shifting his interest to thinking about how to spread robots to society by analysing in detail factors that have not yet taken root in the field.

❻登壇者からの話題提供

➀宮口氏は大手ゼネコンの研究部門で、建設用ロボットの開発を指揮されている。80~90年代の建機ロボット開発（ブーム？）を経験している。30年後の現在、今一つ現場に定着していない要因などを細やかに分析し、ロボットを社会に普及させるための考察に興味をシフトしているとのこと。

2)Mr. Kawakami gave a topic, training by VR software for welding, which is one of the typical complex tasks in the construction industry, and an example of actually improving his skills.

②川上氏からは、建設業で代表的に難しい作業の一つの溶接を、VRのソフトを使ってトレーニングした話題提供と、実際にもスキルがあがった例があげられた。 

3)Dr. Xie introduced several projects that combine machines as an extension of the body and AI as an extension of the brain. Many guidance systems use AI, and I realised that the concept of successfully affording human actions is the key. Especially for projects that expand the possibilities of the body by attaching relatively small machines such as tails and artificial arms to the human body (the shape may be close to the human arm), the control that blends into the body movement without discomfort is It seems that it is not straightforward. I felt that the topic of this discussion, "learning robots," might be involved.

③謝博士からは身体の延長としての機械、頭脳の延長としてのAIを組み合わせた数々のプロジェクトを紹介いただいた。AIを援用したガイダンスシステムが多く、人間の行為をうまくアフォードする概念がキーとなることを実感した。特に人体にしっぽや人工腕のような比較的小さめの機械を装着して身体の可能性を拡張するプロジェクトについては、（人間の腕に形状が近いこともあり）違和感なく身体動作に溶け込む制御は一筋縄ではいかなそうで、このディスカッションのトピックの「ロボットの学習」が絡んでくるのではないかと感じた。 

4)Based on the above paper (case study), we asked Mr. Takasaki, the builder of the palace carpenter, how he had been educating the particularly advanced techniques of the palace carpenter in recent years. I wondered if it was possible to learn by digitising such techniques. The educational policy of the palace carpenter is that it takes a long time to handle the tools, as the phrase "three years of planes, five years of chisel, eight years of marking, and a lifetime of sharpening", and the teaching method will change in the last few years. Is there? I asked the question.

④宮大工の棟梁である、高崎氏に上記の論文（ケーススタディー）をもとに、近年の宮大工の特に高度な技術をどのように教育しているのかを、お聞きした。このような技術のデジタイズによる学習などが可能かどうか、尋ねてみた。宮大工の教育方針としては、「鉋3年鑿5年墨かけ8年研ぎ一生」という言葉の通り、道具を扱わせてもらうまでに長い時間をかける、ここ数年で、教授法が変わる「兆し」はありますでしょうか？という質問を行った。 

❻Contents of Discussion 

①Tools and mechanical devices for enhancing "body function" must have always been next to humans, and with the advancement of technology, their strength and precision have increased. On the other hand, I tried to declare that the concept of tools and algorithms for "strengthening the way of feeling and thinking" is relatively new. However, in reality, the world may be moving forward unexpectedly.

❻議論の内容 / Contents of Discussion

 ➀「体の機能」を強化するための道具や機械装置は常に人間の隣にあったに違いなく、技術の進歩とともに、その強度や精密さが増してきた。一方、「感じ方、考え方の強化」のためのツールやアルゴリズムという概念は、比較的新しいのではないかと宣言しようとした。 しかしながら、実は世の中は意外と先へ進んでいるのではないか

-The emergence of automatic transmission limited licenses also defines human abilities based on the intervention of machines and control technology, and the laws have already been established. I thought again that it was a phenomenon that had already begun.

- Information technology such as search engines may be said to be a human-computer interaction (HCI) act that has permeated the body and consciousness of the generation of digital natives. It's a dream story a long time ago, such as holding a smartphone in your hand and arriving at a place you've never been to while searching for the best method.

-オートマ限定免許の出現も、機械や制御技術の介在を前提として人間の能力が定義されていることの象徴であり、法律等も整備済みである。この例も物語るように、ロボットや制御は既に人間の行為の中に溶け込んでいる。 

-検索エンジン等の情報技術はデジタルネイティブの世代にとって、もはや体と意識に染み付いたヒューマンコンピュータインタラクション（HCI）行為といっても良いかもしれない。スマホを手に持って、いった事のない場所へ最善の手法を検索しながら到着するなど、一昔前なら夢物語である。 

2)The two companies are so closely intertwined that the Cartesian dual classification of "body and consciousness" cannot be made, and original scientific research has already been developed regarding the system "sports". According to researchers in the field, analyzing skilled professional athletes with tracking techniques such as motion capture has some discoveries, but it seems to be a topic in recent years that learning it is a different issue. It is not enough for the player to understand the result of analysis from a third-party perspective, and the first-person perspective on how to coach it and reflect it in the subject action is also the academic discipline of cognitive science. It seems that it is becoming an important issue in the field.

②「体と意識」というデカルト的二元的分類が出来ないほど、両社が綿密に絡み合った行為であり、システムである「スポーツ」に関しては独自の科学的研究が既に発達している。その分野の研究者によると、熟練したプロ選手をモーションキャプチャ―などのトラッキング技術で分析することは、まず一定の発見があるが、その習得は別問題であることが近年のトピックらしい。第3者目線で分析した結果をプレイヤーが理解するのみでは不十分で、それをどうコーチングして、プレイヤー本人が主体行為に反映させることが出来るかについて、の第一人称視点も、認知科学の学術領域では重要課題になってきているようである。

Such discussions are developing in a field called "Braintech" due to the emergence of strong AI in recent years.

このような議論は、近年のつよいAIの出現によって「ブレインテック」と呼ばれる分野として発展途上である。

❼Brief Conclusion

1) It was possible to share knowledge and skills among computer humans by digitizing through scanning behaviour. There, a new concept of cybernetic learning seemed to be a new concept. However, what can be done in the field is that the first step is to firmly "write down" the implicit thoughts and behaviours.

2)The active palace carpenter has an essential part that cannot be replaced with letters, no matter how accurately he writes it in a book or words. They do not know how to use the method to convey the secret to others. I was reminded that there was also a negative aspect to denying the above declaration. (Auther(Dr.hotta) interpreted that this caution is the same as the above-mentioned cognitive science researchers have stated. Even if the technique can be objectively recorded and described from the perspective of a third party, it is not enough. It requires another step from one's perspective; You need to learn the knack of behaviour from your point of view, to master the ‘real’ skill.)

3) As a first step, it will be easier for humans to interact with it if the robot knows what it is thinking. Isn't such an idea practically possible even with industrial robots? The first step in interaction is to express intentions at a turning point where mass production and the use of robots for automation are transformed into collaboration with humans in Industry 4.0. Opinions were raised, and everyone agreed with the candid views.

❼仮の結論 

➀振る舞いのスキャニングを通じてのデジタイズを行えば、「コンピュータ⇔人間」間の知識や技術を共有出来るかもしれない可能性が展望として見えた。またそこで、サイバネティックな学び方の片鱗が新たなコンセプトとして見えた。しかし現場でできることは、まず暗黙の思考や振る舞いを、しっかりと「書き下すこと」が第一歩なのではないだろうか。 

②現役の宮大工さんは、どんなに正確に本や言葉等に書き下したとしても、文字には置き換えきれない技術の本質的な部分があり、どのような方法を使えばその直球の秘伝を他人に伝えられるか分からないという、上記の宣言を否定する反意的な側面もあると、念を押された。(このプロからの警告は、上記の認知科学の研究者の述べていることと共通で、「第三者目線で技術を客観的に記録・記述できたとしても、本当のスキルとしてモノにするのにはもう一段階のプロセスが必要；コツを自分視点での振る舞いとして体得する必要がある」ということ同義と堀田は解釈した。)

③まずは第一歩として、ロボット側が、何を考えているかがわかったら、人間も付き合いやすい。産業用ロボットでもそのようなアイデアは、実際的に可能なのではないか。大量生産や、オートメーションのためのロボットの使用方法が、インダストリー4.０のコンテクストの中で人間との協働に変わっていく変換点において、意思を表明するというのがインタラクションの第一歩だという意見が上がり、皆がその率直な意見に賛同した。

The story didn't go as far as the whole concept of digital craft, but it gave us frank and hands-on feedback on learning in a human-machine weaving cybernetic environment that will change.

話はデジタルクラフトの全体概念までには及ばなかったが、これから変わっていくであろう、人間―機械の織りなすサイバネティック環境における学びについて、率直で実践的なフィードバックが得られた。

202204_Responsibility; Dr.Hotta,K

202204_文責；ホッタケンスケ