<div dir="ltr"><div class="gmail_default" style="font-family:verdana,sans-serif;font-size:large;color:#0b5394">Barry,</div><div class="gmail_default" style="font-family:verdana,sans-serif;font-size:large;color:#0b5394"><br></div><div class="gmail_default" style="font-family:verdana,sans-serif;font-size:large;color:#0b5394">First, I think your talk today resulted in one of the better engagements and discussions we have experienced at LCTG meetings.  My kudos to you for speaking in a way that showed that a very complex topic explained in "ordinary" language, can be easier to understand than the language used to describe many of our topics.  Bravo!</div><div class="gmail_default" style="font-family:verdana,sans-serif;font-size:large;color:#0b5394"><br></div><div class="gmail_default" style="font-family:verdana,sans-serif;font-size:large;color:#0b5394"><br></div><div class="gmail_default" style="font-family:verdana,sans-serif;font-size:large"><font color="#0b5394">The period when I was a grad student at MIT (1971-74) was the time just after Terry Winograd got his PhD degree from MIT entitled "Procedures as a Representation for Data in a Computer Program for Understanding Natural Language (1971)</font><span style="color:rgb(11,83,148);font-size:large">".  This was probably the first (or one of the first) Natural Language Systems.  To quote Wikipedia,</span></div><div class="gmail_default" style="font-family:verdana,sans-serif;font-size:large"><span style="color:rgb(11,83,148);font-size:large"><br></span></div><blockquote style="margin:0 0 0 40px;border:none;padding:0px"><font face="verdana, sans-serif" size="2" color="#0b5394">[Winograd] wrote SHRDLU as a PhD thesis at MIT in the years from 1968–70. In making the program Winograd was concerned with the problem of providing a computer with sufficient "understanding" to be able to use natural language. Winograd built a blocks world, restricting the program's intellectual world to a simulated "world of toy blocks". The program could accept commands such as, "Find a block which is taller than the one you are holding and put it into the box" and carry out the requested action using a simulated block-moving arm. The program could also respond verbally, for example, "I do not know which block you mean." The SHRDLU program can be viewed historically as one of the classic examples of how difficult it is for a programmer to build up a computer's semantic memory by hand and how limited or "brittle" such programs <font size="2">are<span class="gmail_default" style="">. [<a href="http://hci.stanford.edu/~winograd/shrdlu/index.html">more information about SHRDLU</a></span><span class="gmail_default" style=""></span>]<br></font></font></blockquote><div><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div style="text-align:left"><font face="verdana, sans-serif" size="2"><font color="#0b5394"><br></font></font></div><div style="text-align:left"><font face="verdana, sans-serif" size="2"><font color="#0b5394"><span class="gmail_default" style="font-family:verdana,sans-serif;font-size:large;color:rgb(11,83,148)">In some respects Winograd's thesis approached natural language understanding the same style you used -- with the exception that the world Winograd tried to understand was <i>very small</i> compared with the world the material you presented today tries to understand.</span></font></font></div><div style="text-align:left"><font face="verdana, sans-serif" size="2"><font color="#0b5394"><span class="gmail_default" style="font-family:verdana,sans-serif;font-size:large;color:rgb(11,83,148)"><br></span></font></font></div><div style="text-align:left"><font face="verdana, sans-serif" size="2"><font color="#0b5394"><span class="gmail_default" style="font-family:verdana,sans-serif;font-size:large;color:rgb(11,83,148)">A lot of people at MIT and other places (such as BBN where I worked) built off Winograd's work over the next several decades with some limited success.  I think part of the problem in making more progress at BBN was the additional requirement of understanding speech as the front end to the written language used in Winograd's world.  This, of course was influenced by the sponsors of the work, the US Military, who wanted to have work on Natural Language Understanding apply more directly to their problems:</span><br></font></font></div><div style="text-align:left"><ol><li style="padding-bottom:0.6001em"><font face="verdana, sans-serif" size="2"><font color="#0b5394"><span class="gmail_default" style="font-family:verdana,sans-serif;font-size:large;color:rgb(11,83,148)">Understanding speech intercepts captured by the signals intelligence community.</span></font></font></li><li style="padding-bottom:0.6001em"><font face="verdana, sans-serif" size="2"><font color="#0b5394"><span class="gmail_default" style="font-family:verdana,sans-serif;font-size:large;color:rgb(11,83,148)">Understanding speech commands coming from humans in complex environments (such as a pilot of a fighter jet).</span></font></font></li></ol><div><font color="#0b5394" face="verdana, sans-serif"><span style="font-size:21.3768px"><span class="gmail_default" style="font-family:verdana,sans-serif;font-size:large;color:rgb(11,83,148)">This caused focus on building deployable systems that could make sense out of both Speech and the Natural Language conveyed by speech.</span></span></font></div><div><font color="#0b5394" face="verdana, sans-serif"><span style="font-size:21.3768px"><span class="gmail_default" style="font-family:verdana,sans-serif;font-size:large;color:rgb(11,83,148)"><br></span></span></font></div><div><font color="#0b5394" face="verdana, sans-serif" size="4"><span class="gmail_default" style="">There are two possible goals of activities going on in the Natural Language Understanding world:</span></font></div><div><ol><li style="padding-bottom:0.6001em"><font face="verdana, sans-serif" size="4" color="#0b5394"><span class="gmail_default" style=""></span>Explaining how we<span class="gmail_default" style="font-family:verdana,sans-serif;font-size:large;color:rgb(11,83,148)"> (humans)</span> understand language<span class="gmail_default" style=""></span></font></li><li style="padding-bottom:0.6001em"><font face="verdana, sans-serif" size="4" color="#0b5394">Building a device <span class="gmail_default" style="font-family:verdana,sans-serif;font-size:large;color:rgb(11,83,148)">(on computers) </span>to understand language<span class="gmail_default" style=""></span></font></li></ol><div><font color="#0b5394" face="verdana, sans-serif"><span class="gmail_default" style=""><font size="4" style="">It seems to me that the set of ideas you spoke about (semantic modeling) satisfies the fir</font></span><span class="gmail_default" style="font-size:large;font-family:verdana,sans-serif;color:rgb(11,83,148)">st case while the techniques occupying the news these days (machine learning) have been more successful in satisfying the second case.</span><br></font></div></div><div><font color="#0b5394" face="verdana, sans-serif"><span class="gmail_default" style="font-size:large;font-family:verdana,sans-serif;color:rgb(11,83,148)"><br></span></font></div><div><font color="#0b5394" face="verdana, sans-serif"><span class="gmail_default" style="font-size:large;font-family:verdana,sans-serif;color:rgb(11,83,148)">I think a significant contribution would be to explain how machine learning devices work in terms of semantic modeling -- or analyze why machine learning devices will have inherent roadblocks in overcoming their current limitations.  On the xBBN mailing list I read the distaste people from the semantic modeling community have for the glitzy capabilities of machine learning devices and systems.  The impression I get is that semantic modeling people feel machine learning devices are cherry picking the easy cases of Natural Language Understanding.  I don't know what the Machine Learning crowd thinks of their Semantic Modeling predecessors, although I do remember the distaste people like Marvin Minsky had for struggling Machine Learning researchers.  The guys who got the Turing Award for their work in resurrecting Neural Networks deserve credit for fighting through the resistance of the AI heavyweights that ruled during the end of the milenna.</span></font></div><div><font color="#0b5394" face="verdana, sans-serif"><span class="gmail_default" style="font-size:large;font-family:verdana,sans-serif;color:rgb(11,83,148)"><br></span></font></div><div><font color="#0b5394" face="verdana, sans-serif"><span class="gmail_default" style="font-size:large;font-family:verdana,sans-serif;color:rgb(11,83,148)">Curiously enough, this is the same accusation I used to hear about the results of Terry Winograd's work.  His system for understanding the language of the simplified Blocks World using semantic modeling stripped so much of the problem away that it hit the complexity wall of larger world domains.  </span></font></div><div><font color="#0b5394" face="verdana, sans-serif"><span class="gmail_default" style="font-size:large;font-family:verdana,sans-serif;color:rgb(11,83,148)"><br></span></font></div><div><font color="#0b5394" face="verdana, sans-serif"><span class="gmail_default" style="font-size:large;font-family:verdana,sans-serif;color:rgb(11,83,148)">What do you think of these ideas?</span></font></div><div><font color="#0b5394" face="verdana, sans-serif"><span class="gmail_default" style="font-size:large;font-family:verdana,sans-serif;color:rgb(11,83,148)"><br></span></font></div><div><font color="#0b5394" face="verdana, sans-serif"><span class="gmail_default" style="font-size:large;font-family:verdana,sans-serif;color:rgb(11,83,148)">Regards,</span></font></div><div><font color="#0b5394" face="verdana, sans-serif"><span class="gmail_default" style="font-size:large;font-family:verdana,sans-serif;color:rgb(11,83,148)"><br></span></font></div><div><font color="#0b5394" face="verdana, sans-serif"><span class="gmail_default" style="font-size:large;font-family:verdana,sans-serif;color:rgb(11,83,148)">-- Harry</span></font></div></div><div style="text-align:left"><font face="verdana, sans-serif" size="2"><font color="#0b5394"><br></font></font></div><div style="text-align:left"><br></div><table cellspacing="5" cellpadding="5" style="color:rgb(80,0,80);font-family:Arial,Helvetica,sans-serif;font-size:19.2px;background-color:rgb(238,238,238);margin-left:0px;margin-right:auto"><tbody><tr><td valign="top" style="font-size:10pt"><font face="verdana, sans-serif"><a href="http://www.forsdick.com/resume/" style="color:rgb(17,85,204)" target="_blank">Harry Forsdick</a><br><a href="http://lexingtonphotoscan.com/" style="color:rgb(17,85,204)" target="_blank">Lexington Photo Scanning</a><br><a href="http://lexingtontmma.org/" style="color:rgb(17,85,204)" target="_blank">Town Meeting Member Precinct 7</a><br><a href="mailto:harry@forsdick.com" style="color:rgb(17,85,204)" target="_blank">harry@forsdick.com</a><br></font><a href="http://www.forsdick.com/" style="font-family:verdana,sans-serif;color:rgb(17,85,204)" target="_blank">www.forsdick.com</a><font face="verdana, sans-serif"><br></font></td><td width="5"><font face="verdana, sans-serif"> </font></td><td valign="top" style="font-size:10pt"><font face="verdana, sans-serif"><a href="https://goo.gl/xZXT2F" style="color:rgb(17,85,204)" target="_blank">46 Burlington St.<br>Lexington, MA 02420</a><br><a href="callto:17817996002" style="color:rgb(17,85,204)" target="_blank">(781) 799-6002 (mobile)</a><br><font color="#0b5394"><a href="http://meet.jit.si/HarryForsdick" target="_blank">meet.jit.si/HarryForsdick</a> (video)</font><br><a href="http://forsdick.weebly.com/home/my-websites" style="color:rgb(17,85,204)" target="_blank">Click</a> to see my other websites<br></font></td></tr></tbody></table></div></div></div></div></div><div><br><br></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div>