<div dir="ltr"><div>> wouldn't surprise me if zip codes correlate with a crime. (Probably not with the amount stolen per capita!) It wouldn't surprise me at all if criminal records of relatives correlate more strongly with crime</div><div><br></div><div>The bias comes into play by using this data to give people from certain zip codes or certain families longer sentences. Or to assign more police officers to certain regions, where in turn they make more arrests for minor crimes they observe (eg, broken tail light, etc), and thus feedback misleading data into the models. </div><div><br></div><div>Cathy imagines these algorithms to be used to make different decisions: </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Imagine if you used recidivist models to provide the at-risk inmates with counseling and job training while in prison. Or if police doubled down on foot patrols in high crime zip codes -- working to build relationships with the community instead of arresting people for minor offenses. </blockquote><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">You might notice there's a human element to these solutions. Because really that's the key. Algorithms can inform and illuminate and supplement our decisions and policies. But to get not-evil results, humans and data really have to work together.</blockquote><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">"Big Data processes codify the past," O'Neil writes. "They do not invent the future. Doing that requires moral imagination, and that's something only humans can provide."  </blockquote><div><br></div><div><a href="https://money.cnn.com/2016/09/06/technology/weapons-of-math-destruction/index.html">https://money.cnn.com/2016/09/06/technology/weapons-of-math-destruction/index.html</a><br><div><br></div><div>Jerry</div></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Sat, Apr 9, 2022 at 12:47 PM Jon Dreyer <<a href="mailto:jon@jondreyer.org">jon@jondreyer.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
  
    
  
  <div>
    <p>Not every instance of apparent bias represents bias. John's
      example seems like an open-and-shut case of bias, but Jerry's may
      not be. Since zip codes correlate with poverty and poverty
      correlates with crime, it wouldn't surprise me if zip codes
      correlate with crime. (Probably not with amount stolen per
      capita!) It wouldn't surprise me at all if criminal records of
      relatives correlate more strongly with crime.</p>
    <p>Whether it's ethical to use that data for a given purpose is a
      separate question.</p>
    <p>-- <br>
      Jon "Bias Sometime" Dreyer<br>
      <a href="http://www.passionatelycurious.com" target="_blank">Math tutor/Computer
        Science tutor</a><br>
      <a href="http://music.jondreyer.com" target="_blank">Jon Dreyer Music</a></p>
    <div>On 4/9/22 11:22, Jerry Harris wrote:<br>
    </div>
    <blockquote type="cite">
      <div dir="ltr">John, 
        <div>You might find the book by Cathy O'Neil, "Weapons of Math
          Destruction," interesting since it contains more examples in
          the same vein as the article. The author attended Lexington
          High School and gave a talk about her book at Follen Church
          several years ago. Stories such as an algorithm that uses data
          like zip code and criminal records of relatives to calculate a
          prisoner's likelihood to commit another crime if released on
          parole, etc. </div>
        <div>    <a href="https://www.amazon.com/Weapons-Math-Destruction-Increases-Inequality/dp/0553418815" target="_blank">https://www.amazon.com/Weapons-Math-Destruction-Increases-Inequality/dp/0553418815</a></div>
        <div><br>
        </div>
        <div>Jerry</div>
      </div>
      <br>
      <div class="gmail_quote">
        <div dir="ltr" class="gmail_attr">On Sat, Apr 9, 2022 at 10:47
          AM john rudy <<a href="mailto:jjrudy1@comcast.net" target="_blank">jjrudy1@comcast.net</a>>
          wrote:<br>
        </div>
        <blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
          <div lang="EN-US">
            <div>
              <p class="MsoNormal"><span style="font-size:12pt;font-family:Arial,sans-serif">I
                  am taking an AI course and a major issue is the bias
                  build into some AI systems.  If, for example, you pick
                  new hires from those who were successful in the past
                  you’ll mostly hire white males because those were who
                  you mostly had in the past.  Here is a fascinating
                  article from the course</span></p>
              <p class="MsoNormal"><span style="font-size:12pt;font-family:Arial,sans-serif"><a href="https://www.wired.com/story/excerpt-from-automating-inequality/" target="_blank">https://www.wired.com/story/excerpt-from-automating-inequality/</a></span></p>
            </div>
          </div>
        </blockquote>
      </div>
    </blockquote>
  </div>

===============================================<br>
::The Lexington Computer and Technology Group Mailing List::<br>
Reply goes to sender only; Reply All to send to list.<br>
Send to the list: <a href="mailto:LCTG@lists.toku.us" target="_blank">LCTG@lists.toku.us</a>      Message archives: <a href="http://lists.toku.us/private.cgi/lctg-toku.us" rel="noreferrer" target="_blank">http://lists.toku.us/private.cgi/lctg-toku.us</a><br>
To subscribe: email <a href="mailto:lctg-subscribe@toku.us" target="_blank">lctg-subscribe@toku.us</a>  To unsubscribe: email <a href="mailto:lctg-unsubscribe@toku.us" target="_blank">lctg-unsubscribe@toku.us</a><br>
Future and Past meeting information: <a href="http://LCTG.toku.us" rel="noreferrer" target="_blank">http://LCTG.toku.us</a><br>
List information: <a href="http://lists.toku.us/listinfo.cgi/lctg-toku.us" rel="noreferrer" target="_blank">http://lists.toku.us/listinfo.cgi/lctg-toku.us</a><br>
This message was sent to <a href="mailto:jerryharri@gmail.com" target="_blank">jerryharri@gmail.com</a>.<br>
Set your list options: <a href="http://lists.toku.us/options.cgi/lctg-toku.us/jerryharri@gmail.com" rel="noreferrer" target="_blank">http://lists.toku.us/options.cgi/lctg-toku.us/jerryharri@gmail.com</a></blockquote></div>