Virtual Public Involvement: Lessons from the COVID-19 Pandemic (2022)

Below is the uncorrected machine-read text of this chapter, intended to provide our own search engines and external engines with highly rich, chapter-representative searchable text of each book. Because it is UNCORRECTED material, please consider the following text as a useful but insufficient proxy for the authoritative book pages.

C‐1  APPENDIX C: SURVEY SUMMARY AND ANALYSIS  Contents  Overview .................................................................................................................................................... C‐2  Survey Respondent Characteristics .......................................................................................................... C‐2  Survey Section 1: Use of VPI During COVID‐19 ........................................................................................ C‐3  Survey Section 2: VPI and Vulnerable/Underrepresented Populations ................................................ C‐15  Survey Section 3: Moving Forward (33‐45) ............................................................................................ C‐19  Survey Section 4: Open‐Ended Questions: ............................................................................................. C‐21  Conclusion ............................................................................................................................................... C‐24 

C‐2      Overview    In winter 2022, the research team developed and fielded a detailed online survey questionnaire  to capture and analyze data from state Departments of Transportation (DOTs) and regional  planning organizations, such as Metropolitan Planning Organizations (MPOs) and Rural Planning  Organizations (RPOs), on the topic of virtual engagement during the height of the COVID‐19  pandemic and in more recent months. The intent of the survey was to gather feedback on  relevant topics including but not limited to virtual public involvement (VPI) tools and  approaches utilized; successes and challenges when engaging virtually with the public, including  with targeted populations such as persons with disability; and identification of resources that  may assist agencies with virtual engagement efforts moving forward.    Employing the Qualtrics survey software platform, a convenience sampling approach was  undertaken. Survey distribution protocol focused on emailing the link to the 54‐question survey  to representatives from DOTs throughout the United States and a large selection of MPOs,  RPOs, and other regional planning bodies on February 6, 2022. In addition, the survey was  distributed on behalf of the project team by the Association of Metropolitan Planning  Organizations (AMPO) and the National Association of Development Organizations (NADO).   The project team conducted extensive follow up with representatives from these organizations,  including emails and phone calls, to ensure broad participation. The survey was open for  approximately one month.    Survey Respondent Characteristics    The research team received 196 completed survey responses, including responses from 41  states and representatives from 38 distinct state DOTs. Unless otherwise noted, if someone did  not respond to a question they are still counted in the total when determining percentages as it  was not possible to determine whether a respondent did not find any response applicable or  simply skipped the question. Many agencies had multiple representatives respond to the  survey, which was beneficial in capturing diverse VPI experiences of professional staff both  within and among agencies. In addition, there were a few responses from consultant  organizations (answering on behalf of agencies) and from municipalities or local organizations  (who likely received the survey via email from another party). At least 25 responses were  received from each of the four census‐designated regions: Northeast, Midwest, West, and  South. Table 1 shows the number of responses by each type of agency. Table 2 shows  responses by census‐designated region, with the plurality of responses coming from the South  (42%) and the Northeast (30%).          

C‐3    Table 1 – Responses by Agency Type  Type Freq. % State Department of  Transportation  106  54%  Rural Planning Organization  46  23%  Metropolitan Planning  Organization  27  14%  Consultant or contractor  9  5%  Municipal/Local Organization  7  4%  Not Specified  1  <1%  Total  196  100%    Table 2 – Responses by Region  Region Freq. % South  83  42%  Northeast  59  30%  Midwest  26  13%  West  25  13%  Not Specified/ Not Applicable  3  2%  Total  196  100%    Survey Section 1: Use of VPI During COVID‐19   1.1: Types of VPI  Survey respondents were asked to list the types of VPI tools they used during the COVID‐19  pandemic and expected to use post‐pandemic. The tools most frequently mentioned were  virtual meetings, social media, dedicated project webpages, email blasts, and electronic  surveys. Each of these was used by at least 75% of the respondents during the pandemic.   Figure 1 shows, for each VPI tool, the number of respondents who used the tool during the  pandemic and the number of respondents who expect to use the tool after the pandemic. For  most tools, respondents’ expectations signal either a slight drop or no significant change in use  post‐pandemic. The largest expected change is for virtual meetings, with 92% using these  during the pandemic and 82% expecting to use them post‐pandemic. A slight drop is expected  in the use of dedicated project websites, email blasts, hotlines, videos, and telephone town  halls. Respondents expect to use mobile apps, social media, electronic surveys, project  visualizations, digital newsletters, text messaging, drive‐in meetings, and crowdsourcing at  essentially the same levels as they did during the pandemic. They project slight increases in the  use of online collaboration tools, comprehensive VPI platforms, and virtual reality.  

C‐4    Figure 1 – VPI Tools Used During Pandemic & Expect to Use After Pandemic    Tables 3 and 4 further segment these responses by agency type. The tool that had the most  variance by agency type was information videos: 81% of DOT respondents reported using  informational videos compared to 56% of respondents from MPOs and just 28% from RPOs.  Rural planning organizations were less likely to use websites and social media than State DOTs.  Another notable finding is that over 90% of respondents from MPOs and DOTs reported using  dedicated project websites compared to 67% of RPOs. Electronic surveys were commonly used  by all three agency types, with MPOs having the largest percentage use at 85%.  14 12 28 34 35 46 46 43 57 62 119 117 126 147 150 150 162 162 12 13 23 33 42 43 47 50 57 60 123 124 127 150 158 163 165 181 0 20 40 60 80 100 120 140 160 180 200 Other Drive‐In Meetings Virtual Reality Crowdsource Tools Telephone Town Halls Comprehensive VPI Platforms Text Messaging Project Telephone Hotlines Mobile Applications Online Collaboration Tools Digital Newsletter Informational Videos Project Visualization Tools Electronic Surveys Email Blasts Dedicated Project Websites or Webpages Social Media Virtual Public Meetings Used During Pandemic Expect to Use After Pandemic

C‐5    Table 3 – VPI Tools Used During Pandemic by Agency Type  VPI Tool % of Respondents Reporting Used by Agency Type* Metropolitan  Planning  Organization Rural  Planning  Organization State Department of  Transportation Virtual Meetings  100%  96%  92%  Telephone Town Hall  4%  15%  28%  Project Telephone Hotlines  7%  7%  37%  Digital Newsletters  67%  67%  61%  Electronic Surveys  85%  74%  75%  Informational Videos  56%  28%  81%  Social Media  89%  67%  90%  Project Visualization Tools (e.g., Interactive Maps, 3D  Renderings)  81%  40%  73%  Crowdsourcing Tools  26%  7%  16%  Mobile Applications  11%  30%  28%  Dedicated Project Websites or Webpages  93%  67%  91%  Online Collaboration Tools (e.g., Online Whiteboard)  33%  28%  32%  Text Messaging  4%  28%  24%  Email Blasts  93%  85%  75%  Drive‐In Meetings  0%  4%  8%  Virtual Reality  4%  9%  14%  Comprehensive VPI Platforms  19%  11%  30%  *Data from consultants and local organizations are not included in Table 3 due to sample size concerns    While Table 3 shows the tools agencies used during the pandemic, Table 4 shows the VPI tools  agencies expect to use after the pandemic. The VPI tools agencies expect to use after the  pandemic are largely similar to the tools that they used during the pandemic.  In aggregate,  DOT respondents expect only a slight drop in the use of virtual public meetings, from 92%  during the pandemic to 88% post‐pandemic, while MPO and RPO respondents expect a greater  decrease.  1.2: Responsibility for Planning/Implementing VPI  Respondents were also asked who typically planned and/or implemented VPI for their  organization during the pandemic. The results, as shown in Table 5, indicate greater reliance on  consultants or contractors by DOT respondents than either MPO or RPO respondents. The  majority of DOT respondents (77%) used a combination of internal staff and consultants/  contractors to plan and implement VPI, while the majority of MPO and RPO respondents  reported using in‐house staff only.    

C‐6    Table 4 – VPI Tools Expect to Use Post‐Pandemic by Agency Type  VPI Tool  % of Respondents Reporting Plan to Use by Agency Type*   Metropolitan  Planning  Organization  Rural  Planning  Organization  State Department of  Transportation  Virtual Public Meeting  89%  76%  88%  Telephone Town Halls  4%  11%  24%  Project Telephone Hotlines  7%  7%  33%  Digital Newsletters  59%  59%  62%  Electronic Surveys  85%  70%  74%  Informational Videos  48%  24%  78%  Social Media  89%  67%  87%  Project Visualization Tools (e.g., Interactive  Maps, 3D Renderings)  89%  37%  70%  Crowdsourcing Tools  26%  2%  20%  Mobile Applications  19%  26%  29%  Dedicated Project Websites or Webpages  89%  57%  85%  Online Collaboration Tools (e.g., Online  Whiteboard)  44%  17%  34%  Text Messaging  15%  24%  22%  Email Blasts  89%  76%  75%  Drive‐In Meetings  0%  7%  8%  Virtual Reality  7%  2%  19%  Comprehensive VPI Platforms  22%  9%  32%  *Data from consultants and local organizations are not included in Table 4 due to sample size concerns    Table 5 – Who Planned/Implemented VPI by Agency Type  Source of Planning  % of Respondents*    Metropolitan  Planning  Organization  Rural  Planning  Organization  State  Department of  Transportation  Internal Staff Only  56%  60%  18%  Consultants/Contractors  Only   0%  0%  5%  Both Internal Staff and  Consultants/Contractors  44%  40%  77%  *Data from consultants and local organizations are not included in Table 5 due to sample size concerns     

C‐7      1.3:  Factors Influencing Tool Selection  When asked what factors influence an agency’s decision to select which VPI tools to use, the  most common response was the tool functionality, followed by the audience the agency was  seeking to engage and the agency’s familiarity with the tool. The cost of the tool or platform  was also selected by 51% of respondents, which makes it the fourth most frequent factor,  ranking above factors such as the anticipated number of participants the tool could reach and  the project’s scope, geography, funding source, or timeframe. Figure 2 shows the number and  percentage of responses for each influencing factor.  Figure 2 – Factors Influencing VPI Usage    1.4: Types of Projects and Services Using VPI  Respondents were asked to indicate which types of projects/services their organization had  used VPI for during the pandemic from a list of eight types. As shown in Figure 3, planning  projects were the most common type reported (at 85% of respondents). The next two most  common uses reported were for design projects (46%) and environmental reviews or studies  (43%), followed by mode‐specific plans (35%) and construction (34%). VPI use was less common  for policy, programming, or operations and maintenance projects.          19 30 42 43 54 81 90 99 104 116 123 0 20 40 60 80 100 120 140 Protection and Ownership of Data‐10% Project Funding Source‐15% Event Timing (e.g. Morning, Day, Evening)‐21% Project Timeframe‐22% Project Geography (e.g. Urban, Rural)‐28% Project Scope and/or Complexity‐41% Anticipated Number of Participants‐46% Tool/Platform Cost‐51% Familiarity With Tool‐53% Audience(s) Seeking to Engage‐59% Functionality of Tool‐63% Survey Responses

C‐8        Figure 3 – Types of Projects Used VPI For      1.5: Promotion and Social Media Use  Respondents were asked about the most effective resources used to promote and spread the  word about upcoming VPI events during the pandemic, and the results are shown in Figure 4.  Social media was cited as the top method of promoting VPI events (68% of respondents).  Organization webpages or dedicated project websites and email blasts were also both selected  by more than 50% of respondents. “Offline” promotional tools made up the next four most  effective resources, including partner networks (38%), mailed newsletters (33%), print  newspapers (32%), and community leader networks (30%). An open‐ended “other” category  yielded additional responses, including press releases and announcements during other  meetings about an upcoming VPI event.  Figure 5 shows the social media platforms that respondents’ organizations have used. The most  commonly mentioned platform was Facebook, followed by Twitter and YouTube. A majority of  responses from state DOTs (64%) and MPOs (63%) indicated that they used YouTube as a form  of VPI, while only 20% of RPO respondents used YouTube.             41 49 53 67 69 84 91 166 0 20 40 60 80 100 120 140 160 180 Operations and Maintenance‐21% Programming‐25% Policy‐27% Construction‐34% Mode‐Specific Plans (Bike/Ped, Freight,etc.)‐35% Environmental Review/Studies‐43% Design‐46% Planning‐85% Survey Responses

C‐9      Figure 4 – Most Effective Resources to Promote VPI Events    Figure 5 – Most Common Social Media Platforms Used        6 7 12 17 23 24 29 29 32 35 36 41 58 63 65 74 116 122 133 0 20 40 60 80 100 120 140 Public Access TV‐3% Ads on Local Public Transit‐4% Blogs‐6% Text Messaging‐8% Attend Community Events‐12% Phone Calls‐12% Educational Project Videos‐15% Portable Message Boards/Signs‐15% Local Radio‐16% QR Codes‐18% Printed Flyers and/or Door Hangers‐18% Digital News Sources‐21% Trusted Community Leaders‐30% Print Newspapers‐32% Mailed Newsletters or Postcards‐33% Networks of Partner Agencies/Organizations‐38% Email Blasts‐59% Organization Webpages or Dedicated Project Website‐62% Social Media‐68% Survey Responses 8 15 21 77 103 127 155 0 20 40 60 80 100 120 140 160 180 TikTok‐4% Other‐8% NextDoor‐11% Instagram‐39% YouTube‐53% Twitter‐65% Facebook‐79% Survey Responses

C‐10      1.6: Tools Found Most Useful  Respondents were asked to provide an open‐ended response about one VPI tool the agency  had found extremely useful. The most common responses referenced various online meeting  tools. The specific online meeting platforms mentioned varied, with Zoom and Teams  mentioned most frequently. Respondents cited a variety of reasons why they found online  meeting tools the most useful. These included their effectiveness in reaching diverse audiences,  the ability to record and post meeting videos, ease of use across multiple platforms, and the  standardization of communication with the public.  Online survey tools and project websites were also cited frequently as key ways to share project  information and succinctly collect input from the public when in‐person options were not  available. Table 5 lists the tools mentioned and the number of times a comment mentioned  that tool.  Table 5 – One VPI Tool Found Extremely Useful (Open‐Ended)  Tool Mentioned  Number of  Respondents  who mentioned  Online Meeting  99     Zoom  45     GoTo  4     Teams  20     Youtube  2     WebEx  2     Google Meet  1  Online survey  21     MetroQuest  10  Website  21  StoryMap  9  Social Media  8     Facebook  3  Videos  7  PIMA/all‐in‐one  5  PublicInput  5  Virtual Open House  5  Interactive Map  4  E‐blast  3  White Board  2  Message Board  1     

C‐11      1.7: Tools Not Yet Used but Interested in Trying  A follow‐up open‐ended question asked agencies if there was a VPI tool that they had not yet  used but would like to try in the future. Some answers included tools that have previously been  mentioned as effective by other agencies such as open house websites, virtual reality, the  Public Involvement Management Application (PIMA), and surveying. Additional tools not  captured by other survey questions included podcasts and analytics software. Table 6 shows  the list of VPI tools that were mentioned in the open‐ended comments.   Table 6 –VPI Tool to Try in Future (Open‐Ended)  Tool Mentioned  Number of  Respondents  that mentioned  Analytics software  1  ArcGIS Storymap  4  Hybrid platform  1  Interactive mapping  1  Open House website  2  PIMA  1  Podcast  1  Project App  3  PublicInput  2  Social Media  2  Survey123  1  Teams Live  1  Videos  2  Virtual reality  2  Website  1  Whiteboarding  1    1.8: Greatest Benefits of VPI and Evaluation Metrics Used  Survey respondents were asked to identify the greatest benefits their organization had  experienced while using VPI during the COVID‐19 pandemic and the results are shown in Figure  6. They were able to select up to three responses from a list of 16 choices. The most frequent  choices were “increased convenience for the public” and “increased overall public  participation.” They were also asked what metrics their organization uses to evaluate the  effectiveness of VPI efforts and are shown in Figure 7. The “number of participants” was by far  the most common metric reported at 69%. Other frequent choices were “comment relevance  or quality,” “comment quantity,” and “metrics available through platforms used.”    

C‐12      Figure 6 – Great Benefits Experienced Using VPI      Figure 7 – Metrics Used to Evaluate VPI Effectiveness        2 3 3 4 5 16 16 20 26 26 34 43 50 118 128 0 20 40 60 80 100 120 140 Decreased technical difficulties‐1% Better civility among participants‐2% We have not experienced any benefits.‐2% Increased environmental sustainability‐2% Decreased security concerns‐3% Increased quality of public feedback‐8% Avoided project delay‐8% Increased participation among vulnerable populations‐10% Decreased organizational costs‐13% Decreased personnel time‐13% Increased transparency‐17% Increased quantity of public comments‐22% Increased outreach accessibility‐26% Increased overall public participation‐60% Increased convenience for the public‐65% Survey Responses 19 46 59 68 68 136 0 20 40 60 80 100 120 140 160 None‐10% Diversity of participants‐23% Comment quantity‐30% Metrics available through platform(s) used‐35% Comment relevance or quality‐35% Number of participants‐69% Survey Responses

C‐13    1.9: Challenges to Implementing VPI  Respondents were asked what challenges their organization had faced in implementing VPI  during the pandemic. Separate questions were posed about external and internal challenges,  with a list of potential choices for each question. Figure 8 shows the external challenges  reported. The most commonly cited external challenges were a lack of computer/technology  skills and slow internet speeds of the participants the agencies were engaging with. The RPOs  that responded were much more likely to encounter slow internet as a challenge than other  types of agencies, with over 63% of those surveyed reporting it as an issue. Over 55% of  respondents from MPOs and RPOs reported challenges with participant computer skills  compared to 40% of state DOTs.     Figure 8 –External Challenges to VPI Implementation        Figure 9 shows the most frequently cited internal challenges for survey respondents. The most  common internal challenges mentioned were lack of staff training (27%) followed by lack of  internal VPI policy/guidance (19%). Tied with the top response for lack of staff training, 27% of  respondents said that they did not face any internal challenges related to VPI. Notably, the  types of internal challenges encountered did not meaningfully vary by agency type.   4 8 12 14 15 20 30 30 35 61 69 83 95 0 10 20 30 40 50 60 70 80 90 100 Technology Difficulties‐2% Low Literacy‐4% Decreased Quality of Public Feedback‐6% Limited English Proficiency‐7% Decreased Overall Public Participation‐8% Online Trolling‐10% Decreased Participation From Underserved Groups‐15% We Have Not Experienced Any External Challenges.‐15% Accessibility Factors‐18% Lack of Internet Access Among Participants‐31% Limited/No Access to Technology‐35% Slow Internet Access Among Participants‐42% Lack of Computer/Technology Skills Among Participants‐48% Survey Responses

C‐14    Figure 9 –Internal Challenges to VPI Implementation    1.10: Hybrid Events  Respondents were also asked about their experience hosting hybrid events during the  pandemic, defined as an event that included both in‐person and virtual participation. More  than half of the respondents (58%) said they had hosted hybrid events during the pandemic. A  higher percentage of RPO respondents had hosted hybrid events (74%) compared to just 50%  of DOTs. Of respondents who reported holding hybrid events, 56% reported that the greatest  challenge when hosting the event was technological issues.   1.11: Training  Survey respondents were asked about the extent they had received training with VPI tools and,  if they had received training, who provided the training. A little under half (42%) of those who  responded reported that they had received some training on VPI. DOT representatives (60%)  were more likely to report receiving VPI training than representatives from MPOs (46%) and  RPOs (22%).  Agency respondents who received training were asked about the source of their training, and  the results are shown in Table 7. The most common source of training was staff within the  organization (74%), though responses to this question varied by the type of agency.  Respondents from RPOs were slightly more likely to report using state and local government  resources (40%) than MPO or DOT respondents. Staff from MPOs were more likely to use the  FHWA guidance document “Temporary Virtual Public Involvement During the COVID‐19  Pandemic,” or to receive training from peer organizations (58% each) than DOTs or RPOs.   4 18 19 23 30 31 36 38 53 53 0 10 20 30 40 50 60 Technical Difficulties‐2% Lack of Upper Management Support For VPI‐9% Difficulties Fulfilling Federal/State Requirements‐10% Increased Security Concerns‐12% Increased Personnel Time and/or Costs‐15% Sufficient Level of Staffing‐16% Budget Limitations‐18% Lack of Policy/Guidance on Using VPI‐19% Lack of Staff Training‐27% We Have Not Experienced Any Internal Challenges‐27% Survey Responses

C‐15    Lastly, respondents were asked about what type of assistance would be most helpful to their  organization moving forward. 36% respondents listed online training as one of their top three  priorities while only 21% listed hands‐on training.  Table 7 – Most Common Source of Training for Staff Who Received Training  Where Staff Received Training  % of Respondents Reporting Source by Agency Type*   Metropolitan  Planning  Organization  Rural  Planning  Organization  State Department of  Transportation  Staff Within Organization  50%  50%  88%  Consultant/Contractor  17%  10%  34%  Customer Support for Specific Platform  42%  30%  34%  FHWA Guidance Document  58%  10%  41%  Non‐FHWA Federal Government  Resources  17%  30%  9%  State/Local Government Resources  33%  40%  38%  Peer Organization  58%  30%  25%  *Data from consultants and local organizations are not included in Table 7 due to sample size concerns    Survey Section 2: VPI and Vulnerable/Underrepresented Populations    2.1: Challenges Reaching Vulnerable/Underrepresented Populations  The survey also asked about experiences with virtually engaging vulnerable and/or  underrepresented groups during the pandemic. Reference to vulnerable populations included  but was not limited to older adults, persons with disabilities, minority populations, veterans,  low‐income persons, and Limited English Proficiency (LEP) populations. The populations that  the most respondents reported experiencing challenges engaging were people without access  to technology (39%), older adults (30%), and rural communities (27%). Figure 10 shows the  groups that respondents reported experienced challenges engaging. When looking at the  responses based on the agency type responding, 41% of MPOs reported challenges reaching  people without access to technology compared to 37% of RPOs and 37% of DOTs.        

C‐16    Figure 10 – Groups Had Most Difficulty Engaging    Respondents were also asked to report the most commonly encountered barrier(s) they faced  when seeking to engage vulnerable and/or underrepresented groups. Responses were similar  to the external challenges faced overall with VPI, with the most common difficulties reported  being lack of online access (internet, Wi‐Fi), lack of access to other technology (computers,  smart phones, tablets, etc.), and technical difficulties. Over 60% of RPOs that responded cited  lack of internet and lack of access to other technology as challenges, while under 40% of DOTs  listed these factors as issues. Over three‐quarters of respondents reported that the digital  divide has posed a “very” or “somewhat” substantial barrier to engaging vulnerable populations  during the pandemic.       3 4 17 20 26 27 31 41 52 59 76 0 10 20 30 40 50 60 70 80 Other‐2% Veterans‐2% Individuals with Disability‐9% Individuals with Low Literacy‐10% Individuals with Limited English Proficiency‐13% Minority Communities‐14% We Have Not Used VPI to Engage Any of These Groups.‐16% Low‐Income Communities‐21% Rural Communities‐27% Older Adults‐30% People Without Access to Technology‐39% Survey Responses

C‐17    2.2: Strategies Used to Reach Vulnerable/Underrepresented Populations  Respondents were asked what strategies they had used to increase public participation in their  projects among vulnerable/underrepresented populations during the pandemic, with the ability  to select all that applied from a list of 19 choices. The three most commonly cited strategies,  used by at least half of respondents, were: posting meeting materials and recordings online;  sharing project information via traditional outlets such as mail, newspapers and radio; and  promoting project information and events utilizing social media advertising. Partnering with  local community networks or leaders was also frequently noted, with the most common  partners being local non‐profits, advocacy groups, community centers and schools. Figure 11  shows the engagement strategies used to increase participation among vulnerable groups by  frequency.  Figure 11 –Strategies Used to Increase Participation Among Vulnerable/Underrepresented  Populations    Table 8 further segments the responses by agency type. Relative to other agencies,  respondents from RPOs were most likely to partner with local community networks (52%) while  respondents from DOTs were most likely to share information via traditional outlets like mail  and radio (57%). Respondents from MPOs reported using a variety of strategies, notably  posting meeting recordings online (81%) and using social media advertising (56%).   10 12 13 23 29 39 41 45 55 59 61 65 73 79 84 94 96 99 112 0 20 40 60 80 100 120 Provide Handouts in Accessible Formats (e.g. Braille, Large Print)‐5% Offer Participation Incentives or Stipends‐6% Provide American Sign Language (ASL) Interpretation‐7% Hold Virtual Staff Office Hours‐12% Restrict Meeting Length‐15% Canvas Targeted Communities With Door Hangers, Flyers, Etc.‐20% Provide Image Descriptions On Handouts/During Presentations‐21% Provide Closed Captions to Meetings And Videos‐23% Ensure  Information is Translated For ‐28% Limited In‐Person Outreach Via Community Organizations‐30% Extend Public Comment Periods‐31% Place Printed Project Materials at Community Sites‐33% Post Pre‐Recorded Project Videos‐37% Ensure Web Content is Mobile Friendly‐40% Provide Traditional Feedback Options (e.g. Paper Surveys)‐43% Partner with Local Community Networks or Leaders‐48% Promote Project Information Using Social Media ‐49% Share Info Via Traditional Outlets (e.g. Mail, Newspaper)‐51% Post Meeting Recordings and Materials Online‐57% Survey Responses

C‐18    Table 8 –Strategies Used to Increase Participation Among Vulnerable/Underrepresented  Populations by Agency Type  Strategy % of Respondents Using by Agency Type*    Metropolitan  Planning  Organization  Rural  Planning  Organization  State  Department of  Transportation  Partner with Local Community Networks  or Leaders  48%  52%  42%  Extend Public Comment Periods  33%  11%  39%  Provide Traditional Feedback Options  (e.g., call‐in numbers, paper surveys)  52%  28%  45%  Share Project Information Via  Traditional Outlets (e.g., mail,  newspaper, radio)  33%  41%  57%  Promote Project Information and Events  Using Social Media Advertising  56%  35%  50%  Canvas Targeted Communities with  Door Hangers, Fliers, etc.  19%  9%  25%  Conduct Limited In‐Person Outreach Via  Community Organizations  33%  22%  30%  Ensure Web Content Is Mobile Friendly  56%  33%  39%  Ensure Project Information Is Translated  For Those With Limited English  Proficiency  37%  9%  33%  Provide Closed Captions To Meetings  And Videos  33%  4%  29%  Provide American Sign Language (ASL)  Interpretation  11%  0%  8%  Provide Image Descriptions On  Handouts/During Presentations  15%  13%  25%  Offer Participation Incentives or  Stipends  7%  4%  6%  Post Pre‐Recorded Project Videos  33%  13%  48%  Post Meetings Recordings and Materials  Online  81%  46%  55%  Hold Virtual Staff Office Hours  11%  9%  13%  Restrict Meeting Length  11%  13%  14%  Place Printed Project Materials at  Community Sites  30%  30%  32%  Provide Handouts In Accessible Formats,  Like Braille or Large Print  4%  0%  8%  *Data from consultants and local organizations are not included in Table 8 due to sample size concerns   

C‐19    When asked about the types of community organizations their agencies partnered with during  the pandemic to engage with vulnerable/underrepresented populations, the top answer was  local or regional non‐profits (41% of respondents), followed by advocacy groups and  community centers (both at 35%). Schools (34%) and libraries (31%) closely followed the top  three responses. Less frequent responses included places of worship, senior centers, local food  banks, and assisted living facilities. Also interesting to note is that 15% of respondents did not  partner with any community groups. Figure 12 shows the results of this question. (Not shown in  the table are “other” open‐ended responses, which included several mentions of partnering  with local/regional government agencies. Other open‐ended responses included home  ownership associations, Chambers of Commerce, and healthcare networks.)   Figure 12 – Types of Community Groups Partnered With    Lastly, respondents were asked whether they thought VPI tools had contributed to engagement  among vulnerable/underrepresented groups. Notably, the majority of those who answered this  question –68% – reported they strongly agreed or somewhat agreed that VPI tools helped  reach vulnerable/underrepresented groups, while only 5% somewhat or strongly disagreed and  27% neither agreed nor disagreed.   Survey Section 3: Moving Forward (33‐45)  In the final section of the survey, respondents were asked about their plans to use VPI moving  forward. A majority of respondents (69%) reported they were “Extremely Likely” to use VPI  tools moving forward, and an additional 24% said they were somewhat likely to use VPI moving  forward. Only 1% of respondents said they were somewhat unlikely to use VPI moving forward,  and no one responded that they were extremely unlike to use VPI moving forward. Clearly,  respondents recognize VPI will remain a viable tool to engage the public.  13 17 29 33 40 61 66 69 69 80 0 10 20 30 40 50 60 70 80 90 Assisted Living Facilities‐7% Local Food Banks‐9% None‐15% Senior Centers‐17% Places Of Worship‐20% Libraries‐31% Schools‐34% Community Centers‐35% Advocacy Groups‐35% Local/Regional Non‐Profits‐41% Survey Responses

C‐20    Respondents were also asked what types of assistance would be most helpful to their  organization in improving or expanding its use of VPI moving forward. Figure 13 demonstrates  the responses in order of frequency. The most common responses were best practice resources  and demonstrations (42%), followed by online training and technical assistance (36%) and  funding support for purchasing VPI platforms (30%). Responses by type of agency can be found  in Table 9. Best practice resources were most requested by DOTs (42%) and MPOs (59%), while  online training (48%) and funding support (46%) were most requested by RPOs.    Figure 13 – Most Helpful Assistance Moving Forward        3 42 47 47 47 58 70 82 0 10 20 30 40 50 60 70 80 90 Better Technology Infrastructure for Constituents‐2% Hands‐On Training and Technical Assistance‐21% Development of Internal VPI Policies‐24% Peer Exchange Workshops Focused on VPI‐24% Updated Fhwa Guidance on VPI‐24% Funding Support for VPI Platform Purchase‐30% Online Training and Technical Assistance‐36% Best Practice Resources and Demonstrations‐42% Survey Responses

C‐21    Table 9 – Most Helpful Assistance Moving Forward by Agency Type  Type of Assistance  Agency Type*    Metropolitan Planning Organization  Rural  Planning  Organization  State Department of  Transportation  Development Of  Internal VPI Policies  26%  20%  27%  Online Training and  Technical Assistance  41%  48%  27%  Hands‐On Training and  Technical Assistance  19%  28%  19%  Peer Exchange  Workshops Focused on  VPI  26%  17%  27%  Best Practice  Resources And  Demonstrations  59%  33%  42%  Updated FHWA  Guidance on VPI  30%  20%  25%  Funding Support For  VPI Platform Purchas  26%  46%  22%  *Data from consultants and local organizations are not included in Table 9 due to sample size concerns  Survey Section 4: Open‐Ended Questions     The open‐ended questions throughout the survey provided more detailed insights into these  agencies’ experiences with VPI during the pandemic.  The open‐ended questions asked agencies  to share an example of a specific VPI tool that was extremely useful, to describe a particular  success or challenge with using VPI, as well as an open opportunity to provide additional  thoughts/comments on VPI use.  The responses to these open‐ended questions are collectively  summarized below organized into two bundles – key VPI successes and key VPI challenges.  4.1 Key VPI Successes  Virtual meetings have increased overall participation.  ‐ Numerous agencies reported that the use of virtual meetings increased the number of  participants. In particular, many agencies cited lack of transportation options as a  barrier to traditional public engagement for vulnerable groups and reported that virtual  involvement increased participation of low‐income communities and others.    Asynchronous virtual engagement provides self‐guided opportunities for participants to learn  at their own pace.  They can pause, think, respond.  ‐ Several respondents noted that allowing asynchronous engagement helped increase the  quality and quantity of feedback. People were able to participate at times that were  convenient to them and there were more high‐quality comments.  

C‐22    Project websites became increasingly important resources for projects, both for sharing and  collecting information.  ‐ Websites offer a low‐cost method of sharing information with the public that was  generally very successful. In particular, online comment forms were cited by numerous  agencies as an effective way to promote engagement.   Crowdsourcing and mapping tools allowed for improved visualization and project  understanding by the public and increased participation (for example, as measured by  number of survey responses).  ‐ Respondents indicated that tools like MetroQuest and ArcGIS Story Maps helped  increase the quality of public engagement, allowing the public to interact directly with  maps related to potential projects. One agency developed a relationship with non‐ profits representing vulnerable groups and was able to quickly implement  improvements to the maps that made them more useful to community groups.   Those who have used specialized public engagement platforms have found these all‐in‐one  tools to be extremely helpful.  ‐ Ready‐made tools were some of the most effective due to the breadth of features they  provided, such as the ability to receive comments via text message, the ability to easily  integrate census data into maps, and language translation capabilities.  Zoom is by far the most commonly reported platform for online public meetings, and many  feel that online public meetings overall will become standard practice for their agency  moving forward. The Microsoft Teams platform was also widely used among respondents.  ‐ Some of the advantages cited of utilizing Zoom and Teams for public outreach were  agency and participant familiarity, ease of use, as well as access to customer support for  technical assistance.   Social media remains an important tool to spread the word and increase participation.  ‐ Facebook in particular was cited as an effective way to advertise events and surveys.  Physical and more traditional forms of outreach can serve as effective strategies to promote  VPI tools and meetings.  ‐ Many agencies mentioned using more traditional outreach including physical signage,  flyers, roadside display signs, and radio advertising to promote online events and  surveys, which was especially effective at reaching people who do not use social media.  Agencies reported success holding both virtual and in‐person meetings as well as  distributing surveys both via the internet and paper.    Partnerships with community organizations were an effective way for many agencies to  increase the quality of engagement.   ‐ Agencies reported having success partnering with community organizations to raise  awareness of engagement opportunities. Existing technology infrastructure at libraries  and houses of worship helped agencies host meetings and helped participants access 

C‐23    virtual engagement options. For example, one agency partnered with a library to  provide computer access for constituents. Another held a hybrid neighborhood meeting  at a church that typically broadcasts its services, and church staff handled the broadcast  technology for the meeting.    4.2 Key VPI Challenges  Many respondents had difficulty reaching populations that did not have the technology skills  or infrastructure to participate virtually.  ‐ Elderly populations and rural areas with lack of internet and/or cell service were  particularly hard to reach through virtual engagement. Individuals with hearing  impairments may have particular difficulty with online meetings. Some agencies also  have populations that do not use electronic technology for religious reasons.     Virtual outreach is not a panacea: some groups who are more difficult to engage with  traditional methods, such as low‐income populations, remained difficult to engage after the  shift to virtual outreach.  ‐ While some agencies found success engaging low‐income and other vulnerable groups  with virtual outreach and participation options, other agencies reported difficulty. For  some, even deploying a combination of virtual outreach and physical outreach, such as  distributing flyers and other resources, yielded little engagement.     Technical difficulties with virtual engagement were common among both agencies and  participants.  ‐ Agency staff and members of the public seeking to provide feedback often had  difficulties using virtual platforms and learning to mute, share screens, and use other  features. Closed captioning and translation features were often low‐quality. One agency  mentioned inviting an ASL interpreter to a call but had difficulties with that person  participating because he/she did not have an agency email address.     Agencies that were unable to use more comprehensive VPI tools often were not sure of the  audience with whom they were engaging.  ‐ Agencies responded that it was difficult to determine who was participating and they  were thus unable to determine which populations, if any, were being left out. One  agency mentioned they suspected people who felt strongly about an issue would  comment many times to make it appear that their opinion was more common.     VPI tools and staffing can be expensive and time‐consuming.  ‐ Many agencies expressed a need for more funding for platforms and more staff to  effectively continue their virtual outreach. Some also mentioned that virtual  engagement was more time‐consuming and required more staff time to effectively  implement.      

C‐24    Conclusion  The survey conducted in February 2022 captured a range of experiences from transportation  agencies during the COVID‐19 pandemic.  It is clear from the wide range of responses that  agencies had a variety of different experiences adapting to these new tools and formats, and  that there were successes and frustrations along the way. In addition, responses indicated that  agencies continue to learn and adapt their approaches to VPI in order to gain new participants  and increase engagement with their state or region’s most vulnerable/over‐looked populations.   The findings from this survey provide the research team with important context and insights  that will help in the next steps of this research endeavor, the facilitation of focus groups and  interviews with these agencies. The survey findings provide an important baseline assessment  of current use and experience with VPI during the COVID‐19 pandemic.