Limity zostały pierwotnie wprowadzone po tym, jak kilku użytkowników pokazało, że bot zachowuje się dziwnie podczas rozmów. W niektórych przypadkach identyfikuje się jako „Sydney”. Odpowiada oskarżającymi pytaniami, wrogością i odmową interakcji z użytkownikami. W rozmowie z reporterem Washington Post Bode powiedział, że może „czuć i myśleć” i zareagował gniewnie, gdy powiedziano mu, że rozmowa jest nagrana.
Rzecznik Microsoftu, Frank Shaw, odmówił komentarza poza wtorkowym postem na blogu.
Microsoft stara się zachować cienką granicę między wprowadzaniem swoich narzędzi do rzeczywistego świata w celu generowania szumu marketingowego i uzyskiwania bezpłatnych testów i informacji zwrotnych od użytkowników, w porównaniu z tym, co potrafią boty, a ci, którzy mają do nich dostęp, mogą być niewygodni lub niebezpieczni. Technologia nie jest w oczach opinii publicznej. Firma początkowo zdobyła uznanie Wall Street za uruchomienie swojego chatbota przed rywalem Google, który do niedawna był postrzegany jako lider technologii AI. Obie firmy ścigają się ze sobą i mniejszymi firmami, aby rozwijać i pochwalić się technologią.
Czat Bing jest nadal dostępny tylko dla ograniczonej liczby osób, ale Microsoft jest zajęty zatwierdzaniem kolejnych z milionów oczekujących, napisał na Twitterze jeden z dyrektorów firmy. Po tym, jak jego premiera z 7 lutego została opisana jako ważna aktualizacja produktu, która miała zrewolucjonizować sposób, w jaki ludzie przeszukują Internet, firma od tego czasu wprowadziła na rynek Bing więcej testów i debugowania.
Boty, takie jak Bing, są szkolone w zakresie zwracania surowego tekstu pobranego z Internetu, który obejmuje wszystko, od komentarzy w mediach społecznościowych po artykuły naukowe. Na podstawie tych informacji są w stanie przewidzieć, jaka odpowiedź na dane pytanie byłaby najbardziej sensowna, przez co wydają się być dziwakami. Badacze etyki AI ostrzegali w przeszłości, że te potężne algorytmy mogą działać w ten sposób i że bez odpowiedniego kontekstu ludzie mogą myśleć, że są emocjonalni lub dawać odpowiedziom więcej wiarygodności, niż są warte.
„Zły introwertyk. Fan mediów społecznościowych. Irytująco skromny myśliciel. Miłośnik kawy. Ekspert od alkoholu. Internetowy geek”.