This is my amateur research. Ibn Kathir says in his book Tafsir ibn Kathir in the chapter on Surat Taubah:
[ وَقَوْلُهُ ] ( اتَّخَذُوا أَحْبَارَهُمْ وَرُهْبَانَهُمْ أَرْبَابًا
مِنْ دُونِ اللَّهِ وَالْمَسِيحَ ابْنَ مَرْيَمَ ) رَوَى الْإِمَامُ
أَحْمَدُ ، وَالتِّرْمِذِيُّ ، وَابْنُ جَرِيرٍ مِنْ طُرُقٍ ، عَنْ
عَدِيِّ بْنِ حَاتِمٍ - رَضِيَ اللَّهُ عَنْهُ - أَنَّهُ لَمَّا
بَلَغَتْهُ دَعْوَةُ رَسُولِ اللَّهِ - صَلَّى اللَّهُ عَلَيْهِ
وَسَلَّمَ - فَرَّ إِلَى الشَّامِ ، وَكَانَ قَدْ تَنَصَّرَ فِي
الْجَاهِلِيَّةِ ، فَأُسِرَتْ أُخْتُهُ وَجَمَاعَةٌ مِنْ قَوْمِهِ ،
ثُمَّ مَنَّ رَسُولُ اللَّهِ - صَلَّى اللَّهُ عَلَيْهِ وَسَلَّمَ -
عَلَى أُخْتِهِ وَأَعْطَاهَا ، فَرَجَعَتْ إِلَى أَخِيهَا ،
وَرَغَّبَتْهُ فِي الْإِسْلَامِ وَفِي الْقُدُومِ عَلَى رَسُولِ اللَّهِ
- صَلَّى اللَّهُ عَلَيْهِ وَسَلَّمَ - فَقَدِمَ عَدِيٌّ الْمَدِينَةَ ، وَكَانَ رَئِيسًا فِي قَوْمِهِ طَيِّئٍ ، وَأَبُوهُ حَاتِمٌ الطَّائِيُّ
الْمَشْهُورُ بِالْكَرَمِ ، فَتَحَدَّثَ النَّاسُ بِقُدُومِهِ ، فَدَخَلَ
عَلَى رَسُولِ اللَّهِ - صَلَّى اللَّهُ عَلَيْهِ وَسَلَّمَ - وَفِي
عُنُقِ عَدِيٍّ صَلِيبٌ مِنْ فِضَّةٍ ، فَقَرَأَ رَسُولُ اللَّهِ -
صَلَّى اللَّهُ عَلَيْهِ وَسَلَّمَ - هَذِهِ الْآيَةَ : ( اتَّخَذُوا
أَحْبَارَهُمْ وَرُهْبَانَهُمْ أَرْبَابًا مِنْ دُونِ اللَّهِ ) قَالَ :
فَقُلْتُ : إِنَّهُمْ لَمْ يَعْبُدُوهُمْ . فَقَالَ : بَلَى ، إِنَّهُمْ
حَرَّمُوا عَلَيْهِمُ الْحَلَالَ ، وَأَحَلُّوا لَهُمُ الْحَرَامَ ،
فَاتَّبَعُوهُمْ ، فَذَلِكَ عِبَادَتُهُمْ إِيَّاهُمْ . وَقَالَ رَسُولُ
اللَّهِ - صَلَّى اللَّهُ عَلَيْهِ وَسَلَّمَ - : يَا عَدِيُّ ، مَا
تَقُولُ ؟ أَيُفِرُّكَ أَنْ يُقَالَ : اللَّهُ أَكْبَرُ ؟ فَهَلْ
تَعْلَمُ شَيْئًا أَكْبَرَ مِنَ اللَّهِ ؟ مَا يُفِرُّكَ ؟ أَيُفِرُّكَ
أَنْ يُقَالَ : لَا إِلَهَ إِلَّا اللَّهُ ؟ فَهَلْ تَعْلَمُ مِنْ إِلَهٍ
إِلَّا اللَّهُ ؟ ثُمَّ دَعَاهُ إِلَى الْإِسْلَامِ فَأَسْلَمَ ،
وَشَهِدَ شَهَادَةَ الْحَقِّ ، قَالَ : فَلَقَدْ رَأَيْتُ وَجْهَهُ
اسْتَبْشَرَ ثُمَّ قَالَ : إِنَّ الْيَهُودَ مَغْضُوبٌ عَلَيْهِمْ ،
وَالنَّصَارَى ضَالُّونَ . (source)
So we learn that this hadith is in Musnad Ahmad, Jami' at-Tirmidhi and ibn Jarir at-Tabari's book.
I was able to locate the hadith in Jami' at-Tirmidhi (number 3095):
عَنْ عَدِيِّ بْنِ حَاتِمٍ قَالَ أَتَيْتُ النَّبِيَّ صَلَّى اللَّهُ
عَلَيْهِ وَسَلَّمَ وَفِي عُنُقِي صَلِيبٌ مِنْ ذَهَبٍ فَقَالَ يَا
عَدِيُّ اطْرَحْ عَنْكَ هَذَا الْوَثَنَ وَسَمِعْتُهُ يَقْرَأُ فِي
سُورَةِ بَرَاءَةٌ اتَّخَذُوا أَحْبَارَهُمْ وَرُهْبَانَهُمْ أَرْبَابًا
مِنْ دُونِ اللَّهِ قَالَ أَمَا إِنَّهُمْ لَمْ يَكُونُوا
يَعْبُدُونَهُمْ وَلَكِنَّهُمْ كَانُوا إِذَا أَحَلُّوا لَهُمْ شَيْئًا
اسْتَحَلُّوهُ وَإِذَا حَرَّمُوا عَلَيْهِمْ شَيْئًا حَرَّمُوهُ قَالَ
أَبُو عِيسَى هَذَا حَدِيثٌ غَرِيبٌ لَا نَعْرِفُهُ إِلَّا مِنْ حَدِيثِ
عَبْدِ السَّلَامِ بْنِ حَرْبٍ وَغُطَيْفُ بْنُ أَعْيَنَ لَيْسَ
بِمَعْرُوفٍ فِي الْحَدِيثِ
Narrated 'Adi bin Hatim:
"I came to the Prophet (ﷺ) while I had a cross of gold around my neck. He said: 'O 'Adi! Remove this idol from yourself!' And I heard him reciting from Surah Bara'ah: They took their rabbis and monks as lords besides Allah (9:31). He said: 'As for them, they did not worship them, but when they made something lawful for them, they considered it lawful, and when they made something unlawful for them, they considered it unlawful.'" (source)
Imam at-Tirmidhi says about this hadith that it is gharib, we don't know of it except through the hadith of Abdissalam b. Harb, and Ghutaifa b. A'yan is not known in hadith.
Shaykh al-Albani graded this hadith as hasan. IslamQA also refers to this hadith as hasan.
The part that corresponds to your bolded text (and a little more) is:
أَمَا إِنَّهُمْ لَمْ يَكُونُوا يَعْبُدُونَهُمْ وَلَكِنَّهُمْ كَانُوا إِذَا أَحَلُّوا لَهُمْ شَيْئًا اسْتَحَلُّوهُ وَإِذَا حَرَّمُوا عَلَيْهِمْ شَيْئًا حَرَّمُوهُ