You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2023-12-02 - 18:51

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #c, slot #4

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Characteristics of the 792 highest latencies:
System rackcslot4s.osadl.org (updated Wed Jul 26, 2023 12:44:21)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
2072199361,1cyclictest0-21swapper/308:20:063
2072199330,7cyclictest5192-21apt-key12:35:013
20721993113,1cyclictest0-21swapper/310:08:363
20721993112,4cyclictest8061-21grep09:35:353
20721993110,5cyclictest29546-21grep10:35:303
2072199302,7cyclictest2999-21python310:55:013
2072199302,7cyclictest2999-21python310:55:013
2072199300,28cyclictest12152-21cat11:20:013
2072199293,6cyclictest31941-40apt-check07:40:063
2072199288,5cyclictest19580-21sed11:40:273
2072199282,5cyclictest25394-21munin-run08:55:013
2072199281,11cyclictest30118-21snmp_o5powerctl09:05:313
2072199281,10cyclictest24426-21date10:25:023
20721992810,4cyclictest9114-21sed09:40:243
2072199279,3cyclictest27887-21lsb_release07:30:003
2072199277,5cyclictest25649-21ls12:00:003
2072199272,3cyclictest6836-21munin-run11:05:003
2072199272,3cyclictest6836-21munin-run11:05:003
20721992711,3cyclictest22789-21lsb_release07:15:003
20721992711,2cyclictest28620-21if_enp2s007:30:223
2072199271,12cyclictest21523-21head11:45:293
2072199268,5cyclictest31-21ksoftirqd/309:30:193
2072199268,5cyclictest25419-21sed10:25:223
2072199266,5cyclictest31208-21expr12:15:223
20721992610,5cyclictest7300-21ntpq08:00:283
2072199260,5cyclictest13225-21latency_hist08:20:003
2072199260,11cyclictest20964-21gltestperf08:40:233
2072199259,2cyclictest25136-21hwlatdetect07:20:223
2072199259,2cyclictest25136-21hwlatdetect07:20:223
2072199258,5cyclictest18191-21expr11:35:363
2072199258,4cyclictest6503-21cat12:35:303
2072199258,15cyclictest0-21swapper/308:35:003
2072199251,9cyclictest299-21systemd-journal09:29:593
2072199250,1cyclictest2999-21python310:55:003
2072199243,5cyclictest29153-21apt-get12:10:213
2072199241,9cyclictest32233-21lsb_release09:15:003
2072199241,20cyclictest31244-21/usr/sbin/munin10:40:263
2072199241,12cyclictest8750-21apt-get11:10:213
20721992411,2cyclictest29937-21/usr/sbin/munin07:35:343
2072199241,11cyclictest32551-21apt-get12:20:183
2072199240,12cyclictest31-21ksoftirqd/308:35:223
20718992412,8cyclictest31683-21dpkg07:40:011
2072199231,10cyclictest16800-21munin-run10:05:003
20718992315,6cyclictest30120-21snmp_o5powerctl09:05:311
20717992316,4cyclictest29661-21file07:35:000
20717992315,6cyclictest15016-21users09:55:350
20717992314,7cyclictest19024-21df08:35:240
20717992314,6cyclictest3304-21ubuntu-distro-i10:55:010
20717992314,6cyclictest26625-21tune2fs07:25:200
2071799230,20cyclictest3173-21/usr/sbin/munin09:20:400
2072199228,4cyclictest22269-21/usr/sbin/munin08:45:243
20721992212,7cyclictest2909-21snmp_o5powerctl12:25:333
20719992214,6cyclictest1217-21sed09:15:322
20719992213,6cyclictest31880-21snmp_o5powerctl12:15:332
20718992215,4cyclictest1176-21dump-pmu-power07:45:001
20718992214,6cyclictest5743-21sed09:30:211
20718992214,6cyclictest14677-21ntpq11:25:291
20718992213,7cyclictest22195-21sed11:50:001
20717992217,3cyclictest29022-21fschecks_time10:35:230
20717992214,6cyclictest7164-21memory08:00:260
20717992214,6cyclictest17722-21cat11:35:270
20721992113,5cyclictest26655-21apt-key10:30:003
2072199210,3cyclictest3244-21perf09:24:593
20719992115,3cyclictest17009-21turbostat11:35:002
20719992113,6cyclictest4329-21awk09:25:292
2071899212,13cyclictest5722-21apt-get12:35:221
2071899212,12cyclictest6521-21apt-get08:00:201
20718992114,5cyclictest11562-21sed08:15:001
20718992114,5cyclictest1114-21sed09:15:331
20718992113,6cyclictest29378-21wc10:35:281
20718992113,6cyclictest1339-21sed12:20:351
2071899211,16cyclictest24147-21python310:25:001
20717992114,5cyclictest25620-21awk10:25:260
20717992114,5cyclictest23895-21sed08:50:010
20717992114,5cyclictest11224-21unixbench_singl08:10:330
20717992113,6cyclictest9866-21cat11:10:370
20717992113,6cyclictest29950-21awk09:05:280
20717992113,6cyclictest21291-21memory11:45:260
20717992110,7cyclictest11927-21apt-get09:50:180
2072199209,7cyclictest24517-21cut07:20:003
2072199202,16cyclictest27181-21awk12:05:003
20721992013,5cyclictest12775-21sed11:20:263
20721992013,5cyclictest11205-21grep09:45:313
20719992015,3cyclictest11527-21switchtime11:15:372
20719992013,5cyclictest26603-21awk07:25:212
20719992013,5cyclictest23270-21cut07:15:192
20719992013,5cyclictest19970-21sed08:35:352
20719992013,5cyclictest1428-21grep12:20:362
20719992013,5cyclictest13246-21grep09:50:332
20719992013,5cyclictest1041-21awk07:40:332
20719992012,6cyclictest27171-21diskstats10:30:192
20719992012,6cyclictest21586-21tune2fs07:10:182
20719992012,5cyclictest1716-21nmbd11:40:192
20719992011,6cyclictest5595-21ntpq07:55:272
20719992011,6cyclictest30561-21basename09:10:012
20718992013,5cyclictest17808-21sed11:35:321
20718992012,5cyclictest20024-21nfs4_client10:10:261
2071899201,13cyclictest25730-21apt-get12:00:211
2071899201,13cyclictest1496-21apt-get10:50:201
2071899201,13cyclictest1496-21apt-get10:50:201
2071899201,13cyclictest13796-21apt-get08:20:181
2071799202,13cyclictest13611-40apt-check08:20:090
2071799202,12cyclictest11577-21apt-get08:15:190
20717992016,2cyclictest27312-21gltestperf10:30:210
20717992013,5cyclictest7197-21cat11:05:230
20717992013,5cyclictest23473-21ntpq10:20:300
20717992013,5cyclictest21199-21cat08:40:240
20717992013,5cyclictest17829-21pluginstate10:05:290
20717992013,5cyclictest15081-21cat11:25:360
20717992013,5cyclictest10974-21netstat09:45:280
20717992012,6cyclictest4717-21date07:55:020
20717992012,6cyclictest24897-21df_inode07:20:200
20717992012,6cyclictest24897-21df_inode07:20:200
20717992012,6cyclictest24721-21ntpq08:50:270
20717992012,6cyclictest17121-21sed08:30:000
2071799201,13cyclictest30855-21apt-get12:15:180
2072199192,15cyclictest1520-21latency_hist09:20:003
2072199192,15cyclictest1255-21latency_hist10:50:013
20721991912,5cyclictest9999-21expr08:10:203
20721991912,5cyclictest28726-21grep09:00:333
20721991912,5cyclictest2064-21sed07:45:243
20721991912,5cyclictest14879-21cat09:55:333
2072199191,13cyclictest8214-21apt-get08:05:213
20721991910,7cyclictest23773-21cron11:55:003
2071999192,12cyclictest4999-21apt-get12:35:152
20719991915,2cyclictest2662-21timerandwakeup10:50:362
20719991915,2cyclictest2662-21timerandwakeup10:50:362
20719991912,5cyclictest4289-21sed07:50:352
20719991912,5cyclictest29397-21sed07:30:352
20719991912,5cyclictest21094-21cat08:40:222
20719991912,5cyclictest20951-21cut10:15:012
20719991911,6cyclictest27118-21pidof12:01:072
20719991911,6cyclictest26327-21sed08:55:252
2071999191,13cyclictest30519-21apt-get10:40:202
2071999191,13cyclictest13628-21apt-get09:55:182
20719991910,6cyclictest26140-21cron07:25:012
20719991910,6cyclictest26140-21cron07:25:002
2071899194,10cyclictest24704-21apt-get07:20:181
2071899194,10cyclictest24704-21apt-get07:20:181
2071899192,13cyclictest22351-21apt-get11:50:221
2071899192,11cyclictest15346-21apt-get10:00:181
20718991914,3cyclictest16438-21grep08:25:281
20718991912,5cyclictest3880-21expr09:25:231
20718991912,5cyclictest28054-21sed09:00:261
20718991912,5cyclictest17855-21grep08:30:251
20718991912,5cyclictest13322-21users09:50:351
20718991912,5cyclictest10861-21cat09:45:261
2071899191,13cyclictest28138-21apt-get07:30:161
2071899191,13cyclictest24812-21apt-get10:25:191
2071899191,13cyclictest22272-21apt-get08:45:171
2071899191,13cyclictest1786-21apt-get09:20:241
2071899191,12cyclictest25627-21apt-get08:55:201
2071899191,12cyclictest20968-21apt-get10:15:201
2071799198,8cyclictest12168-21apt-get11:20:190
20717991915,2cyclictest31149-21missed_timers10:40:240
20717991915,2cyclictest24980-21sendmail_mailst11:55:320
20717991915,2cyclictest16306-21netstat11:30:270
20717991914,3cyclictest20420-21idleruntime-cro11:45:000
20717991913,4cyclictest7623-21ntpq09:35:260
20717991912,5cyclictest9419-21awk09:40:270
20717991912,5cyclictest5712-21cut11:00:240
20717991912,5cyclictest5712-21cut11:00:230
20717991912,5cyclictest25930-21df_inode12:00:220
2071799191,12cyclictest3544-21apt-get12:30:210
2071799191,12cyclictest17168-21apt-get08:30:200
20721991811,5cyclictest16780-21grep08:25:323
2072199181,14cyclictest22466-21sendmail-msp10:20:013
2072199181,13cyclictest28503-21snmp_o5powerctl12:05:373
2072199180,9cyclictest7077-21/usr/sbin/munin11:05:243
2072199180,16cyclictest27234-21cat09:00:013
2071999189,7cyclictest15845-21cat10:00:232
2071999184,8cyclictest28708-21apt-get10:35:212
2071999184,11cyclictest13109-21python308:20:002
20719991814,2cyclictest7281-21hwlatdetect09:35:222
20719991814,2cyclictest12227-21cpuspeed_turbos11:20:202
20719991813,3cyclictest14084-21tune2fs08:20:212
20719991812,4cyclictest18126-21ps11:35:362
20719991811,5cyclictest8708-21expr09:40:202
20719991811,5cyclictest8178-21cat11:05:392
20719991811,5cyclictest4287-21sed10:55:262
20719991811,5cyclictest4218-21cat12:30:282
20719991811,5cyclictest32363-21expr10:45:202
20719991811,5cyclictest29443-21cut12:10:242
2071999181,13cyclictest21694-21snmp_o5powerctl11:45:342
2071999181,12cyclictest5158-21apt-get09:30:162
2071999181,12cyclictest27405-21apt-get12:05:222
2071999181,12cyclictest17027-21apt-get10:05:202
20719991810,6cyclictest24796-21ntpq11:55:292
2071999180,5cyclictest121850lldpd08:25:172
2071899189,6cyclictest889-21gdbus09:35:311
2071899182,11cyclictest3673-21apt-get10:55:191
2071899182,10cyclictest1863-21apt-get12:25:181
20718991812,4cyclictest6591-21sed11:00:371
20718991812,4cyclictest6591-21sed11:00:371
20718991812,3cyclictest15089-21sendmail10:00:011
20718991811,5cyclictest31235-21basename09:10:211
20718991811,5cyclictest24583-21grep07:20:001
20718991811,5cyclictest21110-21cut07:10:021
20718991811,5cyclictest12389-21grep11:20:221
20718991811,4cyclictest25464-21sendmail12:00:001
20718991810,5cyclictest889-21gdbus07:55:321
20718991810,5cyclictest1190-21sshd10:45:411
2071799189,6cyclictest6602-21uname09:35:000
20717991814,2cyclictest21772-21idleruntime07:10:200
20717991812,4cyclictest2022-21cat10:50:260
20717991812,4cyclictest2022-21cat10:50:250
20717991812,4cyclictest1966-21expr12:25:200
20717991811,5cyclictest9430-21ls08:05:380
20717991811,5cyclictest5866-21snmp_o5powerctl07:55:330
20717991811,5cyclictest3635-21expr09:25:210
20717991811,5cyclictest2552-21cat07:45:320
20717991811,5cyclictest23702-21grep07:15:230
20717991811,5cyclictest1246-21ls09:15:330
2071799181,12cyclictest29941-21apt-get07:35:170
2071799181,11cyclictest32201-21apt-get10:45:170
20717991810,6cyclictest23096-21nfs4_client11:50:310
20717991810,6cyclictest22433-21pluginstate10:20:000
20717991810,6cyclictest16682-21awk10:00:360
20721991711,4cyclictest17121-21wc11:35:013
20721991710,5cyclictest4227-21cat07:50:343
20721991710,5cyclictest14853-21expr11:25:313
20721991710,5cyclictest13089-21sed09:50:323
2072199170,15cyclictest0-21swapper/310:15:013
2072199170,15cyclictest0-21swapper/308:00:003
2071999173,9cyclictest22679-21apt-get10:20:172
20719991712,3cyclictest9723-21snmpd10:15:282
20719991711,4cyclictest24929-21mailstats08:50:292
20719991711,4cyclictest17842-21needreboot08:30:252
20719991711,4cyclictest10109-21grep11:10:392
2071999171,12cyclictest6421-21snmp_o5powerctl11:00:332
2071999171,12cyclictest6421-21snmp_o5powerctl11:00:332
2071999171,12cyclictest2907-21snmp_o5powerctl12:25:332
2071999171,12cyclictest23390-21snmp_o5powerctl11:50:372
2071999171,12cyclictest23317-21snmp_o5powerctl08:45:292
2071999171,12cyclictest1432-21apt-get07:45:182
20719991710,5cyclictest7235-21grep08:00:272
20719991710,5cyclictest31356-21sshd07:37:422
20719991710,5cyclictest11123-21wc08:10:322
2071899172,11cyclictest24291-21gltestperf08:50:221
20718991713,2cyclictest9443-21processes09:40:271
20718991713,2cyclictest7671-21latency11:05:291
20718991713,2cyclictest0-21swapper/107:45:291
20718991711,4cyclictest21278-21cat08:40:251
20718991711,4cyclictest20081-21sed08:35:361
2071899171,12cyclictest18925-40apt-check10:08:361
2071899171,11cyclictest5029-21python312:35:011
20718991710,5cyclictest19-21ksoftirqd/110:30:061
20718991710,4cyclictest30914-21tr12:15:191
2071799179,6cyclictest32024-21sed07:40:020
2071799179,6cyclictest31391-21memory09:10:240
20717991711,4cyclictest6856-21sed12:35:380
20717991711,4cyclictest27982-21cat09:00:240
20717991711,4cyclictest19962-21cat10:10:240
20717991711,4cyclictest11388-21rt-features11:15:330
20717991710,5cyclictest29774-21load12:10:290
2071999169,5cyclictest27577-21grep09:00:232
2071999169,5cyclictest14066-21df11:25:222
2071999168,6cyclictest9390-21sed08:05:372
2071999161,12cyclictest2822-21snmp_o5powerctl09:20:352
2071999161,11cyclictest24147-21python310:25:022
2071899169,5cyclictest29751-21sed12:10:281
2071899169,4cyclictest9491-21grep08:05:381
2071899168,6cyclictest10581-21expr11:15:221
2071899163,9cyclictest28931-21lsb_release12:10:001
20718991612,2cyclictest8747-21/usr/sbin/munin11:10:311
20718991612,2cyclictest31727-21timerwakeupswit10:40:341
20718991611,3cyclictest4763-21sed07:55:011
20718991611,3cyclictest12485-21proc_pri08:15:271
2071899161,11cyclictest829-21cron11:45:001
2071799167,7cyclictest622-21cat12:20:240
20717991610,4cyclictest27611-21entropy12:05:250
20717991610,4cyclictest26013-21tr08:55:230
2071999157,6cyclictest31452-21cat09:10:242
20719991511,2cyclictest10546-21fschecks_time09:45:212
2071899159,4cyclictest16030-21if_enp2s011:30:221
2071899155,7cyclictest26713-21tune2fs07:25:211
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional